Mười bẩy năm ở chốn cung đình, Nguyễn đã hiểu ra nhều điều. Đặt chân vào chốn quan trường, con người không còn là mình nữa. Chính vì vậy, trong khi thiên hạ đua nhau học, đua nhau làm quan thì Nguyễn lại không muốn các con, cháu của mình đi theo con đường quan lộ nữa. Nguyễn xin phép Hoàng đế Gia Long về quê hai tháng, nói là để sửa sang phần mộ tổ tiên nhưng cũng là để gặp Nhưng để bàn về chuyện học hành, tương lai của các con, cháu.