Sau khi xây dựng gia đình với bà Thảo, hai vợ chồng Năm Chinh ở cùng chị gái là Ba Chiến. Vợ Năm Chinh, bà Thanh Thảo không những đẹp mà còn là dân trí thức. Bà từng học đại học Văn khoa Sài Gòn. Chị ba Chiến vốn không ưa em dâu nên thường soi mói và gọi bà Thảo là thứ ngụy quân bỏ lại. Sau khi xích mích với chị gái, gia đình Năm Chinh bỏ sang ở với em gái nhưng cũng chỉ ở được chưa đầy một tuần. Sau đó nhờ chủ tịch xã Phan Thành Danh can thiệp, vợ chồng anh mới có được miếng đất cất nhà.
Xuân Hương rời trấn Yên Quảng về Thăng Long kêu oan đến Tổng trấn Bắc Thành Lê Chất cho chồng. Nhưng Chất né tránh giao cho Trần Quang Tĩnh giữ chức Quan...
Sau ba năm Xuân Hương chịu đại tang mẹ, cuối 1816, Trần Phúc Hiển đón Xuân Hương từ kinh thành Thăng Long về làm dâu dinh thự Hải Đông trấn Yên Quảng....