Qua Chương đầu tiên của tiểu thuyết “Hồ Xuân Hương tiếng vọng”, “Thầy đồ dứt áo xa quê” cho thấy những biến cố gia đình thầy đồ Hồ Phi Diễn liên tiếp xảy ra: Người em trai lưu lạc, cha mẹ qua đời. Tiếp đó người vợ đầu tiên của ông là Phan Thị cũng qua đời sau lần đẻ non không giữ được thai nhi. Năm 1762, thầy đồ Hồ Phi Diễn đã 53 tuổi.