Chử Đắc Đam vốn gốc gác quê ở làng Chèm. Cụ đời thứ tư của dòng họ Chử là Chử Trắc Kinh, một người giỏi võ thuật lại có tài thơ phú. Chử Trắc Kinh là con rể của cụ Đề Kiều - một nhân sỹ vừa sành văn chương vừa tinh thông binh pháp. Cuộc khởi nghĩa chống Pháp ở vùng sông Cái thoái trào. Cụ Đề Kiều cũng thất thủ , rồi qua đời. Chử Trắc Kinh cố gắng khôi phục phong trào chống Pháp nhưng không thành.