端山は弟・碩水と共に「西海の大儒」と呼ばれた儒学者で、幕末から明治にかけて活躍した人物。維新の英傑、坂本竜馬、西郷隆盛、木戸孝充をはじめ多くの志士に感化を与えています。その旧宅は、父の忠次右衛們が天保3年（1832年）に建てたもので、来客用、家族用、使用人用と3箇所に玄関が分かれているほか、儒教の祠堂も備えるなど貴重な建造物です。また、端山一家の墓は儒教形式のもので県内唯一の現存例です。