Budynek powstał w pierwszej połowie XVI wieku jako wieża rycerska. Stanowi ciekawy przykład budownictwa rezydencjonalno - obronnego na terenie dawnego województwa sandomierskiego. W pewnym okresie był m.in. rezydencją rodu Tarłów. Z kolei w 1914 roku za namową Henryka Sienkiewicza został odkupiony przez miejscowego proboszcza z zamiarem utworzenia tam szkoły. O bogatej historii dworu obronnego w Chełmcach opowiadają Cezary Jastrzębski i Robert Szumielewicz.