Najstarsze wzmianki pisane o Czaryżu pochodzą z końca XIV wieku. W 1907 roku odbyło się tu słynne polowanie, o którym informowała prasa. Zastrzelono wtedy prawie 600 sztuk różnego rodzaju zwierzyny. Zamieszkiwał tam także słynny grafik Stefan Mrożewski. Opowiadają o tym Cezary Jastrzębski i Robert Szumielewicz.