Początki osadnictwa sięgają tu od 60 – 40 tysięcy lat przed naszą erą, ale pierwsze wzmianki pisane pochodzą z XV wieku od Jana Długosza i wiążą się z cystersami z Wąchocka. Miejscowość miała też swój epizod podczas powstania styczniowego. Do Grzybowej Góry, w gminie Skarżysko - Kościelne zapraszają Cezary Jastrzębski i Robert Szumielewicz.