Początki warowni giną w mrokach dziejów. Być może w tym miejscu znajdował się w czasach pierwszych Piastów gród obronny? Jedno jest pewne: w XIV wieku, w czasach Kazimierza Wielkiego, w tym miejscu istniał już murowany zamek. Pewen jest też, że tragiczna śmiercią zginął jego ostatni właściciel.