Roberto il Guiscardo verso il 1080 vi fece costruire il castello, simbolo della difesa del paese e abitazione del conte.
Nel 1500 divenne Ginosa divenne baronia particolare e il castello passò ad abitazione degli agenti baronali o marchesali.