In seguito i bizantini ne fecero il centro amministrativo del Kastrion che inglobava, entro solide mura, anche il borgo agricolo che si sviluppò tra i rioni Cella e Ravita. I normanni costruirono la solida torre a base quadrata e ripristinarono le mura di cinta del borgo di cui restano poche e sporadiche tracce. Gli Svevi amplieranno la struttura e l’abbelliranno dei fregi tipici dell’arte colta federiciana. Nelle sue stanze per ben due volte soggiornò l‘Imperatore di Svevia Federico II nel sec. XIII. Sede di feudatario in età angioina ed aragonese, il mastio, assunse notevoli dimensioni e divenne il centro militare ed amministrativo di un vasto territorio, uno dei più popolati e difesi della Basilicata e del Bruzio. Nel sec. XVI i Principi Sanseverino trasformarono la fortezza in palazzo, cessate ormai le esigenze di difesa. Fu espugnato nel sec. XV da Consalvo de Cordoba. 

Ancora si conserva l’antica cisterna ma non si hanno tracce del fantomatico passaggio segreto che attraverso le viscere del paese conduceva nel canale Carella, permettendo ai castellani di mettersi in salvo nel caso in cui il castello venisse espugnato. Entro le mura del castello si rifugiò il generale francese Grasson con la sua guarnigione nel 1806 inseguito dal brigante locale Muscariello a capo di una folta banda di filo-borbonici.