Το βυζαντινό κάστρο, γνωστό ως Σαράντα Κολώνες, βρίσκεται στα βόρεια του λιμανιού της Πάφου και πήρε το όνομά του από τον μεγάλο αριθμό των στηλών γρανίτη που βρέθηκαν στο χώρο του και που ίσως κάποτε αποτελούσαν μέρος της αρχαίας αγοράς.

Το κάστρο πιστεύεται ότι χτίστηκε στα τέλη του 7ου αιώνα μ.Χ. για να προστατεύσει το λιμάνι και την πόλη της Νέας Πάφου από τις αραβικές επιδρομές και αργότερα ανακαινίστηκε από τους Λουζινιανούς.

Ένα τείχος πάχους τριών μέτρων με οκτώ πύργους και τάφρο περιβάλλει το κάστρο. Η πρόσβαση γινόταν από μια ξύλινη γέφυρα πάνω από την τάφρο. Η τετράγωνη αυλή έχει 35 μέτρα μήκος και 35 μέτρα πλάτος, και σε κάθε γωνιά της βρίσκεται ένας πύργος. Η κύρια είσοδος γινόταν από ένα πέμπτο πύργο, ο οποίος είχε σχήμα πετάλου και βρισκόταν στην ανατολική πλευρά.

Το κάστρο καταστράφηκε από σεισμό το 1223 και στη συνέχεια εγκαταλείφθηκε.