Το κάστρο της, χτισμένο στην κορυφή του λόφου πάνω από τον οικισμό, έχει μήκος που ξεπερνά τα 110 μέτρα και πλάτος που ξεπερνά τα 40. Τα τείχη του φτάνουν σε ύψος μέχρι τα 7 μέτρα και σε πλάτος μέχρι τα 2. Την περίοδο αυτή υπήρξε πρωτεύουσα μίας από τις βαρονίες των Φράγκων. Το εντυπωσιακό και ισχυρό κάστρο της Καρύταινας, που χτίστηκε στα μέσα του 13^ου αιώνα, προσέδωσε στην πόλη στρατηγική σημασία και την ασφάλισε αποτελεσματικά. Για την κατασκευή του χρησιμοποιήθηκαν τα ερείπια της αρχαίας Βρένθης που ήταν χτισμένη στην ίδια τοποθεσία.