Στην κορυφή του λόφου βρίσκεται ο οχυρωματικός οικισμός, το καστέλι του Πύργου, με την εξωτερική σειρά σπιτιών να αποτελεί παράλληλα και τα τείχη του κάστρου. Ο οικισμός στη συνέχεια αναπτύχθηκε στο λόφο και εκτός των τειχών, με στενά ελικοειδή δρομάκια και γραφικά χαρακτηριστικά.