Το Κάστρο, είναι ένας οικισμός οχυρωματικού χαρακτήρα, που χτίστηκε στο χείλος  του γκρεμού (280μ πάνω από τη θάλασσα) με σκοπό τη προστασία των κατοίκων από τις επιδρομές. Σήμερα  στη πλατεία θα δείτε το Παραπόρτι, το μοναδικό σωζόμενο σημείο του κάστρου. Εδώ συγκεντρώνεται το μεγαλύτερο μέρος της κοινωνικής ζωής του νησιού με τα καφενεία, τα μαγαζιά και τα εστιατόρια με τα παραδοσιακά πιάτα. Ασβεστωμένες αυλές και σοκάκια, γλάστρες με βασιλικούς και μποκαμβίλιες, παλιά αρχοντικά, παραδοσιακά σπίτια και φυσικά εκκλησίες. Συγκεκριμένα στην επίσκεψή σας στην εκκλησία της Παντάνασσας θα δείτε το ξυλόγλυπτο τέμπλο όπως και σημαντικές εικόνες που τους καλοκαιρινού μήνες μεταφέρονται στο Βυζαντινό Μουσείο του χωριού. Όντας στο Κάστρο δε μπορείτε παρά να ανηφορίσετε τα σκαλοπάτια για το Χωριό. Τον παλαιότερο και γραφικότερο οικισμό του νησιού. Ένας οικισμός με στενάκια που οδηγούν γύρω από τα σπίτια με τις μικρές αυλές τους και τα λουλούδια μέχρι ψηλά στο λόφο. Όποιο σοκάκι και να διαλέξετε θα σας χαρίσει όμορφες εικόνες.