Σε μικρή απόσταση από το Πυργί βρίσκεται ένα ακόμη όμορφο καστροχώρι του 14^ου αι, οι Ολύμποι. Ο σεισμός που συντάραξε το νησί το 1881 άφησε ανέπαφα τα μεσαιωνικά κτήρια του χωριού κι έτσι ο επισκέπτης διασχίζει σήμερα τις ίδιες σκιερές στοές και τα στενά καλντερίμια ανάμεσα στα ψηλά κτήρια με τη φρουριακή οργάνωση. Στο χωρίο μπορούσε κανείς να μπει από τη μοναδική του είσοδο, την Κάτω Πόρτα, αφού τα σπίτια κτισμένα περιμετρικά το ένα δίπλα στο άλλο δεν είχαν εξωτερικά ανοίγματα και σχημάτιζαν ένα κλειστό κάστρο, το οποίο προστάτευε τους κατοίκους από τις επιδρομές. Αντίστοιχη λειτουργία είχε και ο 20 μ. ύψους πέτρινος πύργος στο κέντρο του χωριού, χαρακτηριστικό δείγμα αρχιτεκτονικής που πιθανότατα επέβαλαν οι Γενουάτες, που είναι και ο πιο καλοδιατηρημένος στο νησί.  Καλοδιατηρημένο είναι επίσης και το μακρόστενο κτήριο της Τράπεζας των Ολύμπων, με τα σκουρόχρωμα παράθυρα και την τοξωτή πόρτα να προσελκύουν το ενδιαφέρον.
Στους Ολύμπους θα δοκιμάσετε το τοπικό ονομαστό κρασί, ενώ αν βρεθείτε εκεί την Καθαρά Δευτέρα, θα παρακολουθήσετε το έθιμο του Αγά, την κωμική αναπαράσταση δίκης τον καιρό της Τουρκοκρατίας.
Σε μικρή απόσταση από το χωριό βρίσκεται το ομώνυμο Σπήλαιο, που εξερευνήθηκε το 1985 και διαθέτει πλούσιο και εντυπωσιακό διάκοσμο.