Στο λόφο του Παλαιοκάστρου δεσπόζει το πιο δημοφιλές και ατμοσφαιρικό αξιοθέατο του Ρεθύμνου, το φρούριο της Φορτέτζας. Η κατασκευή του ξεκίνησε το 1573 και ολοκληρώθηκε το 1580 από τους Βενετούς. Η δομή του φρουρίου το καθιστούσε ιδιαίτερα ευάλωτο σε επιδρομείς, γεγονός που έπαιξε σημαντικό ρόλο στην κατάληψη από τους Τούρκους το 1646. Η συνολική οικοδόμηση του κάστρου ολοκληρώθηκε στις αρχές του 20^ου αιώνα, ενώ οι Τούρκοι δεν έκαναν πολλές επεμβάσεις πάνω του. Σήμερα σώζεται ακέραιος ο περίβολος του κάστρου, αλλά στο εσωτερικό του φρουρίου έχει διασωθεί μόνο ένα μικρό μέρος των οικοδομημάτων. Στην περιήγησή σας στο εσωτερικό του θα δείτε ερείπια από τα δημόσια κτήρια, πυριτιδαποθήκες, προμαχώνες, δεξαμενές, ερείπια ιδιωτικών κατοικιών κ.ά. Στα αναστηλωμένα κτήρια της Φορτέτζας πραγματοποιούνται σήμερα πολιτιστικές εκδηλώσεις, ενώ εδώ βρίσκεται και το μικρό δημοτικό θέατρο, μέσα σε ένα χώρο που προσθέτει την ξεχωριστή του ατμόσφαιρα στα τοπικά δρώμενα.