Το κάστρο-φρούριο αποτελεί σημείο-σύμβολο της πόλης, καθώς κρύβει μέσα του την ιστορία μιας μεγάλης χρονικά περιόδου. Το φρούριο είναι ορατό από κάθε πλευρά, δεσπόζει δίπλα στο λιμάνι και βρίσκεται περίπου στα 70 μέτρα ύψος. Πρόκειται για έναν οχυρωμένο χώρο, μία κλασσική ακρόπολη εκείνης της εποχής, η οποία στη βάση της έχει επιρροές από τη βυζαντινή αρχιτεκτονική. Ένα τείχος χωρίζει το χώρο σε δύο τμήματα, το εσωτερικό και το εξωτερικό. Εντός του τείχους συναντάται ένας κεντρικός πύργος. Δίπλα στον πύργο, υπάρχει η Πύλη που ενώνει τον εσωτερικό και εξωτερικό χώρο, και η οποία λειτουργούσε αρχικά ως μέσον εισόδου στο κάστρο.
Το φρούριο περιλαμβάνει πολλά τμήματα που το καθένα είχε τη δική του ξεχωριστή λειτουργία. Χαρακτηριστικό παράδειγμα είναι η φυλακή-αποθήκη και το φυλάκιο. Όσον αφορά στην πρώτη, φαίνεται να δημιουργήθηκε την περίοδο 1520-1530 και όχι το 1425, οπότε και κατασκευάζονταν τα πρώτα κτίσματα του κάστρου. Ο συγκεκριμένος χώρος λειτουργούσε αρχικά ως χώρος φύλαξης και διατήρησης όπλων και τροφίμων.
Αρχικά, σκοπός της ύπαρξης του κάστρου ήταν η επιτήρηση της Εγνατίας Οδού προκειμένου να αποφευχθούν οι πειρατικές επιθέσεις. Η οικοδόμηση του εξωτερικού περιβόλου σήμανε και την επέκταση του κάστρου, το οποίο αποτέλεσε πλέον ισχυρό μέσον άμυνας και προστασίας των κατοίκων της πόλης. Από τα τέλη του 17^ου αιώνα λογιζόταν ως τόπος συγκέντρωσης των αξιωματικών όπως επίσης και ως χώρος εξορίας και κράτησης των υποτελών του σουλτάνου. Στις μέρες μας, διοργανώνονται στο χώρο του πολιτιστικές και καλλιτεχνικές εκδηλώσεων, και αποτελεί βέβαια και ένα σπουδαίο μνημείο της Καβάλας.