Η παλιά πόλη είναι το νούμερο ένα αξιοθέατο που οφείλει να επισκεφθεί όποιος βρεθεί στην Καβάλα. Αποτελεί σήμα κατατεθέν της πόλης και μας ταξιδεύει σε μια άλλη ιστορική περίοδο και κοινωνία. Η παλιά πόλη κατοικείται από τον 7^ο αιώνα π.Χ. Για μία μεγάλη χρονική περίοδο, η συνοικία της Παναγίας χαρακτηρίζεται από τη μουσουλμανική φυσιογνωμία λόγω της κατάληψής της από τους Οθωμανούς το 1391. Η παλιά πόλη αλλάζει χαρακτήρα στις αρχές του 20^ου αιώνα, οπότε και δέχεται ένα μεγάλο κύμα προσφύγων, με αποτέλεσμα να αρχίζει να προσαρμόζεται στις αυξανόμενες ανάγκες τους. Ο επισκέπτης εντοπίζει ψήγματα της αρχαίας και της βυζαντινής περιόδου σε κάποια παλιά κτίρια και κυρίως στο κάστρο-φρούριο της παλιάς πόλης που υψώνεται επιβλητικό και μεγαλόπρεπο, αποτελώντας την καρδιά της Καβάλας.
Η παλιά πόλη βρίσκεται δίπλα στο λιμάνι και η πρόσβαση πραγματοποιείται με τα πόδια σε μία ανηφορική διαδρομή που καταλήγει στο κάστρο. Ο επισκέπτης είναι σε θέση να περιηγηθεί στην παλιά πόλη, να απολαύσει το μπάνιο του στα βραχάκια της Παναγίας και να κάνει μία στάση για παραδοσιακές τοπικές νοστιμιές ή για έναν καφέ στις ταβέρνες και τα μαγαζιά που υπάρχουν τριγύρω. Το σπίτι του Μεχμέτ Αλή και η ανατολίτικη χροιά που αποπνέει το υπερπολυτελές ξενοδοχείο Ιμαρέτ αποτελούν πόλο έλξης για τους επισκέπτες. Η θέα που απολαμβάνει κανείς από την παλιά συνοικία δεν μπορεί να ειπωθεί με λόγια ούτε από τον πιο δεινό ρήτορα.