Πάνω από το ναό της Μεταμόρφωσης στο Καρλόβασι υπάρχουν τα ερείπια ενός μικρού κάστρου. Όταν κατά τη βυζαντινή περίοδο το νησί πέφτει σε παρακμή το καταλαμβάνουν αρχικά Σαρακηνοί και από το 13^ο αιώνα περιέρχεται διαδοχικά στους Φράγκους, στους Βυζαντινούς και τέλος στους Γενουάτες Ιουστινιανούς. Το κάστρο αυτό λοιπόν είναι ένα μικρό φρούριο που έφτιαξαν οι Γενουάτες μετά την άλωση του νησιού για να προφυλάσσονται από τις επιδρομές.
Το Γενοβέζικο κάστρο βρίσκεται στο Ποτάμι, 3 χιλιόμετρα έξω από το Καρλόβασι.