Το κάστρο βρίσκεται χτισμένο σε ένα βράχο 179 μέτρων, είναι σήμα κατατεθέν της Χώρας και άρρηκτα συνδεδεμένο με την ιστορία του νησιού. Είναι το σημείο με το οποίο είναι δεμένοι όλοι οι Σκυριανοί γιατί εκεί έλαβαν χώρα τα σημαντικότερα ιστορικά γεγονότα του νησιού. Πρόκειται για το σημείο που ήταν χτισμένο το παλάτι του Λυκομήδη και που αργότερα οχυρώνονταν οι ντόπιοι για να γλυτώσουν από τις επιθέσεις των πειρατών και άλλων επιδρομέων. Ο βράχος με τις απόκρημνες πλευρές προστάτευαν το κάστρο που διέθετε μόλις μια είσοδο από την οποία και τα ανέβετε ως εκεί. Στο κάστρο θα δείτε υπολείμματα οχυρώσεων και τειχών όλων των ιστορικών περιόδων: πελασγικά, κλασσικής αρχαιότητας, βυζαντινά, ενετικά.