Όπως ήταν φυσικό για την εποχή, οι κάτοικοι της Απανωμεριάς (βόρειου τμήματος) χρειάζονταν προστασία από τις πειρατικές επιδρομές, έτσι έφτιαξαν το δικό τους οχυρωματικό οικισμό, το Καστέλι του Αγίου Νικολάου. Σήμερα τα ερείπια του κάστρου είναι το πιο διάσημο σημείο για να παρακολουθήσει κανείς το πασίγνωστο ηλιοβασίλεμα της Οίας.