Το εκκλησάκι του Αγ. Ιωάννου του «εν Κρημνώ» ή «εν Γκρεμνόν» βρίσκεται σκαρφαλωμένο πάνω σε βράχο - όπως δηλώνει άλλωστε και το όνομά του - και μέσα σε μια σπηλιά, σε υψόμετρο 100 περίπου μέτρων πάνω από το Καψάλι. Για να φτάσετε εκεί θα πρέπει να οπλιστείτε με υπομονή, γιατί θα ανεβείτε 130 πέτρινα σκαλοπάτια, όμως η θέα προς το λιμάνι που θα αντικρίσετε από ψηλά θα σας ανταμείψει για τον κόπο σας. Το εκκλησάκι σήμερα τιμάται στον Αγ. Ιωάννη τον Πρόδρομο και ανακαινίστηκε το 1725 από τον μοναχό Ιωαννίκιο, όπως μαρτυρά η επιγραφή της εισόδου. Σύμφωνα με την παράδοση όμως, πριν από αρκετούς αιώνες ήταν αφιερωμένο στον Άγιο Ιωάννη τον Θεολόγο, ο οποίος είχε καταφύγει εδώ διωκόμενος από τη Ρώμη, προτού μεταβεί στην Πάτμο. Το εκκλησάκι εορτάζει δύο φορές το χρόνο, στο Γενέθλιον του Αγ. Ιωάννου Προδρόμου (24 Ιουνίου) και στην Αποτομή της τίμιας κάρας του (29 Αυγούστου).