Στο κέντρο του νησιού βρίσκεται το μικρότερο χωριό της Πάρου, που χτίστηκε κατά την Ενετοκρατία σε υψόμετρο 160 μέτρων. Είναι εμφανώς μακριά από την θάλασσα, γεγονός που ενδέχεται να συνδέεται με την ονομασία του (A costa= μακριά από την παραλία). Ορισμένες πηγές καταγράφουν ότι το όνομα προέρχεται από τη λατινική λέξη custodia που σημαίνει φρουρά, κάτι που δεν αποκλείεται αν λάβει κανείς υπόψη πως μια τέτοια περίοπτη θέση αποτελεί ιδανικό σημείο σκοπιάς. Όπως και να 'χει, περπατώντας στα σοκάκια του ορεινού χωριού ο επισκέπτης θα παρατηρήσει μεγάλους πέτρινους οικισμούς και το μοναδικό μνημείο του μεγάλου δασκάλου Αθανάσιου Πάριου, εξέχουσας προσωπικότητας στον Κώστο. Πριν φύγετε, πιείτε κρύα σούμα στο κεντρικό καφενείο, ιδανική για τα καλοκαιρινά σας βράδια.