Η επίθεση που δέχθηκε η Σίφνος το 524 π.Χ. από φυγάδες της Σάμου, οι οποίοι ζήτησαν οικονομική βοήθεια και δεν τους δόθηκε, οδήγησε τους κατοίκους στην ανέγερση των Πύργων με σκοπό τη γρήγορη επικοινωνία με τις Ακροπόλεις στην περίπτωση επιθέσεων. Σύμφωνα με τον Θουκυδίδη, σήματα καπνού και φωτιάς έφταναν το μήνυμα της επίθεσης σε όλη τη Σίφνο. Οι αρχαιολογικές έρευνες μέχρι σήμερα έχουν φέρει στο φως 76 αρχαίους πύργους, με τα ευρήματά τους να αποδεικνύουν πως ήταν στρογγυλοί και είχαν τουλάχιστον 2 ορόφους. Οι Πύργοι ξεχωρίζουν τόσο για την κατασκευή τους, αλλά και για το πλήθος τους, μιας και ο αριθμός τους είναι μεγάλος σε σχέση με το μέγεθος του νησιού, γεγονός που εξηγείται από τις αυξημένες πιθανότητες επιθέσεων σε ένα νησί πλούσιο σε κοιτάσματα χρυσού, αργύρου και μολύβδου. Σε περιπτώσεις πειρατικών επιδρομών οι κάτοικοι κατέφευγαν στους πύργους αυτούς, όπου υπήρχαν εργαλεία, αποθήκες για τα τρόφιμα και στέρνες αποθήκευσης νερού. Δυστυχώς σήμερα λίγοι διατηρούνται σε καλή κατάσταση. Σε καλύτερη κατάσταση είναι ο Μαύρος Πύργος κοντά στα Εξάμπελα, ο Πύργος της Καταβατής, στο δρόμο για το Βαθύ (στη θέση «Καδέ») και ο Άσπρος Πύργος στο δρόμο για το Πλατύ Γιαλό. Κάθε χρόνο, την παραμονή του Αγίου Πνεύματος εθελοντές προσεγγίζουν τους πύργους και τις ακροπόλεις, με λιγότερο ή περισσότερο περπάτημα, και αναβιώνουν το σύστημα της επικοινωνίας με τις φωτιές.