Η Ζεφύρια είναι το χωριό το οποίο γνώρισε μεγάλη ακμή γύρω στο 1400 . η ανάπτυξη της οφείλεται στο εμπόριο των πειρατών όπου είχαν την Μήλο σαν ορμητήριο και κέντρο των εμπορικών συναλλαγών τους. Στα τέλη του 18ου αιώνα, η πόλη αρχίζει να εγκαταλείπετε λόγω σεισμών, που κατέστρεψαν τα σπίτια τους και από δηλητηριώδη αέρια που έβγαιναν από τα ρήγματα των σεισμών. Στις αρχές του 19ου η Παλαιά Χώρα έχει συρρικνωθεί σε μερικά μόνο σπίτια. Οι κάτοικοι μεταναστεύον στο Κάστρο και στις γύρω περιοχές παίρνοντας μαζί τους ότι πολυτιμότερο είχαν . σήμερα η Ζεφύρια είναι ένα χωριό το οποίο κατοικείτε από μερικές οικογένειες .