Le château de La Ferté Milon ne fut jamais achevé. Sa construction fut commandée en 1393 par Louis I^er d'Orléans, fils de Charles V et frère du Roi Charles VI. Le comté de Valois est donné en 1371 au second fils du Roi Charles V. Mais l'assassinat en 1407 du Duc d'Orléans par son propre cousin, Jean sans Peur, duc de Bourgogne, interrompt la construction du château. Ce meurtre sera d'ailleurs à l'origine de la guerre civile entre Armagnacs et Bourguignons alors que déjà, la France connaît la guerre de Cent Ans contre l'Angleterre.

Un premier château est mentionné à La Ferté Milon dès le VIII^e siècle. Philippe Auguste réunit le comté de Valois à la couronne de France en 1213. En 1240, Louis IX offre le domaine à sa mère Blanche de Castille. Charles de Valois devient le nouveau propriétaire du château en 1284. Puis, le comté est donné à Louis d'Orléans en 1371 qui décide la construction du château san rien garder de la structure préexistante et le site primitif est rasé. En 1429, les Français reprennent la forteresse des mains des Anglais. La fin de l'histoire du château se termine en 1594 lorsqu'Henri IV décide son démantèlement.

Le château de La Ferté Milon, construit sur les hauteurs de la ville et dominant la vallée de l'Ourcq, présente une grande façade flanquée de quatre tours pour défendre le domaine. Des mâchicoulis permettent tout le long une défense à la verticale. Seule la façade longue de plus de 100 mètres fut construite par manque de moyens financiers et par manque de temps du fait de la mort du duc. Un bas-relief sculpté entre les deux tours centrales et au-dessus de la porte représente le couronnement de la Vierge. Les autres niches qui accueillaient d'autres bas-reliefs ont connu un triste sort à la Révolution par la décapitation des statues. Le château était protégé par un fossé et la ville par une ancienne porte dont il ne reste plus que les vestiges composés de deux tours.