Le château d'Aumont de Boulogne-sur-Mer est un ancien château fort du début du XIII^e siècle. Il fut remanié dans un premier temps au XVI^e siècle, puis à nouveau aux XVIII^e et XIX^e siècles. L'ensemble constitué du château et de ses remparts est l'une des villes fortifiées médiévales en France encore intact.

Le château et ses fortifications ont été érigés sous l'initiative du fils de Philippe Auguste, Philippe Hurepel en seulement 4 ans, de 1227 à 1231. Les tours datent du XVI^e siècle : la tour Notre-Dame en 1516, la tour Françoise en 1531, le Fer à cheval en 1567. La tour ronde fut reconstruite à la suite d'une attaque des Anglais. Une double fortification fut détruite par Louis XIV en 1689. Sa forme polygonale est composée de 9 tours rondes et encerclent une cour cylindrique. La position du château vient renforcer l'enceinte de la cité.

Au XVII^e siècle, le château fut utilisé pour une caserne, puis ils sera aménagé en prison jusqu'en 1974. Lorsque la ville devient propriétaire du lieu en 1988, il devient un musée municipal d'art et d'archéologie. On peut y voir notamment les céramiques grecques et un ensemble d'art inuit parmi les plus importants au monde. Le musée comprend 5 départements : l'archéologie méditerranéenne, l'ethnographie extra-européenne, les beaux-arts, les arts décoratifs et l'histoire locale depuis l'Antiquité, en passant par les richesses gallo-romaines, la ville médiévale jusqu'au camp de Boulogne de 1803 avec Napoléon I^er en vue du débarquement en Grande-Bretagne.