Possession des comtes d’Anjou puis des Plantagenêts, il est transformé en forteresse royale au début du XIIIème siècle à l’époque du roi saint Louis. Pendant la seconde moitié du XIVème siècle, le duc Louis 1er d’Anjou (frère du roi Charles V) le transforme en château-palais fastueux. La miniature le représentant dans les fameuses « Très riches heures du duc de Berry » nous en donne une image précise. Le roi René, dernier duc d’Anjou, y réside périodiquement. Après sa mort en 1480 le château revient au domaine royal.

Jusqu’à la fin de l’Ancien Régime, l’édifice servira de résidence aux différents gouverneurs de la ville. Le plus connu d’entre eux, Philippe Duplessis-Mornay est nommé en 1589. La ville de Saumur vient d’être concédée au parti protestant en tant que place de sûreté. Le nouveau gouverneur fait fortifier le château par l’enceinte qui existe toujours, d’une conception très novatrice pour son époque (la partie du côté de la ville a été édifiée près d’un siècle avant les ouvrages de Vauban !).

Pendant le XVIIème et le XVIIIème siècle, le château de Saumur sert aussi de prison : prisonniers sur lettre de cachet puis à partir des années 1780 prisonniers de guerre (essentiellement des marins britanniques).

L’édifice est épargné par la Révolution. Il est sauvé de la destruction à laquelle le vouait son mauvais état par la décision de Napoléon 1er de le transformer en prison d’Etat.

D’importants travaux l’adaptent à sa future destination. Mais le changement politique lié à la Restauration de la monarchie modifie de nouveau son destin. En 1814 il est affecté au Ministère de la guerre et devient un dépôt d’armes et de munitions.
Les militaires partent en 1889. La Ville entame alors des discussions avec l’Etat pour racheter le château dans le but d’y installer le musée municipal. L’acquisition est réalisée en 1906. La restauration du monument commence alors.

En 1912 le monument en partie restauré est ouvert au public. Le musée municipal est installé au premier étage de l’aile nord ; le musée du cheval (musée d’association) au second étage.
L’accroissement des collections amène la Ville à faire restaurer l’aile Est pendant l’entre deux-guerres. En 1940, le château est bombardé et subit de graves dégâts, réparés quelques années après.
L’aile sud et la tour ouest sont restaurées pour leurs parties extérieures entre 1997 et 2001.

En 2001, une partie du rempart nord s’effondre. Sa restauration commencée en 2004 s'est achevée à la fin de 2007.
Le château de Saumur a été classé Monument historique en 1862. Depuis lors, les travaux de restauration sont menés en coordination avec les services de l’Etat.

Le château abrite depuis 1912 les riches collections du musée municipal, augmentée à la fin des années 1950 par le don des collections du Musée du cheval.

Le musée de Saumur est un musée municipal, possédant le label « Musée de France ». Ses collections sont très variées (arts décoratifs, beaux-arts, ethnologie, archéologie, sciences naturelles) et de haute qualité.
Ses points forts sont : les céramiques (une des plus belles collections de faïence de France), les tapisseries (du XVème au XVIIIème siècle, la plupart classées parmi les Monuments historiques) et, Saumur oblige, le harnachement du cheval rassemblant des objets de l’antiquité au début du XXème siècle et provenant des cinq continents (selles, mors, étriers, éperons, œuvres d’art).

Depuis 2004, les salles d’exposition situées dans les étages du château sont fermées en raison des travaux en cours. Dans l’attente de leur réouverture une sélection des collections est présentée dans l’abbatiale.
La réorganisation complète des présentations est en cours d’étude de même qu’une nouvelle valorisation du monument.

Depuis l’été 2006 le musée dispose de nouvelles salles d’exposition dans le bâtiment dit  « l’abbatiale ».
Il s’agit en fait de l’ancienne église abbatiale du monastère de Saint-Florent du château, fondé au Xème siècle. Cette fondation bénédictine quitte le site peu après 1024 pour s’installer sur l’actuelle commune de Saint-Hilaire-Saint-Florent.
L’abbaye de Saint-Florent, aujourd’hui presque tombée dans l’oubli, fut une des plus importantes de l’ouest de la France du Xème au XVIème siècle.
Les différents bâtiments de l’abbaye s’élevaient dans l’enceinte du château, dans la cour appelée de nos jours « Caserne Feuquières » (en l’honneur de Manassès de Pas de Feuquières, officier né à Saumur en 1590 et neveu de Charlote Arbaleste, épouse de Duplessis-Mornay). On en voit quelques vestiges dans les bâtiments actuels.

L’accès aux salles de l’abbatiale se fait par l’accueil du Château-Musée.