Il borgo di San Leo è da sempre sovrastato da un imponente forte, di probabile origine romana.
Nel corso dei secoli il forte fu ampliato dai goti, poi dai longobardi ed infine dai primi Duchi di Montefeltro.
Ma la configurazione attuale la si deve agli interventi del 1472 quando il forte ebbe, a cura di Francesco di Giorgio Martini su ordine del grande Federico da Montefeltro, una massiccia ristrutturazione atta a renderlo adatto alle nuove armi a base di polvere da sparo e che lo rese una delle fortezze più belle d'Italia.
Il Bembo lo definì "il più bello e grande arnese della regione".
Il Macchiavelli lo cita in una lettera a Papa Urbano VIII come "Forte è San Leo e fortizzima la sua roccia .."
E' in questa ristrutturazione che furono aggiunti i torrioni laterali, le lunghe mura di collegamento e la residenza ducale.
Ma la fortezza di San Leo, nonostante o forse a causa dell'essere inespugnabile, più che le battaglie o gli assedi è tristemente famoso perchè è stato a lungo usato come carcere con tanto di cella della tortura.
Qui infatti, il 26 Agosto 1795, vi morì, nella famigerata cella del pozzetto dopo 4 anni e 5 giorni di reclusione, il palermitano Giuseppe Balsamo, ben più noto al mondo come il Conte Cagliostro.
Da circa trenta anni il forte ed è utilizzato sia come museo d'armi, sia come museo degli strumenti di tortura e sia come pinacoteca.
