La colossale montagna artificiale di terra venne innalzata nel corso del secondo decennio del '500, quando il duca Alfonso I d'Este decise di ricostruire tutta la cinta sudorientale, ammassando in questo punto tutta la terra ricavata dagli scavi delle nuove fosse. Nata con funzioni prettamente militari, l'altura divenne presto una delle attrazioni naturalistiche della delizia della Montagna, ossia la residenza da diporto fatta costruire sopra l'omonimo baluardo dal duca Ercole II d'Este nei primi mesi del 1541: il progettista, probabilmente l'architetto Terzo Terzi, creò qui una serie di raffinati ambienti disposti attorno a un cortile quadrato con portici rustici su due lati, mettendo altresì a punto sofisticati impianti idraulici aspiranti l'acqua dal sottostante vallo al fine di soddisfare la grossa esigenza idrica delle strutture e degli ambienti superiori. La singolarità estetica del piccolo palazzo (un palazzo Te in miniatura) era oltremodo esaltata dai prospetti esterni, quasi completamente affrescati con figure umane, paesaggi e finte architetture dai migliori pittori della corte di Ercole, in primis Battista Dossi, Girolamo da Carpi, Camillo Filippi e dal Garofalo.

La rinomanza della residenza era però legata allo spettacolare e ricercato contesto ambientale, ricco di acque movimentate da complessi congegni idraulici e ruotante attorno alla montagna rivestita di vigne e fiori, ai piedi della quale si estendeva una peschiera lunga oltre 200 metri (l'attuale Viale Alfonso I d'Este). Nei periodi estivi, il duca Ercole amava sostare a lungo sulla cima del colosso di terra, all'ombra di un velario appositamente montato e prossimo ad una vasca artificiale (realizzata nel 1546) lunga 7 metri e larga poco più di 4: tramite ruscelli e condotti sotterranei, l'acqua scorreva impetuosa lungo il pendio, alimentando le “trombe degli inzegni” delle fontane, alcune delle quali  azionate con meccanismi sonori.

Le viscere della montagna (omaggiata anche da Torquato Tasso tra le sue Rime) celavano inoltre due grotte ipogee costruite nel 1545-1549 su disegno di Girolamo da Carpi, decorate con conchiglie marine, foglie d'oro, paesaggi dipinti da Luca e Girardo d'Olanda e specchi ornamentali applicati in volta e a parte nell'estate del 1574, in occasione della visita di re Enrico III di Francia; labirinti di bosso, serragli con un leone e una leonessa (donati a Ercole nel 1552 da Emanuele Filiberto di Savoia), struzzi, asini nani, scimmie e pavoni completavano la spettacolarità degli spazi, purtroppo devastati nei primi tre decenni del Seicento sotto il governo dei Legati papali.

Ercole II d'Este è noto alla storiografia per aver trasfuso valori estetici e paesaggistici ad alcuni punti del circuito fortificato di Ferrara, rendendoli di fatto luoghi di delizia per il diporto; nella Rotonda e nella Montagna di Sotto, Arte e Natura davano forma alla magnificenza del principe entro una cornice teatralizzante dalla forte valenza politica, e non è un caso se proprio in questi due siti si scatenò la furia devastatrice dei reggenti del Papa, desideroso di cancellare visivamente tutti quei segni riconducibili al potere estense.

Il canonico Marco Antonio Guarini descriveva così il complesso residenziale della Montagna, poco prima della sua letale trasfigurazione

[…] delizioso Palagio, e giardino detto la Montagna di San Giorgio, nella quale entrandosi per il vaghissimo portone, che alla detta via della Giara fa dilettevole prospettiva, si scopre una gran Piazza, che dalla parte destra è ornata d'una bellissima fabrica dal Duca Hercole Secondo edificata, la quale oltre alle nobilissime stanze contiene in se un gran bagno, e per di fuori è abbellito di pitture diverse, di mano di Girolimino Carpi, e di Benvenuto Tisio detto il Garofolo, nella quale cenò Henrico Re di Francia nel suo ritorno di Polonia. Alquanto distante da questa evvi un'uccelliera, ove ne gli andati tempi vi si conservavano vivi diversità di uccelli paesani e forestieri. In prospettiva del detto portone nell'uscire della detta Piazza, entravasi in un folto bosco di piante diverse, che nel mezzo haveva una fonte da un laberinto intorniata. Alla destra del detto bosco, nel salire da questa parte il cominciamento del terrapieno, eranvi alcuni comparti di pietre intagliate con diversi fiori, e piante delicate, come rose, gelsomini, ginestri ed altre in varie foggie accomodate.

Alla sinistra eravi, sì come al presente si ritruova, una gran Montagna artificiosamente fabricata, ch'al piede alquanto indietro haveva una bellissima grotta, che per di dentro nel primo ingresso era fatta in forma di rotonda, con alcuni nichi lavorati di Grotteschi, e più oltre seguitando s'entrava in una picciola stanzetta quadrata lavorata di musaico, con pitture, e arabeschi dorati dilettevole molto. Alla Porta de detta grotta, per di fuori era situato un gran vaso quadrato, scolpito in finissimo marmo, come una fonte, e tutto il sopradetto hora sta negletto, e poco che distrutto. La detta Montagna si ascendeva e discendeva per dissotto a vaghissimi ed ombrosi pergolati di varie viti coperti, ed altre verdure, nella cui sommità haveva una mediocre Piazza serrata da pergolati a braccio di larice, con altre viti; dalla quale poi si scorgeva con gusto mirabile non solo la Città, ma il paese ancora. La detta Montagna era senz'ordine piantata ed imboschita di varie piante, e quella parte che risguarda la Città all'Occidente dal piè fin'alla cima era piantata d'una vigna bassa d'uve diverse. Nell'ingresso del portone già detto alla sinistra della detta delizia si ritrovava una gran pergola di larice sostenuta da numerosa quantità di colonne, con gli archi di ferro anch'ella da varie viti coperta, che in lungo camminava dal detto portone fino alla Chiesa della Madonna detta della Porta di Sotto, che quivi era situata, tra la qual pergola e la detta Montagna eravi una gran Peschiera di lunghezza quanto la detta pergola dove si conservava gran copia di vari pesci”.

Diversamente, Alberto Penna ci restituisce il suo sconforto all'indomani dello scempio:

Per il Portone della Giara più non s'incontrano altrimenti Giardini, non Laberinto, non Uccelliera, non Grotte, e non fonti per essere stati tutti rovinati, disfatti e spianati. Più non si discerne Peschiera, per essere stata ripiena di letame, et uguagliata al suolo. Più non Vigne, non Pergolati, e non fruttari, per essere stati tutti tagliati, e sradicati. Solo vi rimangono per reliquia la montagna affatto nuda, se non in quanto viene coperta dalle spine, et il Palazzino mentovato di sopra alla parte destra dell'ingresso così mal concio nondimeno, che rassembra più tosto un porcile, che una humana habitatione in tal posto ridutto da soldati, che l'hanno habitato, e che tuttavia se gli aquartierano.

A partire dalla seconda metà del XVIII secolo il palazzetto viene denominato nelle fonti “Fabbrica del Bagno” o Bagni Ducali, toponimo ancora in uso, derivato dalla presenza di una stanza da bagno risalente all'epoca di Ercole d'Este. Nel 1799 le truppe francesi adibirono l’edificio a presidio militare e stalla, in seguito ulteriormente adattato a “reclusorio” dei precettati. Nel corso dell'Ottocento venne sistemato a pubblico passeggio tutto il tratto interno delle mura orientali, collegando Corso Giovecca con la Porta di San Giorgio mediante una strada, poi denominata viale Alfonso I d'Este: alla fine del secolo la palazzina venne poi adattata per accogliere un “Caffè con magazzini” e l’abitazione del custode (Scafuri in sitografia).

Agli inizi del Novecento ospitò poi la scuola elementare “Biagio Rossetti”, destinazione d'uso che rimase inalterata fino al 1944, quando molte stanze dei Bagni Ducali furono occupate dagli sfollati: la situazione di degrado si protrasse fino ai primi anni Settanta, quando l'Amministrazione Comunale decise di recuperare funzionalmente la costruzione cinquecentesca.

Sulla piccola collinetta sorse un serbatoio dell’Acquedotto, su disegno di Giacomo Duprà, che dal 1890 portava in città l’acqua dai fontanili di Castelfranco Emilia a 57 chilometri di distanza.

Una croce di metallo su una colonna alla destra del percorso indica il luogo di fucilazione di Girolamo Savonuzzi ucciso insieme a Arturo Torboli nella lunga notte del 1943 (Lottici).

Oggi si svolgono fiere durante la festa patronale di San Giorgio (23 aprile) con grande Luna Park.