Il Bargello è stato costruito in periodi e fasi diverse:  la prima parte fu realizzata dal 1255 al 1261 inglobando il vecchio Palagio, la torre dei Boscoli e alcune case e torri della Badia Fiorentina; poi, dagli ultimi anni del XIII secolo vennero creati il cortile porticalo e fu rialzato sui lati di Via Ghibellina e Via dell'Acqua.

Nel 1400 divenne sede del Consiglio di Giustizia e dei Giudici di Ruota, fu solo nel 1574 che divenne la sede del bargello. Il Bargello era il capo delle Guardie o di Piazza, che provvedeva agli arresti, interrogatori e provvedeva anche ad eseguire le condanne capitali.

Per tre secoli il Bargello fu un carcere e l'architettura interna fu profondamente cambiata: nel cortile furono murati gli archi del loggiato e del verone, le sale più grandi vennero suddivise con tramezzi per ricavarne un maggior numero di celle e furono coperte le pitture e le decorazioni.

Nel 1859, con il trasferimento del carcere alle Murate, si decise di restaurare il Bargello. I lavori furono affidati a Federico Mazzei e terminarono nel 1865, anno in cui venne inaugurato il Museo nazionale che era suddiviso in due piani: al piano terreno vennero allestite due sale d’armi, con oggetti provenienti in parte dall’armeria medicea e dall'altra dal Guardaroba di Palazzo Vecchio, e una sala di scultura del Quattro-Cinquecento. Nel salone del primo piano trovarono posto le sculture proveniente dal salone dei Cinquecento in Palazzo Vecchio.

Nel corso degli anni si aggiunsero statue di bronzo e oggetti di arte applicate, come gioielli, maioliche, ornamenti sacri, lavori con l'avorio; molte furono le donazioni dei privati in ogni settore artistico al museo che è oggi uno dei principali musei fiorentini.

Fa parte del bargello anche la Torre Volognana, alta 57 metri che prende il nome da Geri da Volognano, uno dei primi prigionieri che vi furono rinciusi quando il bargello era una prigione. In cima alla torre c'è una campana chiamata "montanina" che suonava sempre nelle occasioni più funeste. Da qui il proverbio fiorentino "Ha la lingua lunga come la campana del Bargello; quando suona, suona sempre a vituperio".