Si affaccia sulla Piazza del Duca, a sinistra di chi guarda la Rocca.
Fu eretto per volontà di Giovanni Giacomo Baviera, zio materno e luogotenente di Giovanni della Rovere,

contemporaneamente alla Rocca, forse, su progetto di Baccio Pontelli, come suggerisce l'armoniosa proporzione del piccolo cortile.
Il maggior vanto del Palazzetto è la straordinaria sequenza di stucchi, risalenti al 1590, che ornano le volte di cinque sale. Essi sono opera del celebre plasticatore urbinate Federico Brandani e illustrano episodi tratti dall'Iliade, dalla Genesi, dalla Storia di Roma e le fatiche di Ercole.