Zgrada Gradskog muzeja nalazi se na zapadnom dijelu Trga Svetog Trojstva i kao jedna od najstarijih, profanih građevina u gradu, predstavlja biser baroka. Sagrađena je početkom 18. stoljeća kao trgovačka i stambena zgrada, okrenuta zabatom prema Trgu. Na pročelju je ukrašena pilastrima, a ispod u prizemlju na sjevernoj i istočnoj strani zgrade su arkade (bolte), koje se nastavljaju na kuću Klezinger prema Gradskoj kući.
Poslovni, trgovački prostori su završeni bačvastim svodom, a vanjski trijem križno bačvastim. Na katu, u niši na uglu sjevernog i istočnog zida, smještena je kamena skulptura Madone Immaculate (Bezgrešnog Muzej 4.jpgMuzej 3.jpg začeća), a u prizemlju na istom uglu, pod boltama, nalazi se manja niša u kojoj je vjerojatno bila skulptura, što zgradu ističe kao posebnu za ovu vrstu arhitekture. Muzej je ovu zgradu dobio na korištenje 1953. godine, do kada je doživjela nekoliko dogradnji i promjena.
Gradnjom „kuće Spitzer“ početkom 20.stoljeća, prema kući Klezinger, gdje je bila prizemnica, nastala je reprezentativna historicistička zgrada sa širokim trijemom i trgovačkim prostorima prema Trgu, a u produžetku se nastavlja u izduženo dvorišno krilo sa skladišnim prostorima. Od 1980. godine nalazi se Gradski muzej.