Čeprav s svojim mogočnim izgledom in vogalnimi stolpi spominja na grad, ga ne moremo šteti za pravi grad po pravilih gradoslovja. Nikdar ni bil središče fevdalne gospoščine in ni bil zgrajen za obrambo. Zgrajen je bil leta 1527 kot upravna zgradba rudnika in skladišče za živo srebro in hrano (takrat pozimi ni bil mogoč normalen dostop v Idrijo).
V zadnjih dvajsetih letih je doživel temeljito prenovo, na dvorišču z arkadnimi hodniki so odkrili in kvalitetno obnovili ornamentalno arhitekturno poslikavo. V stavbi ima sedež in razstavne prostore Mestni muzej Idrija, deluje pa tudi Glasbena šola Idrija.