Grad Vrbovec stoji na sotočju reke Drete in Savinje v Nazarjah. V listinah ga najdemo z nemškim imenom Altenburg, slovensko ime Vrbovec pa je star slovenski izraz, ki pomeni "v vrbovju", ki je poraščalo bregove reke Drete.
Prvotni grad, pozidan na skalni kopi sredi kompleksa, je nastal vsaj v prvi polovici 12. stoletja, današnjo obliko pa naj bi dobil okoli leta 1480. Med lastniki gradu se omenjajo oglejski patriarh, Vovbržani, grofje Celjski in Habsburžani, dokler ga leta 1615 ne kupi ljubljanska škofija in obdrži v svoji režiji vse do druge svetovne vojne. Med vojno je bila v gradu okupatorjeva postojanka, zato so ga leta 1944 partizani zažgali. Po koncu vojne so grad le delno obnovili, pred propadom pa ga je rešilo Gozdno gospodarstvo Nazarje, ki se je v letih 1988-1992 odločilo za popolno obnovo.
Prvotno je grad služil kot sedež uprave oglejskih posesti, potem je nudil bivališče raznim fevdalnim družinam, nekaj časa pa je bil sedež oblastnih organov. Že pred prvo svetovno vojno je bil v gradu del uprave škofijskega posestva, ki se je kasneje postopoma širila. V tridesetih letih 20. stoletja je v gradu deloval tudi delavski konzum in nekaj časa tudi delavska hranilnica.
Danes so v gradu upravni prostori Občine Nazarje, številna zasebna podjetja, gozdarske institucije tega območja, poročna dvorana, gostišče in muzej gozdarstva in lesarstva.