Historie zámku však začíná až v polovině 16. stol., kdy se majiteli panství Dolejší Krušec stali Cílové ze Svojšic. Právě Beneš Cíl ze Svojšic je pokládán za zakladatele statku s tvrzí neboť již roku 1556 se připomíná s přídomkem na Dolejším Krušci. Ač se následník rodu Cílů, Heřman Cíl neúčastnil povstání, byl mu majetek v letech 1618 až 1620 odebrán a prodán Johance Malovcové, rozené z Bukovan.

V 1. polovině 18. stol. vlastnil statek Gottfried Daniel Wunschwitz, který zemřel roku 1741 a Wunschwitzové drželi statek ještě do roku 1748, kdy jej museli pro finanční potíže prodat. Ve druhé polovině 18. století je krátce statek také v rukou rodu Villani. Majitelé panství se později střídali a až roku 1938 koupili statek Anna Broschová a František Xaver Brosch, kteří na statku hospodařili až do prosince 1949, kdy byli na základě dekretu zbaveni majetku a statek převzal Státní statek Hartmanice. Dnes je zámek v majetku soukromé osoby.

Pramen: Úlovec J., Ohrožené hrady, zámky a tvrze Čech, Libri, 2003, 1. díl, A - M