Das Schloss in Lipová Lhota ist in Privatbesitz und sieht aus wie eine große Villa oder ein Mehrfamilienhaus. Lipová Lhota war bis ins 16. Jahrhundert Teil des Landbesitzes Rabí. Später wechselten sich die Besitzer  und der erster unter ihnen waren die Kouseks aus Sobětice.

Das Schloss befindet sich inmitten eines Hofes und in den Sommermonaten ist es, aufgrund der dichten Vegetation, schwer, es von außen zu erkennen. Das Schloss ist für die Öffentlichkeit unzugänglich