V Oselcích sídlili od roku 1388 do 16. století rytíři z Oselců 1673 - 1805, Janovští z Janovic a v letech 1832 - 1945 Booss - Waldeckové. Na jižním okraji obce stojí v anglickém parku výstavný zámek čtvercového půdorysu, který byl v roce 1705 přestavěn z trojboké dispozice bývalé tvrze. Stavitelem byl Ital G.A. de Maggi, který dal zámku čtyřboký půdorys se středním obdélníkovým uzavřeným dvorem. V podvěží zámecké kaple se nachází nástropní freska sv. Jana Nepomuckého a českými patrony pocházející z 1. poloviny 18. století. Dnes se v udržovaném zámku nachází střední škola a odborné učiliště. U zámku stojí barokní patrová sýpka.

Na vrchu západně od obce se nachází barokní kaple sv. Markéty, postavená roku 1691 J.V.Janovským z Janovic. Kaple se stala místem tradiční "svatomarkétské" pouti, od roku 2000 obec obnovila kdysi slavné procesí, jehož se i nyní zúčastňují stovky lidí.

Při cestě ke kapli stojí na kraji obce socha sv. Jana Nepomuckého s památnou lípou, při lesní cestě do Kotouně socha sv. Donáta a o kus dále v lese památný dub. V lese mezi Oselci a Kotouní vyvěrá léčivý pramen "Kloubovka".

V jižní části obce je výklenková kaplička se sochou sv. Floriána, na návsi je barokní kaplička sv. Markéty.

Největšího věhlasu se Oselcům dostalo v době jejich držby Viktorem Booss - Waldeckem, velkým přítelem umění a hudby. V té době byli stálými hosty na zámku Václav Talich, Adolf Hofmeister, K.M. Čapek Chod, Jaroslav Vrchlický a další. Viktor B. Waldeck přeložil do němčiny rozsáhlé Vrchlického dílo, překládal i další české autory.

V budově obecního úřadu je expozice lidových řemesel.

Pramen: Střípky Horažďovicka, 2001, pro sdružení obcí Slavník vydal AgAkcent s.r.o.