Dominantou městyse je hrad s dvorem na zalesněném ostrohu nad potokem Ležákem čili Holetínkou. Dalšími památkami a zajímavostmi jsou kostel Všech svatých, zvonice, socha sv. Jana Nepomuckého, roubená studna s rumpálem, kamenná kašna, pomník padlých z první světové války, mlýn a četné památky lidové architektury. Od 19. století byl městys Žumberk oblíbeným letoviskem.
Vodovod byl vybudován v roce 2000 a v květnu 2003 jsme dokončili plynofikaci. Naše obec leží na tzv. žumberecké žule, zbarvené červeně, která se těží ve zdejších lomech. Pod kostelem vlevo u cesty k silnici na Lukavici se nacházejí tři chráněné zaplavené lomy, dosahující až 16 metrů hloubky. Významným žumberským rodákem byl poslanec za sociálně demokratickou stranu Bohumil Laušman (1903 - 1963).
Více o historii městyse