Okolí Milevska spadá do oblasti středočeského plutonu a je geologicky jednotvárné. Skalní podklad je tvořen žulovými horninami typu Čertova břemene, u kterých je ve struktuře nápadná přítomnost větších vyrostlic živce. Pro tyto horniny je typický vysoký obsah draslíku a hořčíku a patří mezi nejsilnější radioaktivní horniny Českého masivu. Z těchto hornin převládá tmavá porfyrická amfibol-biotitická žula, která se vyskytuje i v lomu Na Vinici. Hornina má v čerstvém stavu namodrale tmavošedou či černošedou barvu. Při zvětrávání získává typickou rezavě hnědou barvu. 20 – 50 % horniny tvoří tmavé nerosty. V lomu je zřetelný styk popsané tmavší variety se světlejší varietou žuly, která převládá v jižní části lomu. Ve střední části lomu se nachází žíla aplitu s turmalínovými slunci na puklinách. Okolí Milevska není bohaté na výskyt nerostných surovin. Tmavé žuly se těží v okolí Kovářova a používají se na výrobu pomníků a stavebního materiálu. V minulosti se zde těžily cihlářské hlíny (cihelna U Louže). Na zvětralinách žuly se v širším okolí Milevska nacházejí hnědé půdy kyselé, které v údolích přecházejí do vlhkých půd oglejených a nivních.