Pagóry leżą nieopodal Wisły we wschodniej części Wyżyny Sandomierskiej. Skały kambru budujące podstawową część gór, miejscami przykryte są utworami czwartorzędowymi, głównie glinami morenowymi i lessami. W Górach Pieprzowych skamieniałości są skrajnie rzadkie i obejmują nieliczne trylobity i ramienionogi (znaleziska z początków XX w. z kamieniołomu w Kamieniu Łukawskim).

Łupki Gór Pieprzowych – powstałe jako osady w morzu kambryjskim ok. 500 mln lat temu. W dzisiejszym położeniu ławice osadów stoją tu teraz pionowo lub są częściowo przewrócone. Łupki te rozpadają się w procesie wietrzenia w specyficzny sposób, a zwietrzelina barwą i kształtem przypomina ziarna pieprzu, co dało zapewne ludową nazwę temu rejonowi.

Pod względem morfologicznym obszar Gór Pieprzowych stanowi wysoką krawędź doliny Wisły, poza którą ciągnie się lekko falista równina, opadająca łagodnie ku południowemu wschodowi. Całość tworzy łagodnie wygięty łuk, skierowany swą wypukłością na południe. Wysokość bezwzględna sięga tu niespełna 200 m n.p.m., natomiast różnica wysokości między płaskim i podmokłym korytem Wisły a krawędzią pasma wynosi 40–60 m. 

Na terenie Gór Pieprzowych znajduje się rezerwat przyrody Góry Pieprzowe. Rezerwat przyrody utworzono w 1979 roku ze względu na niezwykłe bogactwo przyrodnicze, florystyczne oraz geologiczne terenu. Zbudowane głównie z brunatnoszarych łupków, które pod wpływem czynników atmosferycznych kruszą się i wyglądem przypominają pieprz. Góry Pieprzowe w Sandomierzu to malowniczo zaznaczona w krajobrazie krawędź Wyżyny Sandomierskiej, która schodzi w kierunku doliny Wisły. Słyną z dwunastu gatunków dziko rosnących róż. To największe skupisko dziko rosnącej róży w Europie i w Polsce. Z 25 gatunków dzikich róż występujących w Polsce, 12 występuje wyłącznie w Górach Pieprzowych.  
 
Teren Gór Pieprzowych ciągnie się przez około dwa kilometry, możemy spotkać tam wiele gatunków roślin chronionych a także, charakterystycznych tylko dla tego miejsca. W rezerwacie wyznaczono trasy dla wycieczek pieszych oraz rowerowych.

Góry Pieprzowe w Sandomierzu, czyli sandomierskie Pieprzówki posiadają zmienne ukształtowanie, w większości to strome i urwiste obszary. Odsłonięta skarpa jest bogato urzeźbiona podłużnymi rynnami erozyjnymi, nadającymi całości oryginalny i rzadko spotykany wygląd. Natomiast wyższe partie zboczy pokrywa warstwa lessu, na którym utrzymały się relikty flory stepowej. Pomimo stosunkowo niewielkiego obszaru, na jakim znajduje się rezerwat, występują na nim siedliska skrajnie suche oraz mokre na przykład obszary z florą stepową, roślinność porastająca zwietrzałe łupki oraz tereny z szatą roślinną charakterystyczną dla siedlisk podmokłych. Jednak największe powierzchnie stanowią siedliska suche z gatunkami kserotermicznymi porastającymi skały łupków kambryjskich.
Przez góry przechodzi czerwony szlak turystyczny z Gołoszyc do Piotrowic.