För miljoner år sedan var den här parken en del av havsbotten. När det torkade ut fortsatte erosionen det som vatten troligen redan hade påbörjat: att erodera bort sandstenen under massiva stenblock. Det har resulterat i massiva stenblock som balanseras ovanpå små sandstenutsprång. Det är inte svårt att se varför människor för tusentals år sedan lockades till den mystiker som höljer denna plats.

Mellan tre och fyra tusen år sedan började människor rita geometriska mönster, djur- och mänskliga figurer på flera grottor. Dessa är de äldsta tecknen på civilisation i detta område. Det finns också några stenmarkörer, men dessa skulpterades för ungefär 1200 år sedan av Mon Dvaravati-folket, och de finns runt de mest djärva stenbalanseringshandlingarna. Det var kanske vid denna tid som statyer av Buddha huggs in i nischer, men nästan alla dessa förstördes av inkräktare.

De mest iögonfallande stenarna bär namn som Tao Baros Horse Stable och Hermit’s Cave, med hänvisning till en lokal myt om en prins som hölls fånge i en av grottorna och så småningom befriades av en prins med namnet Tao Baros. Om allt detta inte räckte finns det också en 1,5 meter lång fördjupning på en av klipporna som sägs vara Buddhas fotavtryck. I själva verket betyder parkens namn, Phu Phra Bat, bokstavligen ”Buddha’s Footprint Mountain.” På grund av detta kan ett antal helgedomar av nyligen ursprung hittas inbäddat mellan stenar.

Tack vare de unika geologiska funktionerna och den kulturella betydelsen av de mänskliga artefakterna förklarades detta område som en historisk park 1991.