Leopold urodził się ok. roku 1075 w Gars w Austrii. Był synem margrabiego Leopolda II Bamberga, zwanego Pięknym, i jego żony Idy. Jego wychowawcą był biskup Passau, św. Altmann (+ 1090). Po śmierci ojca Leopold objął samodzielne rządy nad Austrią w 1095 r. Wyróżniał się wielką troską o potrzeby Kościoła, dlatego budował świątynie i sprowadzał zakonników, aby powiększyć skromną liczbę tamtejszego kleru. Założył słynne opactwo w Melk i niemniej głośne potem opactwo w Klosterneuburg pod Wiedniem, istniejące do dziś. Przyjaźnił się też z bł. Hartmannem, późniejszym biskupem Bressanone. Kiedy wybuchł spór między cesarzem a papieżem, św. Leopold opowiedział się po stronie papieża. Ten w dowód wdzięczności obdarzył go tytułem "syna św. Piotra".

Leopold był powinowatym cesarza Henryka V, gdyż pojął za żonę jego siostrę, Agnieszkę, z którą miał 18 dzieci. Przy założonym przez siebie opactwie ufundował obok swojej rezydencji w Klosterneuburgu słynną na całą Austrię szkołę, którą oddał wraz z klasztorem i kościołem kanonikom regularnym św. Augustyna. Ufundował ponadto opactwo cysterskie w Heiligkreuz i słynne opactwo w Mariazell, najsłynniejsze austriackie sanktuarium maryjne.
Gdy w 1125 r. umarł Henryk V, niektórzy z elektorów pragnęli dać koronę cesarską Leopoldowi. On jednak nie przyjął jej, wolał pozostawać w spokoju w swym kraju. Zyskał sobie przydomek Pobożnego.
Zmarł w czasie polowania 15 listopada 1136 r. Został pochowany w krypcie kościoła w Klosterneuburgu, gdzie spoczywa do dziś. W roku 1485 Innocenty VIII dokonał jego formalnej kanonizacji, a w 1663 r. cesarz Leopold I ogłosił go patronem Austrii.

Ikonografia przedstawia go najczęściej w koronie władcy z kościołem w ręku, a często także z koszem chleba, by przypomnieć, że święty był budowniczym kościołów i wyróżniał się miłosierdziem.