Hirschové jsou starobylou židovskou rodinou pocházející z německého Würzburgu. U počátků vzestupu rodu stál Jacob Hirsch (1764-1841). Narodil se v Königshofenu u Würzburgu a původně se měl stát rabínem. Intenzivně studoval Talmud a získal vynikající vzdělání. Později se ale rozhodl pro jinou dráhu a začal se věnovat obchodu. Na počátku jeho slávy stály vojenské dodávky v letech 1790-1800. Roku 1800 založil bankovní dům v Ansbachu a jeho majetek začal rychle narůstat. Kníže Loewenstein-Wertheim jej jmenoval svým faktorem a würzburský velkovévoda dokonce dvorním bankéřem. Navíc mu dovolil zakoupit šlechtická panství a po koupi rytířských statků Gereuth, Trunstadt a Schenkenau se Hirsch stal prvním německým židem disponujícím vrchnostenskými právy. Za osvobozenecké války proti Napoleonovi (1813-1814) zorganizoval, vybavil a platil celý pluk. Vrcholem jeho společenského vzestupu se stal šlechtický titul s predikátem auf Gereuth, který mu 13. srpna 1818 udělil bavorský král Maxmilián I. Josef společně s následujícím erbem:
Ve zlatém štítě stojí na zeleném trojvrší jelen-dvanácterák přirozené barvy s červeným jazykem ve skoku. Na štítě je korunovaná otevřená přílba s modro-zlatými přikrývadly, klenotem pak rostoucí jelen ze štítu.
O tři roky později se Jacob Hirsch stal dvorním bankéřem bavorského krále. Získané peníze z velké části opět investoval do koupě statků a zakoupil v Bavorsku panství Orberzell, Rodelmeyer, Rumling, Illernichen, Füssen a další. Jeho druhorozeným synem byl Josef von Hirsch auf Gereuth(1805-1885), který z otcova majetku zdědil m.j. rytířský statek Planegg a bývalé bavorské korunní léno Harlaching s Hellabrunnem a Siebenbrunnem. Po dokončení studií vstoupil do otcovy banky a po jeho smrti převzal její řízení. Velmi dobře rozpoznal perspektivy železnice a proto přijal funkci šéfkonstruktéra bavorské Východní dráhy. Zabýval se také zamědělstvím a lesnictvím. Jako první z rodiny se proslavil jako velkorysý dobrodinec a během cholerové epidemie roku 1854 velkoryse podporoval nemocnice i pozůstalé obětí. Byl také správcem řady charitativních institucí. 2. srpna 1868 jej bavorský král Ludvík druhý spolu s potomky povýšil do stavu svobodných pánů.
Erb z roku 1818 se nezměnil, jen na štítě přibyla baronská koruna.
Josef Hirsch se roku 1828 oženil s Katharine Wertheimberovou. Jejich nejstarší dcera Amalie (*1834) se provdala za Henriho Bambergera (1826-1910), finančníka, který roku 1872 s rodinami Goldschmidtů a Bischoffsheimů spoluzaložil Banque de Paris et des Pays Bas.
Nepochybně nejznámnějším členem celé rodiny byl Josefův mladší syn Moritz (1831-1896). Roku 1855 se oženil s Clarou Bischoffsheimovou (1833-1899), původem z vlivné bankéřské rodiny. Moritz byl jedním z nejslavnějších železničních podnikatelů a finančníků své doby. Svůj majetek, získaný zejména investicemi v Turecku, daroval z velké části různým humanitárním nadacím. Financoval m.j. rozvoj haličského školství pro židovské i křesťanské děti obou pohlaví, čímž významně přispěl k odstranění otřesné nevzdělanosti zdejších židovských dívek, kterým nebyly přijímány do náboženských škol. Poskytoval též podporu řadě sionistických nadací, čímž si vysloužil nehynoucí nenávist autorů židovského šlechtického almanachu, tzv. Semigothy. Podporoval také Židovskou osidlovací společnost, jejímž cílem byla podpora židovských uprchlíků z carského Ruska a jejich usazení v Severní či Jižní Americe, případně na jiném vhodném místě světa. Ve prospěch této organizace upsal obrovskou částku 2 milionů liber. Pro ruské židovské uprchlíky, kteří se usadili v USA, později založil tzv. Hirschovu nadaci (Hirsch Fund) ve výši 2,5 milionu dolarů. V manželství Moritze a Clary Hirschových se narodila dcera, která ale zemřela v dětsví, a syn Lucien (1856-1887), jenž zemřel v 31 letech. Na jeho úmrtí údajně reagoval otec slovy: „Ztratil jsem syna, ale nikoli dědice. Mým dědicem je humanita.“ Baron Moritz Hirsch zemřel roku 1896 nedaleko hornouherského města Nové Zámky.
Po jeho smrti pokračovala v na dobročinných aktivitách jeho žena Clara, který ve prospěch nejrůznějších filantropických nadací postupně upsala na 10 milionů amerických dolarů. Roku 1899 se svolením císaře Františka Josefa přenesla baronský titul na své adoptivní děti bratry Maurice Arnolda a Raymonda Deforest-Bischoffsheimy a Luciene Irene Marii Premelić-Hirschovou, kteří také získali erb odvozený ze znaku Hirschů auf Gereuth.