Původně vídeňská rodina se po vyhnání židů z císařské metropole roku 1670 usadila v Praze. Na počátku 19. století založili Epsteinové kartounku v Praze. Leopold Epstein (1798-1864), její spolumajitel, se roku 1830 usadil ve Vídni a etabloval se také jako bankéř. Rod se proslavil zejména jeho syn Gustav Epstein (1828-1879), majitel bankovního domu. Postupně se stal cenzorem a ředitelem Národní banky, burzovním radou a byl jmenován generálním konzulem oldenburského velkovévody ve Vídni. Proslul také jako mecenáš a sběratel umění a na vídeňské Okružní třídě pro něj v blízkosti parlamentu vystavěl Theophil von Hansen velkolepý Palác Epstein, který sloužil zároveň jako bankovní dům. Kabinetním listem z 31. srpna 1866 získal v uznání zásluh o založení vídeňské obchodní a živnostenské komory a rakouského Muzea pro umění a průmysl a také za své vlastenecké jednání, jež prokázal dary na válečné účely, a za humanitární činnost, řád Železné koruny III. třídy. Na základě jeho statut požádal o povýšení do rytířského stavu, ke kterému došlo listinou ze dne 6. listopadu 1866, kdy mu byl udělen predikát rytíř (Ritter von) a erb:
Stříbrným vlnitým břevnem červeno-modře dělený štít. V horním poli se vidí doprava otočený zlatý šíp se stříbrným hrotem a opeřením, ve spodním tři stříbrné tkalcovské člunky se zlatými hroty (2:1). Na štítě stojí dvě korunované turnajské přílby. Z pravé s červeno-stříbrnými přikrývadly vyrůstá stříbrný dvojocasý lev s červený jazykem držící v pravé tlapě špicí vzhůru obrácený šíp ze štítu. Na levé přílbě s modro-stříbrnými přikrývadly jsou dvě zavřená modrá křídla, každé se stříbrným vlnitým břevnem.
Sláva Gustava rytíře Epsteina skončila po vypuknutí krize roku 1873. Jeho bankovní dům zkrachoval a on sám přišel o veškeré jmění. Roku 1899 konvertovali někteří jeho potomci ke křesťanství.