Narodil sa v Hornom Uhorsku v chudobnej roľníckej rodine. Z domu ušiel s partiou drotárov. Jeho cesty nie sú známe. Do Bostonu priplával v roku 1857 z Hamburgu. Láska k alkoholu a hazardu ho neraz priviedla do rozporu so zákonom. Aj preto sa pre neho Boston stal po niekoľkých mesiacoch príliš nebezpečný. Nakoniec sa vydal po pobreží dole na juh. Všade kam prišiel sa história opakovala. Okrem alkoholu a hazardu sa však k tomu pridali rôzne krádeže a kupliarstvo. Najdlhšie sa usídlil v Richmonde. No ani tu sa jeho život nezlepšil. Dalo by sa povedať, že ešte viac pil a hral. Neraz ho bolo vidieť ležať opitého v blate pri saloone. Tu ho našiel aj starý baptista Johan Harsting. Naložil ho na svoj voz a odviezol ho do západnej Virginie do Upsherského okresu. Snažil sa z neho vyhnať diabla tvrdou prácou a nie raz aj bičom. Johan bol zaritý abolicionista a člen podzemnej železnice. Práve tu Geffy znenávidel černochov, na ktorých podľa neho on musel drieť. Keď vypukla vojna, v noci farmu zapálil. Skrýval sa v okolí, až narazil na verbovačov do konfederačnej armády, ku ktorým sa pridal. Tak narukoval k 25th Virginia infantry.