King egy osztrák származású, zsidó bevándorlócsalád gyermekeként született. Apját (Eddie Zeiger) 9 éves korában vesztette el. Az anyja (Jennie Zeiger) ezután egy New York-i varrodában dolgozott varrónőként. A család szociális támogatásra volt utalva.
King soha nem járt egyetemre, miután leérettségizett alkalmi munkákat vállalt. 22 évesen Brooklynból Floridába költözött. 1971-ben egy pénzügyi visszaélés miatt összetűzésbe került a hatóságokkal.
1957–1971 között DJ-ként helyezkedett el egy Miami Beach-i rádióadónál, a WAHR-nál. Itt vette fel a Larry King nevet. Mivel népszerűsége nőtt, 1960-tól már televíziós műsort is vezetett a WLBW-nél, a miami 10-es csatornánál. 1972-1975 között szabadúszó, szerző és rádiós volt. 1975-1978 között a miami WIOD rádiós személyisége volt. 1978-tól 1985-ig között a Miami Herald szórakoztató rovatának munkatársa volt. Jól ismert műsora, a Larry King Live, amely 1985 júniusától 2010 decemberéig volt látható a CNN hírcsatornán.
A 70. születésnapja alkalmából egy újság azt írta róla: „a vendéglátó inkább ápolja és simogatja vendégeit, ahelyett, hogy a falhoz szegezné őket”.
Jellegzetes öltözködési stílusa segíti hozzá ahhoz, hogy mindig elegánsnak hat, és a nézők könnyen felismerik. Ez keretes szemüvegből, ingből, nyakkendőből, és az elmaradhatatlan nadrágtartóból áll.
