Rođen je 19. rujna 1948. u mjestu Plavno, općina Bač u Vojvodini. Njegova obitelj porijeklom je iz mjesta Ledinac u općini Grude. Poslije Drugog svjetskog rata pošli su „trbuhom za kruhom“ u Vojvodinu, ali su se nakon godinu i pol dana vratili u Hercegovinu.
Otac mu je najprije bio knjigovođa u poljoprivrednoj zadruzi. Kasnije se s mnogobrojnom obitelji s osmero djece preselio u tadašnju Lišticu, današnji Široki Brijeg gdje je bio tajnik gimnazije.
Osnovnu školu i gimnaziju „Ivan Goran Kovačić“ završio je u Širokom Brijegu. Diplomirao je na Pravnom fakultetu u Zagrebu. Prvi posao dobio je kao pravnik u poduzeću Slavonija DI, potom j od 1976. kao stručni pravni referent zaposlen u općini Novi Zagreb.
1982. postao je tajnik Izvršnog vijeća SO Novi Zagreb. Od 1986. do 1989. bio je društveni pravobranilac samoupravljanja. Od 1989. do 1991. na funkciji je zamjenika generalnog direktora „Zagrepčanke“.
Tada je razmišljao da prijeđe u odvjetnike, ali je na poziv Ivice Račana, prešao u SDP gdje postaje financijski direktor stranke. U pregovorima s HDZ-ovom vlasti uspio je zadržati skoro svu imovinu nekadašnjeg SKH. Tako je i zgrada bivšeg Centralnog komiteta, poznata kao „kockica“ zamijenjena s državom za zgradu na Iblerovom trgu gdje se i danas nalazi sjedište SDP-a.
Predsjednik HHO-a Ivan Zvonimir Čičak optužio je SDP da je imao crne fondove. U prilog tome državnom odvjetništvu je dao preslik ugovora o prodaji nekretnine u Nazorovoj ulici SR Njemačkoj čija je jedna trećina bila u vlasništvu SDP-a. Novac od prodaje te nekretnine uplaćen je na račun SDP-a u Grazu. Iz SDP-a su opovrgli postojanje crnih fondova, ali nisu objasnili postojanje računa u inozemstvu te je li na njemu bilo još nekih transakcija.
Poslovna politika SDP-a preispitivala se i nakon saznanja da je ta stranka 2003. prodala svoj hotel (Vilu Park) u Sloveniji sadašnjem ravnatelju HRT-a Goranu Radmanu. Ni danas nije jasno tko je u ime SDP-a potpisao tu prodaju. Josip Leko je novinarima poručio da se ne sjeća detalja oko te prodaje i ne sjeća se je li u to vrijeme bio poslovni direktor.
2000. godine izabran je za saborskog zastupnika i od tada je biran u svaki saziv Sabora. U dva mandata bio je predsjednik saborskog Odbora za zakonodavstvo. 2008. postao je predsjednik Glavnog odbora SDP-a.
Nakon smrti Borisa Šprema, dotadašnjeg šefa hrvatskog parlamenta, 11. listopada 2012. jednoglasno je izabran za predsjednika Hrvatskog sabora. „Svoju ulogu vidim kao zapovjednika broda na linijskoj plovidbi s tim da moram paziti da svi putnici članovi posade ostvare svoje interese kako bi brod na kraju mandata došao do svog cilja – boljeg života građa Hrvatske“, kazao je povodom svog izbora.
Bio je blizak prijatelj s Ivicom Račanom. Često su se družili u vikendici u mjestu Kamanje na Kupi blizu Ozlja. „Ako je Račan bio kreator politike, Leko je bio njegov čuvar“, komentirali su njihov odnos. Leki nije smetalo biti u drugom planu, uživao je raspravljati, imao je svoj stav ali ga nije nametao drugima.
U Ledincu Leko ima staru zidanu kuću koja je danas napuštena. Svi članovi njegove brojne obitelji su se odselili. Njegovi roditelji imali su devetero djece. Prije Drugog svjetskog rata bili su HSS-ovci.
Potkraj 1944. u Ledinac dolaze partizani koji su tu ostali nekoliko mjeseci pripremajući se za obračun sa snagama NDH koje su bile u Širokom Brijegu. Josip Leko je bio član Saveza komunista, a od osnivanja je član SDP-a.
Sa suprugom Biserkom, koja je cijeli radni vijek provela radeći u banci, ima dvoje djece. Sina Zvonimira koji je magistrirao ekonomiju, a kći Nikolina je završila pravo.
Rođen je u mjestu PLAVNA, a ne Plavno