U brojnim razgovorima s Josipom Milkovićem uvijek je sa sjetom pričao o Olimpijskim igrama u Münchenu 1972. godine, na koje nije otišao jer je neposredno prije njih doživio prometnu nesreću. Da nije bilo tog nesretnog događaja, danas bi u svojim vitrinama imao i zlatnu olimpijsku medalju. Legendarna su bila i njegova rukometna druženja u Novalji, gdje je provodio ljeta. Bio je susjed s Hrvojem Horvatom, svojim suigračem iz tadašnje Jugoslavije. Svakog ljeta kod njega bi se okupljalo društvo i ispekla bi se dva janjca.
Ostao je upamćen kao izbornik koji je osvojio posljednje, 16. mjesto na Europskom prvenstvu u Švedskoj 2002. godine. Prije toga vodio je Hrvatsku na Svjetskom prvenstvu 2001. godine, kada smo u Francuskoj ispali u osmini finala, i to tek nakon produžetaka.
U rosteru za Europsko prvenstvo 2002. godine imao je većinu igrača koji će godinu dana kasnije s Linom Červarom osvojiti svjetsko zlato. Pod njegovim vodstvom u Švedskoj su bili Kelentrić, Matošević, Baltić, Sulić, Balić, Jović, Zrnić, Bilić, Dominiković, Džomba, T. Valčić, Goluža, Šprem i Metličić.
Poraz od 12 razlike protiv Jugoslavije (22:34) Večernji list je tada popratio s naslovom “Kakva je to sramota bila...”
– Ovo je poraz bez otpora. Nije tragedija izgubiti od ovakvog suparnika, ali tragedija je izgubiti na ovakav način, ovu smo bitku izgubili gotovo bez ispaljenog metka – rekao je tada Josip Milković, tadašnji izbornik Hrvatske.
Sa strepnjom se čekala druga utakmica protiv jake Njemačke. A između te dvije utakmice rukometaši Hrvatske bili su gosti hrvatskog društva Croatia iz Jönköpinga. No na večeri se pojavio sam Željko Kavran, predsjednik HRS-a. Igračima i stručnom stožeru nakon poraza od Jugoslavije nije bilo do druženja. Došavši u klub, zaorila se pjesma. Bit će bolje, a Kavran se cijelo vrijeme ispričavao našim ljudima zbog loše igre protiv Jugoslavije. Porazom od Njemačke (21:26) u drugom krugu bilo je jasno da idemo doma nakon prvog kruga.
- Glupo je sada kriviti igrače za fijasko. Na kraju ću ionako ja biti najviše kriv. Tko zna, možda u dogovoru s Kavranom, predsjednikom HRS-a, odustanem od vođenja reprezentacije. Ne mogu objasniti kako smo tako psihološki pali. Na pripremama je sve to drukčije izgledalo, a ovdje smo se predali u prvih deset minuta na obje utakmice – jadao se tada Milković.
Na kraju smo izgubili i treću utakmicu, od Francuske (27:29), a Večernji list nakon utakmice izlazi s naslovom: “Milković: S ovim igračima trener može završiti u ludnici”.
– Pokušao sam na fin način uspostaviti komunikaciju s tim mlađim igračima. Nisam ih htio vrijeđati i psovati kao što bi napravili neki drugi treneri. No očito sam pogriješio što možda nekoga nisam potjerao kada su nastali prvi problemi. A što uostalom reći kada su neki mladi igrači prije utakmice protiv Njemačke govorili da će navečer naša zastava biti na pola koplja. S ovim igračima mogu završiti samo u ludnici – rekao je Milković.