Rođen je 12. studenog 1920. u mjestu Vukova Gorica, općina Netretić, kod Karlovca., a umro je 10. studenog 2014. godine u karlovačkoj bolnici. Izučio je krojački zanat. Brat Franjo mu je bio predsjednik lokalnog HSS-a. Početkom Drugog svjetskog rata priključuje se SKOJ-u (Savezu komunističke omladine Jugoslavije). Odlazi u partizane. Djeluje od Zagreba do Gorskog Kotara i slovenske granice.
Potkraj Drugog svjetskog rata postaje šef Povjerenstva Ozne (Odjeljenje za zaštitu naroda), komunističke tajne policije, za kotar Karlovac, koja se 1946. preimenuje u Udbu (Uprava državne bezbjednosti). Na toj dužnosti ostaje do 1951. Tada prelazi u Zagreb u Ministarstvo unutarnjih poslova gdje je do 1953. radio u Odjelu za izdavanje putovnica i granice. Potom postaje načelnik Temeljne policije u kotaru Karlovac. 1961. je diplomirao na Pravnom fakultetu.
Dvije godine kasnije, 1963. izabran je za gradonačelnika Karlovca. Te godine postaje i zastupnikom u Saboru. Otkrio je da se kod Karlovca prisluškuju poštanske veze prema Puli i Brijunima. To saznanje je proslijedio Stevi Krajačiću, a ovaj Josipu Brozu Titu. Tako je pomogao razotkrivanju i konačnom padu Aleksandra Rankovića 1966. zbog prisluškivanja Tita.
Gradonačelnik Karlovca bio je do 1969. Zastupnik u Saboru do 1972. U vrijeme Hrvatskog proljeća 1971., pokreta kojim se tražila veća samostalnost Hrvatske unutar tadašnje SFRJ, bio je angažiran na ustavnim promjenama. Nakon sloma tog pokreta u Karađorđevu, od 1972. je uklonjen iz političkog i javnog života.
Ponovno se vraća uoči demokratskih promjena 1990. Zajedno s Josipom Manolićem priključuje se HDZ-u Franje Tuđmana. Nakon dolaska HDZ-a na vlast Tuđman ga 1990. imenuje prvim ministrom unutarnjih poslova samostalne Hrvatske. Smijenjen je nakon ubojstva Josipa Reihl-Kira u ljeto 1991. Tada je prešao u Ured za zaštitu ustavnog poretka, krovnu službu koja je trebala nadzirati rad ostalih obavještanih službi, a kojom je rukovodio Josip Manolić.
1993. je postao zastupnik u Županijskom domu Sabora. Bio je predsjednik Komisije za unutarnju i vanjsku politiku i nacionalnu sigurnost toga doma, te član Odbora za pravosuđe, izbor i imenovanja. Bio je član Odbora za obilježavanje 50. obljetnice pobjede antifašističke koalicije u Europi i svijetu.
1994. je zajedno s Stipom Mesićem i Josipom Manolićem te skupinom drugih zastupnika sudjelovao u pokušaju parlamentarnog prevrata. Nakon neuspjeha, pristupa Hrvatskim nezavisnim demokratima. Do kraja mandata u Županijskom domu djeluje kao zastupnik te stranke. Potom je bio kandidat te stranke na nekoliko lokalnih izbora, ali nije uspijevao prijeći izborni prag.
Često je u javnosti istupao. Optuživao je tzv. desnu struju HDZ-a za izazivanje rata. Optužio je i Josipa Manolića da je zajedno s tadašnjim srbijanskom ministrom policije Radmilom Bogdanovićem za milijun maraka dogovorio puštanje na slobodu Željka Ražnjatović Arkana koji je 1991. bio uhićen u Hrvatskoj i osuđen na 20 mjeseci. Manolić je te tvrdnje opovrgao.
Policija ga je 2. studenog 2011. privela zbog sumnje da je počinio ratni zločin potkraj Drugog svjetskog rata. Teretilo ga se u svibnju 1945. kao šef Povjerenstva Ozne za kotar Karlovac zapovijedio dovođenje i ubijanje većeg broj civila s područja Duge Rese i okolnih mjesta u zatvor u Dugoj Resi pod optužbom da su surađivali s ustaškim vlastim iako za to nije imao stvarnih razloga.
Po njegovoj zapovjedi su, stajalo je u toj prijavi, pripadnici 3. čete 1. hrvatske brigade KNOJ-a (Korpusa Narodne Obrane Jugoslavije) iz vatrenog oružja usmrtili 7 osoba čiji je identitet utvrtđen i 14 drugih nepoznatih osoba. Također ga se teretilo da je na tom području organizirao partizanska suđenja po tzv. kratkom postupku, da je u prostorijama Ozne u Karlovcu tukao zarobljenike te određivao one koji će biti odvedeni na strijeljanje.
Na kraju, teretilo ga se i da je 24. lipnja 1945. osobno iz skupine od 30 zarobljenika smještenih u karlovačkom zatvoru izdvojio 12 osoba povezanih žicom i likvidirao ih. Svjedoci su tvrdili kako je i 8. veljače 1947. dvojici zarobljenika koji su mu se nakon skrivanja u jednoj kući predali, pucao u glavu iz automata nakon što su već bili ubijeni.
Po svakoj točki optužnice izjasnio se da nije kriv. 29. studenoga Ustavni sud poništio je odluku Županijskog suda o određivanju pritvora i pustio ga da se brani sa slobode zbog formalnih razloga. Ponovno je ispitan u tužiteljstvu u Selskoj ulici u Zagrebu 27. siječnja 2012. po novom Zakonu o kaznenom postupku, a rujna 2013. Je podignuta optužnica protiv Boljkovca zbog ratnog zločina iz 1945.
Oženjen je. S pokojnom suprugom Ankom Boljkovac imao je dvoje djece. Njegov sin Jugoslav devedesetih je promijenio svoje ime u Matija. Živi u obiteljskoj kući u Vukovoj Gorici.
Iza zločinca Jože ostalo je puno neoznačenih grobova po karlovačkom kraju. Gorio u paklu zauvijek!