Jože Berlec se je rodil očetu Jerneju, čevljarskemu mojstru, in mami Mariji (rojeni Štrajhar) kot prvi od štirih otrok. Oče Jernej se je, kot zanimivost, med 1. svetovno vojno boril na Karpatih, v Tirolskih Alpah in bil eden izmed borcev na Soški fronti. Po vrnitvi s Soške fronte nazaj v Kamnik se je javil tudi k Maistrovim borcem za severno mejo. Jože je imel sestro Maro in dva brata - Srečka in Janeza.
V tovarni Titan je Jože Berlec spoznal svojo ženo, Julko Zarnik iz Suhadol, s katero sta se poročila leta 1947 in si ustvarila družino. 26. maja 2007 sta 60 let skupnega življenja obeležila z biserno poroko. Rodilo se jima je pet otrok - Joško (1949), Angelca (26.8.1951-2.11.1951), Jernej (1952-1991), Franc (1953) in Olga (1955). Vse sinove je popeljal v gasilstvo, sin Joško je že več let podpoveljnik Gasilske zveze Slovenije. Jože ima tudi sedem vnukov, pet izmed njih je gasilcev, in štiri pravnuke. Tradicija gasilske družine se tako uspešno nadaljuje.