Josef Matěj se narodil v hudebnické rodině, prvním učitelem ve hře na pozoun mu byl jeho otec. Jako 15-letý odešel do Ostravy, kde po absolvování Ústavu hudby a zpěvu strávil dva roky jako trombónista v divadelním orchestru. Poté byl přijat na Pražskou konzervatoř, kde se kromě varhanní hry u Josef Kuhna věnoval i studiu skladby u Emila Hlobila a Zdeňka Hůly. V roce 1947 Josef Matej vstoupil do kompoziční třídy J. Řídkého na Akademii múzických umění v Praze. Později byl zaměstnán jako lektor hudební teorie, účinkoval jako trombónista v různých hudebních souborech, jako skladatel spolupracoval zvláště s Armádním uměleckým souborem Vita Nejedlého, ale i s dalšími, především vojenskými dechovým orchestry a později i předními symfonickými tělesy. Zastával řadu funkcí ve Svazu českých skladatelů, v době tzv. normalizace byl místopředsedou Svazu českých skladatelů a koncertních umělců (od roku 1972).
Jeho skladebný styl se vyvíjel od počátečního neofolkorismu až ve vytříbený koncertantní styl, který nikdy nezapřel svoje zdravé lidové kořeny. Hluboká inspirace četbou filozoficko-etického románu Franze Werfela, na jehož námět vytvořil svoje vrcholné dílo, operu Čtyřicet dnů hory Musa Dagh, znamenala - vedle prohloubeného studia arménského, balkánského a polského hudebního folklóru - trvalé obohacení vyjadřovacích prostředků jeho hudební řeči a vedla k účinné a posluchačsky přesvědčivé stylové syntéze (2., 3. a 5. symfonie, Koncert pro housle a orchestr, Trojkoncert pro trubku, lesní roh a pozoun, 2. smyčcový kvartet věnovaný památce Fr. Werfela ad.)