Gimė Naujienos kaime, Krosnos (dabar Mindaugų) parapijoje. Mokėsi Naujienos ir Krosnos pradžios mokyklose, Kalvarijos gimnazijoje. 1948 m. įstojo į Kauno tarpdiecezinę kunigų seminariją. 1952 m. vyskupo Kazimiero Paltaroko įšventintas kunigu. Dirbo Šiluvoje, Raseiniuose, Šiupyliuose, Vilijampolės ir Įgulos parapijose Kaune, Šakiuose ir Gudeliuose.
1964 m. už grupinį vaikų katekizavimą nuteistas vienus metus kalėti. Bausmę atliko Vilniuje: Lukiškių kalėjime ir Rasų gatvės pataisos darbų kolonijoje. Po to darbavosi Alytuje, Leipalingyje, Kapčiamiestyje, Valakbūdyje. 1969 m., stengdamiesi sulaikyti aktyvią kun. Juozo Zdebskio veiklą, valdžios organai atėmė iš jo kunigo registracijos pažymėjimą. Kartu su panašiai nubaustu kun. Sigitu Tamkevičiumi, įsidarbino melioracijos darbininku Prienuose.
1971 m. Prienuose vėl areštuotas už vaikų katekizavimą. Vienų metų laisvės atėmimo bausmę atliko Lukiškių kalėjime ir Pravieniškių bendrojo režimo pataisos darbų kolonijoje. Vienuolika metų klebonavo Šlavantuose, o metai prieš mirtį perkeltas į Rudaminos parapiją.
Nuo 1966 m. kun. Juozas Zdebskis vesdavo rekolekcijas vaikams ir jaunimui, inteligentams, pasauliečiams, vienuolėms ir kunigams. Nuo 1969 m. vykdė misijų keliones į Pavolgį, Kazachstaną, Moldovą ir kitas Sovietų Sąjungos vietoves, lankydamas vietinius katalikus, o taip pat kalinius, tremtinius, kariuomenėje tarnaujančius lietuvius.
1978 m. kartu su kunigais Alfonsu Svarinsku, Sigitu Tamkevičiumi, Jonu Kaunecku ir Vincu Vėlavičiumi įsteigė Tikinčiųjų teisėms ginti katalikų komitetą.
KGB nuolat persekiotas, 1980 m. nudegintas cheminėmis medžiagomis. 1986 m. neaiškiomis aplinkybėmis žuvo autoavarijoje. Palaidotas Rudaminos bažnyčios šventoriuje.