اقدامات شهید مدنی در تثبیت اوضاع تبریز، مقابله با اقدامات منافقین و نیز بنی صدر و خنثی‌كردن توطئه‌های دشمنان كشور، كینه‌ی عمیق دشمنان را موجب شده بود. به دلیل این بود كه آنان درصدد ترور و به شهادت رساندن وی برآمدند. منافقین روز 20 شهریور 1360 او را مانند جدش ـ حضرت علی‌بن‌ابیطالب‌ـ در محراب به شهادت رساندند. آیت الله مدنی به‌سان تمام نماز جمعه‌ها، بعد از خطبه‌های نماز جمعه شروع به نماز خواندن كرد كه در آن لحظه یكی از حضار و نمازگزاران به ایشان نزدیك شد. حجت الاسلام والمسلمین اترابی چهرگانی كه این صحنه را شاهد بود در این باره می‌گوید:
«من در نماز جمعه بودم. شاید ده قدم با آیت الله مدنی فاصله داشتم ایشان پس از اتمام نمازهای جمعه، همیشه استحبابات نماز ظهر و عصر را هم می‌خواندند. وقتی كه می‌خواستند شروع به نماز كنند، ناگهان یكی از افراد كه به ظاهر قصد دادن وجوهات شرعیه به آیت الله مدنی را داشت، به ایشان نزدیك شد و در یك لحظه با انفجار خود آیت الله مدنی را به شهادت رسانید».
فرد مزبور مجید نیكو بود. روزنامه‌ی جمهوری اسلامی در 21 شهریور 1360، شهادت آیت الله مدنی را این‌گونه گزارش كرد:
مقارن ساعت 40 : 1 بعدازظهر، هنگامی‌كه آیت الله مدنی بعد از اتمام نماز جمعه ایستاده بود و حجت الاسلام میرزا نجف آقازاده ـ یكی از روحانیون تبریزـ مشغول سخنرانی بود كه شخص ناشناس به منظور پرسش، به طرف آیت الله مدنی رفته، در حالی‌كه تظاهر به آغوش گرفتن ایشان می‌نماید، وی را ترور می‌كند. بنا به گفته‌ی شاهدان عینی در این لحظه، دو انفجار متوالی هم روی می‌دهد كه متعاقب آن شهید مدنی روی زمین می‌افتد و چندین نفر هم مجروح می‌شوند. ضارب نیز متلاشی می‌شود. در این حادثه، حدود بیست الی سی نفر مجروح شدند كه به بیمارستان‌های تبریز منتقل شدند.
مهندس طاهری، استاندار وقت تبریز ـ در ساعت 3 بعدازظهر در پیامی رادیویی ضمن اعلام خبر شهادت آیت الله مدنی مردم را به آرامش دعوت كرد و تأكید نمود:
«بار دیگر منافقین خونخوار تنی چند از ریش سفیدان و مبارزان ما را به شهادت رساندند. غافل از اینكه با این شهادت‌ها مردم ما با عزم راسخ تری به ادامه‌ی راه پرخون خود ادامه خواهند داد».
طبق وصیت آیت الله مدنی پیكر او می‌بایست به شهر مقدس قم منتقل می‌شد. بعداظهر 21 شهریور 1360، میلیون‌ها سیاهپوش آذربایجانی با سینه‌ای چاك و چشمانی گریان مردی را بر دست‌های خود تشییع می‌كردند كه سالیان درازی بود در عالم رؤیا از جدش امام حسین (ع) شنیده بود:« یا بنی انت مقتول» و اینك او به این آرزویش رسیده بود. مردم در حالی‌كه شعارهایی چون «عزا عزاست امروز، روز عزاست امروز، امام جمعه‌ی ما پیش شهداست امروز»، «آمریكا ، آمریكا با خون وضو می‌گیرم، سازش نمی‌پذیریم»، «خدایا ، خدایا نگه‌دار رهبر ما ...» سر می‌دادند. پس از گذشتن از خیابان‌های تبریز، درمیدان نماز آن شهر اجتماع كردند و به عزاداری پرداختند . و گوش به بیانات آیت‌الله مشكینی ـ امام جمعه‌ی وقت تبریزـ سپردند. بلافاصله پس از شهادت آیت‌الله مدنی، حضرت امام (ره) در حكمی، آیت الله علی مشكینی را به عنوان امام جمعه‌ی تبریز منصوب كردند. آقای هاشمی رفسنجانی در خاطرات سال 1360، خود در این زمینه می‌گوید:
«در نماز جمعه، شخصی نارنجك به خود بسته بود، به آیت الله مدنی بین دو نماز چسبیده و به او نزدیك شده بود. خود را به آیت الله مدنی چسبانده و با انفجار نارنجك خودش كشته و آیت الله مدنی شهید می‌شوند. احمد آقا خمینی تلفن كرد و اطلاع داد كه آیت الله علی مشكینی را موقتاً برای نماز جمعه در نظر گرفته و آقای مشكینی با روحیه‌ی فداكاری پذیرفته‌اند».
آیت الله مشكینی هم بلافاصله پس از صدور حكم به تبریز عزیمت و در 21 شهریور 1360 در مراسم تشییع پیكر آیت الله مدنی شركت كرد. او در اجتماع میلیونی مردم تبریز در میدان نماز آن شهر در سخنانی گفت:
«پدر، اگر نسبت به فرزندش ظنین باشد، دینش از فرزندش مقدم است باید او را تحویل دهد. برادر برادر را تحویل دهد، دین‌تان را از همه محترم‌تر بدانید و همه چشم یكدیگر باشید و اگر این امر امام را عمل كردید، مطمئن باشید در اندك زمانی ریشه‌ها و تفاله‌های این افراد و طاغوت‌ها از میان شما بیرون خواهد رفت... من هیچ وقت تصور نمی‌كردم كه شما را در چنین جوی زیارت كنم. آروزی من این بود كه برادر عزیزم آیت الله مدنی را در آغوش بگیرم و ریش او را ببوسم و همه‌ی شما را با حال خندان ببینم. بر من سنگین است كه اول ورودم، به جنازه‌ی برادر عزیزم نماز بخوانم».
پس از آن، آقای كمال الدین نیك‌روش ـ وزیر وقت كشورـ سخنرانی كرد و تأكید نمود:
«اگر دشمنان اسلام تصور می‌كنند كه با از بین بردن یاران عزیز امام می‌توانند این انقلاب را از راه اصلی خود منحرف كنند» باید بدانند كه هم اكنون تمام ممالك اسلامی، شور این انقلاب را در سر می‌پرورانند. آنها باید بدانند اگر می‌توانند 36 میلیون ایرانی مسلمان را از بین ببرند، باید چندین میلیون مسلمان را در ممالك اسلامی از بین برده تا بتوانند شبی راحت [را] بگذرانند».
پس از سخنان وزیر كشور، پیكر پاك آیت الله مدنی در میان حزن و اندوه میلیون‌ها نفر از مردم آذربایجان، به فرودگاه منتقل و از آنجا جهت خاكسپاری در حرم مطهر حضرت فاطمه‌ی معصومه (ص) به قم منتقل شد.
