1961 yılında Sivasın Gürün ilçesinde doğdu. Gürün Cumhuriyet İlkokulu ve Gürün Ortaokulunda öğrenim gördükten sonra İstanbul Haydarpaşa Lisesini bitirdi.
İstanbul Teknik Üniversitesi Denizcilik Fakültesi (Denizcilik Yüksek Okulu) Makine Bölümünden 1982 yılında; İstanbul Üniversitesi Hukuk Fakültesinden 1987 yılında mezun oldu.
İsveç Dünya Denizcilik Üniversitesinde Gemi İşletmeleri Teknik Yönetimi alanında ve Marmara Üniversitesi Sosyal Bilimler Enstitüsü Özel Hukuk Ana Bilim Dalında iki ayrı Yüksek Lisans yaptı.
Ankara Üniversitesi Sosyal Bilimler Enstitüsü Özel Hukuk alanında Doktorasını tamamladı.
Kamuda ve özel sektörde yaklaşık 20 yıl mühendis ve müşavir avukat olarak hizmet verdikten sonra 31.12.2002 tarihinde Denizcilik Müsteşarı olarak atandı.
Türk Telekom Yönetim Kurulu Başkan Yardımcılığı görevini yürüttü.
Türkiye Cumhuriyeti Anayasasının 114. maddesi uyarınca bağımsız olarak 08.05.2007 tarihinde Ulaştırma Bakanı oldu.
01.11.2007 tarihinde Kültür ve Turizm Bakanlığı Müsteşarlığı görevine atandı.
Evli ve üç çocuk babası olan İsmet Yılmaz, iyi derecede İngilizce bilmektedir.
Dr. İsmet Yılmaz; 12 Haziran 2011 Genel Seçimlerinde Sivastan, AK Parti Milletvekili olarak seçilmiştir.
6 Temmuz 2011 günü açıklanan 61. Hükümet kabinesinde Milli Savunma Bakanı olarak görev almıştır.