Ankara Hamamönü'nde doğan Cavcav'ın babası Haşim Bey, 1910'lu yıllarda Priştine'den Türkiye'ye göç etmiş bir ailenin çocuğudur.
Ailesinin artan işleri nedeniyle ortaokuldan sonra eğitim hayatına son veren İlhan Cavcav 14 yaşında aile şirketinin veznesinde ve sonrasında şirket muhasebesinde çalışmaya başladı.
Bu süre zarfında amatör olarak futbol oynayan ilhan Cavcav 16 yaşındayken Maskespor kadrosuna katıldı ve stoper olarak futbol oynadı.
19 yaşında duygusal davranacağı gerekçesiyle oynatılmayınca Bahçeli Gençlik Spor'da futbolu bıraktı.
1960 yılında aile şirketinden ayrılarak tek başına ticaret hayatına atıldı.
1967 de Ankara Un Sanayi fabrikasını kurarak Ankara'ın büyük sanayicileri arasına girdi.
1975 te Hacettepe'nin başkanı oldu.
1977 de Yahya Demirel Gençlerbirliği yönetim kuruluna girerek 1978 de kulüp başkanı oldu.
Çeşitli anlaşmazlıklar sebebiyle başkanlığı kısa bir süre bırakan ilhan Cavcav 1981'de tekrar başkan oldu.
Gençlerbirliği Türkiye Birinci liginin devamlılık açısından en başarılı 5. takımı oldu.
Bu süre zarfında ise Türkiye kupasını 2 kez kazanma başarısını gösterdi.
İlhan Cavcav 37 yıllık başkanlık süresince 57 antrönör ile çalışırken bunlardan 36 isimi görevden almış veya anlaşma imzalamamıştır.
İlhan Cavcav 21.01.2017 tarihinde beyin kanaması geçirdi.Yoğun bakıma alınan Cavcav'ın durumu kritik olduğu öğrenildi 22.01.2017 günü durumu ağırlaşan İlhan Cavcav Ankarada hayatını kaybetti.