5 Nisan 1945 yılında Istanbul’da doğdu. Tiyatro sanatçıları Toto- Mehmet Karaca’nın tek çocuğu olarak kulislerde büyüdü. 5 yaşında annesi ve teyzesinin etkisiyle şarkı söylemeye başladı. Cem Karacanın sesini ilk keşfeden annesi Toto Karaca oldu.
Robert ve Kültür Kolejinde öğrenim gördü. Müzik hayatına amatör olarak “Dinamikler” ve “Jaguarlar” adlı müzik gruplarında başladı, profesyonel olarak 1967 yılında Mehmet Soyarslan, Tümay Yalçınkaya, Timur Fildişi ve Ahmet Tuzcuoğlu ile birlikte “Apaşlar” grubunu kurdu. Aynı yıl Apaşlar, Altın Mikrofon Yarışmasında, sözlerin Erzurumlu Emrah’a ait olduğu ve Cem Karacanın müziklediği “Emrah” adlı besteyle ikinciliği kazandı. Apaşlar, daha önceki tutkuları olan batı beat müziği ile yeni tutkuları doğu müziğini sentezleyip Anadolu- beat tarzında çalışmalara girişti. Emrahla elde edilen büyük başarı, Resimdeki Gözyaşları ve Bu Son Olsun gibi hitlerle devam etti.
Cem Karaca, 1969 yılında Apaşlardan ayrılarak Seyhan Karabay’la birlikte Cem Karaca- Kardaşlar topluluğunu kurdu. Cem Karaca- Kardaşlar, yayınladıkları ilk 45’likleri Dadaloğlu ile listelerde iyi bir sıraya yerleşti. 1972’de bu gruptan ayrıldı ve Moğollar’a geçti. Namus Belası, Gel Gel, Obur Dünya gibi hit parçalarla büyük başarılara imza attı. Cahit Berkay’ın Moğollar’a uluslararası bir kimlik kazandırmak için Fransa’ya gitmesiyle, Cem Taner Öngür’le birlikte gruptan ayrılarak Cem Karaca- Dervişanı kurdu. Progressive rock yapan bu grubun kilit isimleri ise Cem Karaca ve Uğur Dikmen’di.
Cem Karaca, toplama olmayan ilk LPsi Yoksulluk Kader OlamazI Dervişan ile birlikte çıkardı. Dervişan’ın dağılmasından sonra ise Cem Karaca 70’lerdeki son grubu olan Edirdahanı kurdu. Cem Karaca- Edirhanın yaptığı Safinaz isimli Long Play (LP), Barış Mançonun 1975 yılında çıkardığı 2023 ile birlikte Türkiye’nin sayılı senfonik rock albümleri arasında yer aldı. 1979 yılında Almanya’ya gitti ve 12 Eylül 1980 sonrası Türk vatandaşlığından çıkartıldı. Yaklaşık 8,5 yıl Almanya’da yaşadıktan sonra 27 Haziran 1987 akşamı Türkiye’ye geri döndü ve yeniden Türk vatandaşlığına alındı. Bu dönemde eski arkadaşları tarafnından döneklikle suçlanan Karaca, bu suçlamalara kulak asmadan, yeni dünya görüşünü ortayan koyan eserler yapmaya başladı. Özellikle din konusunda değişen görüşleri çok tartışılmış, Fethullah Gülen’le çekilmiş fotoğrafından dolayı da eleştirilmişti.
Sanatçı Cem Karaca, solunum ve kalp yetmezliği nedeniyle 8 Şubat 2004 günü 59 yaşında hayatını kaybetti. Karaca, Üsküdar Seyit Ahmet Yesevi Camiinde kılınan namazın ardından Karaca Ahmet Mezarlığında toprağa verildi.