Héritier d'une famille de notable sunnites, sa carrière politique débute en 1989 lorsqu'il devient ministre de l'éducation et de la culture. Fils de l'ancien premier ministre Abdel Hamid Karamé, un des artisans de l'indépendance en 1943, et frère de l'ancien premier ministre Rachid Karamé, tué en 1987 dans un attentat, Karamé est élu pour la première fois député de Tripoli, chef-lieu du Nord Liban, en 1992 puis réélu en 1996 et 2000.

Nommé chef du gouvernement pour la première fois le 24 décembre 1990, il doit démissionner le 13 mai 1992 sous la pression de la rue qui proteste contre la cherté de la vie.

Le 21 octobre 2004, il est à nouveau nommé premier ministre en remplacement du démissionnaire Rafiq Hariri. Il démissionne le 28 février 2005, son gouvernement étant accusé par une partie de la population d'être, d'une manière ou d'une autre, responsable de la mort de Rafiq Hariri dans un attentat, le 14 février.

Le 28 février 2005, la parlement libanais choisit Najib Mikati comme premier ministre. Il est chargé de former un gouvernement d'union nationale, pendant que la Syrie procède au retrait de ses troupes du Liban. Il a aussi pour objectif de préparer les élections législatives devant se tenir avant fin mai 2005. L'opposition « antisyrienne » accuse Karamé de chercher à retarder l'échéance électorale et refuse de participer à un gouvernement d'union nationale. Suite à cet échec, Karamé démissionne le 13 avril et est remplacé le 15 par Najib Mikati. Il renonce à se présenter aux élections de juin 2005.

Il dirige depuis l’été 2006 le Rassemblement national, regroupant de nombreuses personnalités « prosyriennes », dont les anciens ministres Talal Arslan et Soleimane Frangié Jr.

Référence