Il était surnommé le garçon merveilleux (The Wonder Boy) pour sa jeunesse et son habileté inégalée pour choisir les bons scripts et en tirer des films rentables.

Fils d’immigrés juifs allemands, Thalberg voit le jour à Brooklyn. A l’issue des ses études, il est engagé au siège New-Yorkais de la prestigieuse Universal Pictures. Là, il travaille en qualité de secrétaire personnel du légendaire fondateur des studios Universal, Carl Laemble. Brillant et tenace, à 21 ans il est nommé cadre en charge de productions sur le site californien des studios, Universal City.

Rapidement, Thalberg fait preuve de force et d’autorité. Ainsi, en 1922 il s’oppose à Erich von Stroheim concernant la longueur de Folies de femmes et contrôle tous les aspects de production du Bossu de Notre Dame (Notre-Dame de Paris (1923)). Toutefois, en 1924, il prend un nouveau tournant dans sa carrière en quittant Universal pour les productions Louis B. Mayer qui, peut de temps après s’uniront à Metro Pictures Corporation pour fonder la bien connue Metro-Goldwyn-Mayer. Thalberg est également célèbre pour avoir créé la « unit production management scheme », les productions hollywoodiennes se sont finalement divisés en « units », divisant par là le contrôle créatif d’un film entre producteur, directeur,…

Il connaît son premier succès pour la MGM dès 1925 avec La Grande Parade (1925), dirigé par King Vidor. Par la suite, jusqu’en 1932, il supervise toutes les productions importantes et combine soigneusement préparation des pré-productions avec des Sneak previews qui mesurent la réponse du public.

Mais, alors que son ardeur dans le travail lui permet de toujours obtenir les meilleurs résultats, Thalberg est rattrapé par la réalité d’une santé fragile. Atteint, depuis la naissance, de problèmes cardiaques, il est victime en 1932 d’un infarctus. Profitant de ce moment d’invalidité, Louis B. Mayer, qui jalouse depuis quelque temps le pouvoir et le succès de Thalberg, décide de le remplacer par David O. Selznick et Walter Wanger. Lorsque Thalberg reprend le travail, en 1933, il n’est plus qu’un des producteurs du studio. Néanmoins, il participe au développement de quelque unes des plus prestigieuses entreprises de la MGM comme Grand Hotel (1932), Les Révoltés du Bounty (1935), China Seas (1935), Une nuit à l'opéra (1935) avec les Marx Brothers, San Francisco (1936), et Roméo et Juliette (1936). Sur le plan sentimental, à son arrivée chez MGM, Thalberg fréquentait l’actrice Norma Shearer. Il l’épouse en 1927 et souhaite faire d’elle une femme au foyer. Mais Norma refuse d’abandonner sa carrière d’actrice. Dès lors, son époux lui confiant de meilleurs rôles, elle deviendra la plus grande star de la MGM au cours des années trente. Ensemble, ils eurent deux enfants, Irving Jr. (1930–1987) et Katherine (1935-2006).

Thalberg n’est âgé que de 37 ans lorsqu’il meut d’une pneumonie, à Santa Monica, en Californie pendant la pré-production de Un jour aux courses (1937), et Marie-Antoinette (1938).

De son vivant, Thalberg refusait que son nom apparaisse à l’écran et on lui prêtait l’expression suivante : "Credit you give yourself is not worth having". C’est pourquoi vous ne le trouverez qu’au générique de deux films seulement. Ainsi, à la fin de sa dernière oeuvre, Visages d'Orient (1937), on peut lire : "To the Memory of Irving Grant Thalberg his last greatest achievement we dedicate this picture". L’autre dédicace date de 1939 pour Au revoir Mr. Chips, un film qu’il avait mis en route peu de temps avant sa mort.

Francis Scott Fitzgerald, dans son dernier et inachevé roman, The Last Tycoon (Le Dernier Nabab), s’est largement inspiré de Thalberg pour créer son personnage principal : le fascinant Monroe Stahr. Tout comme Thalberg, Stahr est brillant, autoritaire, populaire, marié à la star du studio et fragile physiologiquement. Le livre a été adapté au cinéma en 1976 par Elia Kazan avec Robert De Niro dans le rôle principal mais aussi Robert Mitchum, Jeanne Moreau, Theresa Russell et Jack Nicholson. D’autre part, Robert Evans a également proposé sa vision de Thalberg dans le film Man of a Thousand Faces.

Thalberg repose dans le grand mausolée du Forest Lawn Memorial Park de Glendale, en Californie. Norma Shearer l’y a rejoint en 1983, elle qui avait fait graver sur la tombe de son défunt mari : "My Sweetheart Forever".

Un prix décerné par l'Academy of Motion Picture Arts and Sciences porte son nom.

Jean-Luc Godard lui rend un hommage appuyé dans Histoire(s) du cinéma.