Issu d'une famille italo-américaine, il se découvre une passion pour la comédie en accompagnant un ami à un cours de théâtre. Après des études à l'université de Rutgers, il débute sa carrière en intégrant un théâtre new-yorkais. Sa carrière à Broadway débute en 1992 avec une reprise d'un tramway nommé désir avec Alec Baldwin et Jessica Lange. Il se fait connaitre au cinéma grâce au rôle de tueur à gage qu'il tient dans le film de Tony Scott, True Romance. Les seconds rôles s'enchaînent notamment dans le film d'Alain Corneau, Le Nouveau Monde.
Cependant, sa carrière décolle véritablement grâce à David Chase créateur de Les Soprano qui lui propose le rôle de Tony Soprano, chef d'une mafia du New Jersey. Son interprétation magistrale tout en nuances d'un homme puissant, impitoyable mais tourmenté lui vaudra au fil des ans de nombreuses récompenses et une notoriété considérable.
Dans son premier projet depuis Les Soprano, James Gandolfini participe à un documentaire stupéfiant à propos des vétérans de la guerre au Moyen-Orient. Gandolfini interviewe 10 soldats pour voir comment ceux-ci s'adaptent à leurs nouvelles vies après la guerre et pour décrire le jour le plus tragique de chacune de leurs vies. Ce documentaire est diffusé sur la chaîne HBO aux États-Unis.
