Будущий актёр родился в семье ирландца и норвежки на Манхэттене в округе Нижний Ист-Сайд. В молодости работал официантом, пел в хоре, исполнял женские роли в ревю. В середине 1920-х годов играл в водевилях с супругой. Его заметили сначала на Бродвее, а потом и в Голливуде. В 1931 году Кэгни подписал контракт со студией Warner Bros. и покинул Нью-Йорк ради «фабрики грёз». Его пятой ролью в кино стал безжалостный гангстер во «Враге общества» (1931) — фильме, который сделал звёздами самого Кэгни и его партнёршу Джин Харлоу. Кэгни с успехом воплотил в классическом Голливуде типаж «плохого парня». Его хрипловатый раскатистый голос выдавал неистощимые запасы взрывного темперамента. Всю свою жизнь он боролся с навязываемым ему типажом. Его актёрский диапазон простирался от ролей в экранизациях Шекспира («Сон в летнюю ночь» Макса Рейнхардта) до сатирических комедий («Один, два, три» Билли Уайлдера). Свой единственный «Оскар» он выиграл за мюзикл «Янки Дудл Денди» (1942), когда являлся президентом Гильдии киноактёров США (1942-1944). После неудачного режиссёрского опыта в 1957 году Кэгни стал сокращать свои появления в кино. В 1970-е годы из-за проблем со здоровьем он окончательно отошёл от работы в кино и написал книгу мемуаров. В 1981 году по приглашению Милоша Формана исполнил небольшую, но запоминающуюся роль в «Рэгтайме». На похоронах актёра на кладбище «Врата Небес» в пригороде Нью-Йорка с проникновенной речью выступил его старый товарищ, Рональд Рейган, назвавший его одним из лучших актёров Америки. За два года до этого Рейган вручил ему высшую гражданскую награду США — Президентскую медаль Свободы.