Игра начинается с воспоминаний главного героя Вито Скалетта о своей жизни. Он родился на Сицилии в 1925 году в бедной семье. Спустя несколько лет, отец Вито смог заработать на билет до Америки и семья переехала в Эмпайр-Бэй. Однако в стране как раз был разгар Великой депрессии (экономического кризиса), поэтому ситуация на рынке труда была ненамного лучше, чем на родине.
Главный герой знакомится с Джо Барбаро. Они становятся друзьями и вместе пытаются заработать денег, и часто — нечестными способами. Однажды, когда Вито уже было 18 лет, он вместе с Джо грабил ночью магазин, но их заметили полицейские. Джо убежал, а Вито не успел. В итоге его арестовали, но вместо тюрьмы отправили на войну — как раз шел 1943 год.
В 1945 году Вито получил ранение и его отпустили домой на побывку. На вокзале его встретил Джо. Он похвастался, что за время отсутствия Вито, успел пробиться в криминальных кругах и обзавестись нужными связями. Джо сказал, что Вито больше не придется возвращаться на фронт так как он все уладит.
Прибыв домой, Вито узнал, что его семья должна 2000 долларов ростовщику. Долг занял, ныне покойный, отец. Так как быстро раздобыть такую сумму мог только Джо, Вито обратился к нему. Деньги заработать и правда удалось достаточно быстро, поэтому Вито втянулся и стал партнером Джо. В дальнейшем герои стараются построить свою карьеру в криминальном мире Эмпайр-Бэй, чтобы попасть в одну из мафиозных семей, заводят новые знакомства, а также пытаются открыть собственный бизнес.
Игровой процесс Mafia 2 в целом похож на первую игру франчайза: герой водит автомобили (напоминающие реальные модели 40-50-х годов), перемещается по уровням, разговаривает с сюжетными персонажами и участвует в перестрелках.
Подобно Grand Theft Auto, во время езды по городу происходит смена дня и ночи, а также погоды. Сам сюжет происходит в разные годы середины XX века и в разные сезоны, и соответствующим образом изменяется окружение: зимой жители одеваются теплее, на улицах лежит снег, а дороги становятся скользкими, что серьезно влияет на вождение. Тем не менее каждая из сюжетных миссий происходит в заранее определенное время суток, погоду и время года.
Также как и в первой части, в Mafia 2 можно получить штраф за неосторожное вождение или проезд на красный. Полицию можно попытаться подкупить или оказать сопротивление. В таком случае не избежать погони и даже перестрелки. Однако, в отличие от предыдущей игры серии, оторваться достаточно просто.