В июле 1931 года Капоне предстал перед федеральным судом и в мае 1932 года был приговорён к 11 годам тюремного заключения в исправительном заведении Атланты за неуплату налогов в размере 388 тысяч долларов.

По прибытии туда в ходе медосмотра у Капоне были диагностированы сифилис и гонорея, а также симптомы абстиненции, вызванные кокаиновой зависимостью и приведшие к повреждению носовой перегородки.

В тюрьме Капоне работал в обувной мастерской по восемь часов в день. Его слабое здоровье привело к тому, что он подвергался нападкам других заключённых, однако сумел сколотить вокруг себя небольшую охрану из других заключённых — в частности, ему оказывал поддержку его сокамерник Рэд Руденский, мелкий мошенник, уже имевший связь с бандой Капоне и всерьёз опасавшийся за психику последнего. Такая обстановка в итоге породила слухи, что Капоне имеет привилегии, из-за чего в 1934 году его перевели в тюрьму на острове Алькатрас. 23 июня 1936 года Капоне получил там поверхностное ножевое ранение от заключённого Джеймса Лукаса.

В Алькатрасе психическое здоровье Капоне из-за прогрессирующего нейросифилиса всё больше ухудшалось, и последний год заключения он провел в тюремной больнице. Из-за здоровья его срок был сокращён, и 6 января 1939 года его выпустили из тюрьмы и перевели в калифорнийское федеральное исправительное учреждение на Терминал-Айленде для отбывания наказания за неуважение к суду, откуда выпустили 16 ноября того же года.

После освобождения Капоне был направлен в балтиморскую больницу Джонса Хопкинса для лечения пареза (вызванного сифилисом поздней стадии), но там его отказались принять из-за репутации.

В итоге Капоне был помещён в больницу Юнион-Мемориал, которой он позже пожертвовал в знак благодарности две японские плакучие вишни.

После нескольких недель стационарного амбулаторного лечения так и не выздоровевший Капоне покинул Балтимор 20 марта 1940 года и отправился к жене и сыну в семейный особняк на Палм-Айленде во Флориде.

В 1946 году его врач и психиатр из Балтимора провели обследование и пришли к выводу, что Капоне обладает психикой и разумом 12-летнего ребёнка.

21 января 1947 года Капоне перенёс инсульт, из которого выкарабкался, но затем у него диагностировали пневмонию.

22 января у него случилась остановка сердца, а 25 января Капоне умер в своём доме в окружении семьи. Изначально он был похоронен на кладбище Маунт-Оливет в Чикаго, но в 1950 году останки Капоне вместе с останками его отца и брата Сальваторе были перевезены на кладбище Маунт Кармел в Хиллсайде, штат Иллинойс.