В возрасте четырнадцати лет он отправился работать к аптекарю в Гётеборг в Швеции, где впервые получил непосредственный опыт работы с химическими веществами. Невероятное разнообразие доступных ему реактивов будоражило ум юноши, и он часто засиживался допоздна, ставя опыты после рабочего дня.

По легенде, один из таких экспериментов с особо летучей смесью закончился громким взрывом, который потряс весь дом и привёл его хозяина в ярость. Шееле попросили уйти, но вскоре он нашёл нового наставника, аптекаря К. М. Чельстрёма в Мальмё, который познакомил его с академическими кругами. Два года спустя, в 1767 году, Шееле перебрался в Стокгольм и начал работать фармацевтом.

Одним из его первых открытий стала винная кислота — белое кристаллическое органическое вещество, которое содержится во многих фруктах, например, в винограде. Виноделы знали о ней веками, но именно Шееле разработал метод её химического выделения. Он также первым выделил молочную кислоту из прокисшего молока и открыл глицерин. Ему принадлежит открытие фтороводорода и сероводорода. Но величайшим его достижением стал кислород. Это событие положило начало невероятной череде научных неудач.

Шееле открыл кислород на три года раньше Джозефа Пристли, но публикации своих трудов он ждал шесть лет. К тому моменту Пристли уже обнародовал свои экспериментальные данные и выводы, касающиеся этого газа. До того как элемент получил название кислород, Шееле называл его «огненным воздухом» из-за его способности поддерживать горение. Он также понял, что атмосферный воздух представляет собой смесь «огненного воздуха» и «испорченного воздуха», один из которых был пригоден для дыхания, а другой нет.

Шееле продолжил исследования и открыл как минимум ещё шесть элементов — барий, хлор, молибден, марганец, азот и вольфрам, но так и не получил за них признания. В случае с хлором Шееле ошибочно полагал, что это оксид, полученный из соляной кислоты, и назвал его муриевым. Лишь спустя сорок лет сэр Хэмфри Дэви установил, что муриевая кислота не содержит кислорода и является простым веществом. Он и дал ему название хлор. Что касается бария, Шееле знал, что это элемент, но не смог выделить его в чистом виде. Это вновь сделал Дэви.

Та же история повторилась с молибденом. Шееле твёрдо заявил, что минерал молибдена уникален и не является свинцовой рудой. Он верно предположил, что в нём содержится новый элемент, и предложил название молибден. Однако успешно выделил его Петер Якоб Хьельм, которому и достались все лавры. Полоса невезения Шееле продолжилась с марганцем, элемент который он идентифицировал, но также не сумел экстрагировать.

Шееле мечтал остаться в памяти потомков за множество открытий, но в итоге его имя навсегда связали с единственным изобретением, о котором он сам предпочёл бы забыть, — соединением, известным как зелень Шееле. За десятки лет оно стало причиной смерти бесчисленного количества людей, включая, возможно, и Наполеона. Зелень Шееле представляла собой желтовато-зелёный пигмент, который использовали для окраски обоев, тканей и даже некоторых детских игрушек. В основе пигмента лежал мышьяк.

В те времена о токсичности мышьяка известно не было. Люди оклеивали свои комнаты ярко-зелёными обоями, дамы носили зелёные платья, а газеты и журналы использовали сочный зелёный цвет для печати рекламы. Во время ссылки на острове Святой Елены Наполеон проживал в доме, комнаты которого были выкрашены в ярко-зелёный, его любимый цвет. Хотя официальной причиной смерти императора стал рак желудка, известно, что воздействие мышьяка значительно повышает риск этого заболевания. Анализ образцов его волос также показал значительное содержание мышьяка.

Во многом Шееле опередил своё время. Он открыл и выделил больше элементов и соединений, чем любой из его современников, однако единственное, что было названо в его честь, оказалось ядом. Знаменитый американский писатель Айзек Азимов признавал Шееле как одного из величайших фармацевтов в истории, но его неспособность добиться того же уровня признания, что и у коллег, заставила Азимова метко окрестить гения «Невезучим Шееле».

Годы работы с опасными химикатами, включая тяжёлые металлы (Шееле имел привычку пробовать на вкус и нюхать каждое новое вещество, которое он открывал), подорвали его здоровье и привели к болезни почек. Шееле умер молодым, в возрасте 43 лет, отравившись ртутью..