Заклинания для Героев машинного обучения
Иногда хочется обсудить что-то по-настоящему серьезное. Пора закрыть jupyter, остановить gpu и поговорить о магии.
В мире машинного обучения алгоритмы и методы обработки данных могут сравниться с магическими заклинаниями.
Только прожженные циники из дата сайентистов пренебрегают фазами луны при тюнинге гиперпараметров. Оставим эти потерянные души, для настоящих профи я подготовил несколько заклинаний, такого не найдешь на курсиках.
Stone Skin
Регуляризация. Каменная кожа ограничит веса модели и защитит ее от переобучения. Очень желательно иметь это заклинание в своей книжке. Этот вид колдунства доступен даже не для самых продвинутых магов.
Magic Arrow
Линейная регрессия. Базовый метод предсказания, простой, и, конечно же, не самый сильный. Помогает с простыми задачами прогнозирования, где зависимость между переменными линейна и легко интерпретируема. Со стрелкой уже можно ходить по собесам, главное правильно рассчитать свои силы.
Blind
Dropout. Отключение случайных нейронов во время обучения. Тоже спасает от переобучения. Иногда магам задают каверзный вопрос: когда следует использовать dropout - на обучении или на инференсе. Не стоит вступать в дискуссии с профанами.
Bloodlust
Активационные функции. Заклинания, которые определяют "ярость" нейронов и контролируют их активацию. Сетка может не взлететь если вы напортачили с функциями. Хотя бы изредка наведываетесь в Университет Магии. Нет ничего практичней хорошей теории.
Dispel
Очистка данных. Снимает чары шума и аномалий в данных. Вероятность фатальных последствий близка к единице, если своевременно не добавить его в книгу заклинаний. Иногда маг преисполняется собственной важностью и жалеет ману на очистку датки. Расплата за гордыню будет жестокой.
Precision
Метрики качества. Даст оценку вашей работе. Перед тем, как что-то моделировать, лучше сразу прикинуть, какую метрику кастануть. Применять надо с умом, если c умом проблемы - используйте f1.
Clone
Аугментация данных. Создание новых примеров данных на основе существующих. Когда данные полны мусора и скверны, вы только умножите скорбь в этом мире.
Meteor Shower
Случайный лес. Несколько "метеоритов" (деревьев решений) работают вместе для создания сильного классификатора. Работает надежно. Если не хочется заморачиваться - просто жахни рэндом форестом.
Chain Lightning
Градиентный бустинг. Начинает с первой базовой модели и ~~выигрывает~~ последовательно усиливается. Очень мощное заклинание в опытных руках. Требует продвинутой мудрости и хороший запас маны. Результат вас порадует.
Resurrection
Fine-tuning. Использование накопленных знаний для обучения на новой, связанной задаче. Если вы владеете тайнами файн-тюнинга, то практически неуязвимы. На собес можно вообще не приходить, просто скажите эйчар(у/ке), что вы шатаете берт. Требует маны и ресурсов гпу.
Armageddon
GPT-4. Просто заплатите 20$