TheFounder

Из названия все ясно. Лучшая утилита для оптимизации гиперпараметров вашей модели или нет? Многие перескакивает с метода подбора параметров GridSearch/Random из scikit-learn и постепенно переходят на библиотеку Optuna со своими решениями.

Почему?

Обычный GridSearch – примитивное перебирание по сетке, где мы смотрим только на качество решаемой задачи по accuracy, cross-entropy, mse. Экспоненциальный перебор всех узлов сетки параметров зависит напрямую от подаваемых координат.

Очевидно, простой "перебор" –  подход зачастую крайне ресурсоемкий. А вот Random'изированный показывает лучший результат, так как подбирает случайные комбинации и сэмплирует результаты… Но что если строить вероятностные модели выборки гиперпараметров?

Optuna и работает по этому принципу — байесовской оптимизации GP или Tree-structured Parzen Estimator (TPE). Чем лучше TPE в сравнении с всякими серчами переборов? Он предполагает вероятностные модели и исходит из прогнозируемой эффективности модели.

Как видно, такой подход выглядит избирательнее и зачастую приводит к лучшим результатам. Особенно, в скорости: TPE работает в три раза быстрее, чем обычный сеточный перебор. В Optuna, помимо классических серчей, есть простые байесовские алгоритмы и возможность прунинга пространства гиперпараметров и даже CMA-ES, иначе генетические алгоритмы, о которых вы узнаете в конце курса. 

Какие ещё преимущества у этого фреймворка?

• У Optuna хорошая документация. Хотя и не слишком очевидно на старте, какие алгоритмы реализованы в библиотеке.

• Есть Define-by-run, при помощи которого можно динамически описывать пространство параметров во время работы оптимизировать.

• Можно явно задавать максимизацию или минимизацию функции качества.

Запутанный декларативный стиль или код, похожий на "нотации", головная боль от отладок...  А если ваша модель неожиданно выходит за рамки парадигмы работы фреймворка  — приходится прикладывать титанические усилия по переработке кода или разворачиванию парочки здоровенных костылей. И да, мы про TensorFlow.

Все из-за самого статического графа вычислений во фреймворке... Граф вычисление — это абстрактное представление алгоритма вычислений в виде, не поверите, математического графа. Где ребра — потоки данных, а узлы — операции. Узлами могут быть слоями нейронки, а ребра — потоками данных. В статическом варианте можно оптимизировать и ускорить работу вашего TPU или GPU, провести объединение или распараллеливание операций.

Удобно, конечно...

Только доступа у вас к обработке данных нет. Поэтому любые ошибки = час сеанса, пока TF не обнаружит проблемы. А крупные модели ML иногда требуют и больше времени... Это серьезный минус всех фреймворков, построенных на работе статического графа вычислений.

А теперь представьте, что фреймворк перестраивает граф перед каждым запуском. Теперь никаких проблем с отладкой, а также практически бесконечная гибкость и расширяемость.

Вот тут и мы и говорим о PyTorch. Интуитивный и похожий на Питон синтаксис, неплохая интеграция с другими библиотеками и доступ к быстрой отладке – все это про него. И это мы не упоминаем кучу модульных элементов, которые легко комбинировать, упрощенное написание собственных типов слоев. Pytorch – про эксперименты, быстрое обучение и небольшие проекты.

Приятное дополнение — широкий выбор предварительно обученных моделей.

Но если вам все же нужна оптимизация ваших вычислений... тогда стоит обратиться к конкуренту от Google.

Хотите классифицировать виды вин? Ну, конечно, у нас есть набор данных с информацией о химических свойствах вашего любимого напитка, и все это для того, чтобы вы могли выявить самое вкусное. Каким-то образом.

Может быть, медицинские данные или дата-сет из невербальных предпочтений туристов? Тут есть все.

Тут есть и полезная социологическая/экономическая статистика, бесполезные фотографии собачек/котиков. Нам сложно описать все многообразие дата-сетов этого репозитория — на официальном сайте больше 600 страниц.

Во многих университетских программах включают в лекции работу с этим репозиторием, так как он подходит для экспериментов и исследований с моделями машинного обучения.

Каждый набор данных в UCI Repository сопровождается подробным описанием и метаданными, которые помогают понять его структуру, содержание и цель. Наборы данных включают в себя информацию о классификации, регрессии, кластеризации, анализе временных рядов, безусловно, о задачах обработки естественного языка и многих других областях.

Сама информация внутри "наборов" не совсем современная, но для отработки учебных ML/DL моделей самое то. А еще репозиторий отлично подходит для сравнения разных алгоритмов, написанных вами и обученных на данных UCI.

Поэтому если вам вдруг будет лень составлять базу данных для работы, мы не намекаем, но…

Взглянуть на архив можно по ссылке.

Как говорится: Data или ML-разработчик без базы математики, что политик без умения убеждать.

В ML и DL ключевые направления: линейная алгебра, математический анализ, статистика и, конечно же, теория вероятностей. Но на что обратить внимание в каждом разделе?

Теория вероятностей

Формулы Байеса, Пуассона, Бернулли, теоремы Лапласа, дискретные и непрерывные случайные величины, всевозможные распределения. А также база: события и их вероятности, комбинаторика.

Статистика

Нужно понимать, что из себя представляют генеральные совокупности, выборки. Необходимо уметь оценивать их параметры + знать вариационные ряды.

Следует обратить внимание на виды группировок данных, бутстрэп, дисперсионный (ANOVA) и ковариационный (ANCOVA) анализы, а еще на корреляцию и регрессию (линейная, логистическая).

Ну, и не забываем, зачастую вам придется формировать статистические гипотезы.

Линейная алгебра

В линейной алгебре следует получить базу по матричному исчислению и векторам, но и обратить внимание на линейные уравнения, матричные факторизации (LU, QR, SVD) и понятие тензоров (по желанию). И даже кривые/поверхности второго порядка из аналитической геометрии.

Матан

В математическом анализе все просто: разбирайте все до дифференциальных уравнений n-ых порядков (их решения нужны, скорее, физикам…), включая преобразование Фурье, сходимости рядов. 

И хотя простая теория множеств приводится почти во всех учебниках, но если ее нет, то следует обратить внимание и ознакомиться с ней до изучения матана в принципе.

А о том, как это все применяется в самом программировании можно почитать «Data-Driven Science and Engineering», Steven L. Brunton, J. Nathan Kutz.

Ага, на английском, но а как вы хотели?

Невредно и обратить внимание на другие разделы математики: дискретную, теорию алгоритмов, аналитическую геометрию и даже логику.

Шорт-лист учебников по математике

Математический анализ

Математический анализ, как и любой другой раздел, бывает разных уровней.

Углубленный уровень: рекомендуем учебник В. А Зорича в 2-х томах. У Зорича нет разжеванной информации по поводу содержания самих понятий, но в двух томах автор умудряется дойти до интегрального исчисления многообразий.

А вот Фихтенгольц отлично подойдет для тех, кто хочет просто и уверенно войти в матан и при этом не потерять тысячи биологических нейронов от бездушных формул.

Для начального уровня также хорошо подойдут следующие материалы (на английском): J. Stewart. Calculus. Early Transcendentals, S. P. Thompson. Calculus Made Easy.

Линейная алгебра

Тут можно посоветовать любой возможный учебник, какой понравится. Здесь не так уж и много возможностей для ухода в дебри.

Для начального уровня рекомендуем G. Strang. Introduction to Linear Algebra, S. Axler. Linear Algebra Done Right.

А для продвинутого — А. Кострикина (2 часть Введения в алгебру), П. Халмоша и его "Конечномерные векторные пространства".

А вот для обучения теории вероятностей и статистике решительно рекомендуем читать В. Веллера с его введением и М.Кельберта, Ю. Cухова для практики.

Если эти книги идут уж слишком тяжело — обратите внимание на "Элементарный курс теории вероятностей К. Л. Чжуна, Ф. АитСахлиа.

Бонус! Для математики машинного обучения и анализа данных рекомендуем: M. Deisenroth, A. Faisal, C. Ong. "Mathematics for Machine Learning", G. Strang. "Linear Algebra and Learning from Data"...

Надеемся, что "стандартные" учебники, облюбованные на разных факультетах российских вузов вы найдете сами. Мы постарались привести парочку необычных материалов.

Забыть документацию. Навсегда

Представьте, в вашем офисе 30 сотрудников, корпящих над совместным кодом. А вы в уголке работаете над конкретной месячной задачей. Проходит ровно 30 дней. Думаете: ну вот, наконец-то я отдохну, похожу на кофе-брейки…

Нет.

Вы будете объяснять каждому индивидуально свой код, а еще к вам могут прислать целую делегацию от заказчика, ведь он поинтересуется, как же работает ваша универсальная рекомендательная система...

Поэтому пишите проектную документацию (логику работы сервиса) и техническую (для коллег). Тогда вы сэкономить килотонну времени на объяснениях.

Засиживаться в Jupyter

Да, это отличный способ, чтобы подучиться и всегда знать назначение данных, вот только черновики не превратишь в реальный сервис. Нельзя провести код ревью, версионификацию, воспроизвести наработки, переиспользовать и даже затестить.

Нужно учиться встраивать код в продакшн, чтобы обернуть в несчастный Docker и уже конвертировать в конечный ML-сервис. Заказчику нужна программа, а не черновик.

Выход? Выделяйте на проектирование не более 20% времени от всей разработки. Как можно раньше познакомьтесь с IDE, вынесите версии библиотек в requirenments.txt, разберитесь с импортами.

Забыть про A/B тесты

Тесты позволяют оценить эффективность вашей ML модели. Стоит потратить время, чтобы разрабатывать простейшие дизайны экспериментов (гипотезы, метрики, фиксации ошибок, стат.тесты и т.д.) – тогда получится оценивать реальный КПД проекта и вносить эффективные правки.

А это ведь отличная штука, повышающая вашу привлекательность на рынке труда путем прямых доказательств. Мол, смотрите, какой я выгодный. Вы мне платите $3к, а я в два раза больше денег принес...

Всего 3 ошибки, но сколько денег, а главное, времени они могут сэкономить.