Data science, что у нас тут собственно происходит.

// АД - анализ данных, DS - data scientist, data science

Ну что ж, расскажу немного о работе Data Scientist-а, то есть человека, занимающийся машинным обучением.

Тут пикабушники, рассказывая о своей работе, фотографируют корабли, автомобили и так далее. Что ж, тоже что-нибудь придумаю.


Итак, кто мы (уже АД-овцы)?


Вообще, программисты, но так мы себя не называем, на то есть причины:

1) Обычно кода совсем мало: DS за весь проект может написать 500 строк кода, а то и меньше.

2) Программисты - это какой-то средний уровень, а ds все-таки уже скорей ученые. По-разному, конечно.


Какие задачи?


Задачи по АДу - это задачи, нерешаемые классическими алгоритмами. И в самом деле: как можно алгоритмами и "if"-ами можно предсказывать что-то совершенно не очевидное иногда даже для человека или, например, найти на картинке автомобиль за миллисекунды?


Что нам дают?


Набор данных для обучения нашей модели называется датасет. Датасеты могут быть совершенно разными, зависит от задачи. Например,

Для предсказания вида "будет ли дождь" обычно дают датасет в виде csv таблицы, где строки - это примеры, а столбцы - фичи, то есть условия, при которых идет/не идет дождь.

Для нахождения соли на поверхности Земли нам дают картинки

Data science, что у нас тут собственно происходит. Data Science, Анализ данных, Машинное обучение, Длиннопост

Здесь первая, третья, 5-ая и т. д. - это поверхность Земли (фрагмент), 2-ая, 3-я и т. д. - это маски, то есть фрагменты, где указано местонахождение соли. И нам для других фрагментов нужно предсказать где соль. (это соревнование доступно на kaggle)


Есть задачи наоборот, нарисовать картинку, или написать текст. Тогда нам дают картинку, которую нейросетка понимает, а потом воспроизводит. Если так сделать много раз, то можно будет где-то в середине сети (где она поняла картинку) заполнять своими числами, и она будет рисовать другие картинки.


Как мы решаем?


Способов много. До этого я всегда говорил про нейронные сети, но существует огромное количество других методов машинного обучения. Просто мне интереснее говорить про нс. Нейросети - это как раз глубинное обучение.


Пока так, про подбор архитектуры, kaggle, метрику - в следующем посту :). Пишите, что непонятно, а про что поподробнее.


P. S. Кстати, у ds есть такая штука - loss, это наш фетиш) Но об этом в следующем посту.

Дубликаты не найдены

Лучшие посты за сегодня
7646

Ну вы поняли...

6415

У бэдкомедиана задергался глаз

У бэдкомедиана задергался глаз
5098

Прекрасные незнакомые друзья

Показать полностью
4932

Как сделать бесцветный огонь

4819

Факт от @Keyten

Факт от @Keyten Комментарии на Пикабу, Комментаторы, Скелетор, Скриншот
Показать полностью 1
4730

Какой разврат!! Обязательно надо поехать ещё раз

Какой разврат!! Обязательно надо поехать ещё раз Юмор, Комментарии на Пикабу, Скриншот, Таиланд, Проститутки
4276

Здесь играем, здесь не играем

Здесь играем, здесь не играем Скриншот, Twitter, Хабиб Нурмагомедов, Дагестанцы, Метро, Драка, Двойные стандарты
Показать полностью 1
4044

Не так просто

Не так просто Очкарик, Комментарии, Комментарии на Пикабу, Скриншот
Показать полностью 1
3670

Массовый зритель не оценил очередной антисоветский фильм снятый на бюджетные деньги

Массовый зритель не оценил очередной антисоветский фильм снятый на бюджетные деньги Российское кино, Александр Солженицын, Фильмы, Прокат, Кассовые сборы
3657

Время открыть тайны

Время открыть тайны Картинка с текстом, Юмор, Мат, Черный юмор
Показать полностью 1
3565

Ковидные истории

3532

Кибер-спорт

Кибер-спорт Киберспорт, Dota, Новости, Неловкий момент
3523

Кроме риелторов

Кроме риелторов Скриншот, Комментарии на Пикабу, Риэлтор, Мат
3479

Профдеформация

3352

Сгорело

3267

Вокзальные таксисты

3161

Тонировка

Тонировка Тонировка, Отзыв, Скриншот, Комментарии на Пикабу, Истории из жизни
Показать полностью 1
2930

Заботливый сын

Заботливый сын Подарки, Гарольд скрывающий боль, Дед Мороз
2690

Антиалигаторский закон

Антиалигаторский закон Карикатура, Политика
2681

Ответ на пост «Мнение Владимира Епифанцева о нашем сайте» 

Ответ на пост «Мнение Владимира Епифанцева о нашем сайте» Владимир Епифанцев, Мнение, Вертикальное видео, Актеры и актрисы, Мат, Знаменитости, Пикабу, Видео, Ответ на пост, Длиннопост
Ответ на пост «Мнение Владимира Епифанцева о нашем сайте» Владимир Епифанцев, Мнение, Вертикальное видео, Актеры и актрисы, Мат, Знаменитости, Пикабу, Видео, Ответ на пост, Длиннопост
Показать полностью 2 1
Похожие посты закончились. Возможно, вас заинтересуют другие посты по тегам: