8

Нейросети, часть 2!

Итак, самое начало тут.


Так как совершенно очевидно, что любой (я сказал, почти любой) уважающий себя пикабушник сразу закроет теорию по матану, будем делать весело и интересно.


Как мы обучаемся?

Итак, я - нейросеть. Совсем простая нейросеть. А значит, я могу выполнять простые задачи, которые заключаются в том, что мне дают числа, а я думаю, что с ними делать. Сегодня я буду по всяким разным параметрам предсказывать, будет ли дождь.


Как я выгляжу, и по каким данным я предсказываю?

Пусть будет такая архитектура:

Нейросети, часть 2! Нейронные сети, Перцептрон, Обратное распространение ошибк, Машинное обучение, Длиннопост

Каждый вход теперь будет от 0 до 1. Например, если 0.5 на первом нейроне - это означает, что трава не очень мокрая, а вот если 1 на предпоследнем нейроне - значит 100% я люблю печеньки. Итак, соединение между нейронами - синапс  - имеет вес, число от -1 до 1. -1 - значит мы знаем, что он всегда лжет. 0 - означает, что мы никогда не знаем, врет или говорит правду. 1 - полностью верим.

Все веса обычно задаются случайными небольшими величинами, пусть это будут 0.1, 0.2, -0.3, 0.1, 0.2.


Школ-то нету, где мне учиться?


Школ нету, зато есть учитель.

Что такое обучение с учителем? Да почти также как обычно. Нам задают вопрос, мы отвечаем, нам говорят где мы неправы. Только для нейросети обычно подготавливают сразу целый набор данных для обучения, где есть вопрос и ответ на него. Итак, скукоте конец, погнали на примерах.


Наш первый пример выглядит таким образом:

Трава: 1

Лоб: 0

Серая: 1

Печеньки: 0.3

Солнце: 0


Посчитаем "вероятность" (почему в кавычках, поймем позже) дождя: 0.1 * 1 + 0.2 * 0 - 0.3 * 1 + 0.1 * 0.3 + 0.2 * 0 = -0.17 < 0.5, то есть дождя не будет. Однако нам (и датасету, то есть нашему "учителю") очевидно, что при мокрой траве и серой погоде будет дождь, то есть правильный ответ 1. То есть мы ошиблись на 1 - (-0.17) = 1.17. Далее могут быть детали, но будет скучно нам, правильно? Так что все должно быть просто. Мы поняли, что стоит больше доверять нейронам "трава" и "серая", увеличив их веса, чуть меньше доверяем "печеньки". К "Лоб" и "солнце" доверие чуток падает. В соответствии с тем, насколько мы больше (меньше) стали доверять каждому нейрону, мы увеличили (уменьшили) их веса. Таким образом формируется правильная матрица весов.


Так как обычно нейросети проходят десятки, сотни, тысячи и даже больше примеров, в нашем случае скорее всего было бы так: мокрая трава и серая погода были бы самыми влиятельными нейронами, лоб и печеньки имели бы вес близкий к 0 (потому что они ни на что не влияют), а солнце получило бы отрицательный (ведь чем больше солнца, тем меньше вероятности дождя).


Ну и под конец картинка одной из моих нейросетей. Это тоже очень примитивная сетка, тут всего несколько сотен обучаемых параметров (весов). Для сравнения, мой текущий проект по определению соли на поверхности Земли имеет 182 миллиона, а человеческий мозг сотни триллионов.

Нейросети, часть 2! Нейронные сети, Перцептрон, Обратное распространение ошибк, Машинное обучение, Длиннопост

А про структуры разных сетей, как отличить кота от собаки, и как сделать нейросеть, которая ведет за вас канал на youtube - в следующих сериях :).

Дубликаты не найдены

+1
Как нейросеть ведёт канал на Ютубе и так понятно: ищет все видео с тегом "котики" и заливает на свой канал)))
раскрыть ветку 3
+1

Я даже имел ввиду сетку, которая снимала бы сама видео, но и так сойдет :)

раскрыть ветку 2
0
А на пикабу такие посты сможет нейросеть выкладывать?
раскрыть ветку 1
+1
Здравствуйте. Ваша работа связана с нейросетями? Если да, опишите, пожалуйста, ваш рабочий процесс поподробней. В каком виде вам приходят данные, как вы подбираете архитектуру и т.д.
раскрыть ветку 2
+2

Да, хорошо, будет)

раскрыть ветку 1
-1
Заранее спасибо.
0

Я чего-то с солнцем не догоняю. Если оно будет в минусе, то в уравнении этот минус наоборот будет понижать вероятность дождя. Или я совсем тупой? %)

раскрыть ветку 1
0

Нет, все правильно. Если есть солнце, то вероятность дождя будет ниже) (конечно, я могу быть неправ с точки зрения географов, но ведь у нас-то все просто: солнце есть, дождя нет, солнца нет - дождь может пойти)

Похожие посты
177

4 тысячи

4 тысячи на 3 тысячи - стандартный размер фотографий, которые операторы получают с коптеров на поисках пропавшего человека. Конечно же - в пикселях.

Всем привет, с вами снова Lacmus Foundation - открытое сообщество разработчиков программы для спасения людей.

Надеюсь, вы читали прошлый наш пост - нейросети находят пропавших людей.

Сегодня мы немного ответим на задаваемые нам вопросы и снова попытаемся найти человека на фотографиях с воздуха вручную. Правильные ответы будут в комментариях.

Начнём с вопросов.

Пост набрал внушительное количество комментариев - признаемся, мы не ожидали такого резонанса, но нам было приятно отвечать на них. Даже появилось несколько подписчиков - мы рады, что технология вызывает заинтересованность.

Итак, вопросы-ответы:

Q:- Нельзя ли запускать нейросеть на мощных видеокартах, чтобы фотографии обрабатывались быстрее?

A:- Можно и даже нужно. Но в нашем случае поисковые работы обычно проходят вдалеке от цивилизации, где нет постоянного электричества, стабильного широкого канала связи (для загрузки изображений на сервер), а возить с собой генератор - роскошь.

Q:- Нельзя ли передавать фотографии с дрона сразу на ноутбук оператора?

A:- Можно, но сложно. И прожорливо по питанию. И нестабильно. Проще и надёжнее натыкать коптеру Полётное Задание, по возвращении вытащить флешку с фотками, вставить взамен чистую, поменять аккумулятор и отправить фоткать следующий квадрат. А с флешки уже добыть фотографии и обрабатывать их на ноутбуке. При такой схеме летаем дольше, фотографируем больше, ищем эффективнее.

Q:- Зацепить на коптер тепловизор и им искать людей! Не?

A:- Можно. Но у тепловизоров на данный момент низкое разрешение. Летать приходится достаточно высоко (50 м, ибо деревья). С такой высоты тепловизор увидит человека как два-три пиксела. Это уже сопоставимо с помехами. А цена коптера с таким тепловизором приближается к квартире. Для волонтёров и добровольцев подобное оборудование - роскошь.

С вопросами разобрались. Теперь - фотографии.

В прошлый раз была фотография на чистой заснеженной целине. Усложним задачу - добавим в сцену немного деревьев. Теперь фотографии будет три (напомню: с поиска их может приехать 2 - 4 тысячи)

4 тысячи Нейронные сети, Поиск людей, Квадрокоптер, Дрон, Аэросъемка, Лиза Алерт, Беспилотник, Машинное обучение, Длиннопост
4 тысячи Нейронные сети, Поиск людей, Квадрокоптер, Дрон, Аэросъемка, Лиза Алерт, Беспилотник, Машинное обучение, Длиннопост
4 тысячи Нейронные сети, Поиск людей, Квадрокоптер, Дрон, Аэросъемка, Лиза Алерт, Беспилотник, Машинное обучение, Длиннопост

P.S. Во время фотосъёмок ни один человек или коптер - не пострадал.

P.P.S. Нам нужно улучшать нейросеть. Для этого нужно больше фотографий. С коптеров и с геотегами. Поэтому - пожалуйста, отписывайтесь в комментариях, если Вы готовы помочь с фотографиями с коптеров.

Засим всё. Хороших выходных. Берегите себя.

Показать полностью 3
135

GPT-3 на русском

Умные ребята из Сбера собрали огромный объем данных на русском языке (туда вошли в т.ч. и пикабушные посты, кстати): >600Гб.

Потом они прочитали научную работ других очень умных ребят из OpenAI про известную GPT-3 и настроили нейронную сеть с той же самой архитектурой.

Наконец, у них был в наличии самый мощный в России суперкомпьютер, на котором они смогли обучить всё это дело за разумное время.

И вот, теперь любой специалист по ML может зайти на гитхаб и скачать уже обученную сеть, не тратя огромные ресурсы и деньги на её создание.

А теперь немного демок. В связи с нагрузкой, самому потыкать нельзя, но обещали сделать официальную демку.

GPT-3 на русском Нейронные сети, Машинное обучение, Длиннопост, Нейросеть GPT
GPT-3 на русском Нейронные сети, Машинное обучение, Длиннопост, Нейросеть GPT
GPT-3 на русском Нейронные сети, Машинное обучение, Длиннопост, Нейросеть GPT
GPT-3 на русском Нейронные сети, Машинное обучение, Длиннопост, Нейросеть GPT

Ссылка на источник со всеми подробностями: https://habr.com/ru/company/sberbank/blog/524522/; там в комментариях ссылки на скачивание весов.

Показать полностью 3
72

Нейронные сети. Градиентный спуск: как учатся нейронные сети

Обучение — сложный процесс не только для человека, но и для сущностей, порожденных разумом человека.

Мы подготовили долгожданное продолжение лекций по нейросетям. Градиентный спуск: как учатся нейронные сети.


https://www.youtube.com/watch?time_continue=1&amp;v=f9oDe4Yq...


Благодарим за участие в выпуске:

Переводчика – lenablur;

Редакторов – Дмитрия Титова, Михаила Коротеева, Дмитрия Мирошниченко;

Корректора – Дмитрия Мирошниченко;

Дикторов – Никифора Стасова, Дарью Яговкину;

Монтажера – Олега Жданова.

220

Небольшая нейронная сеть в Эксель на VBA

Доброго времени суток! Несколько месяцев назад писал небольшую нейронную сеть в экселе на VBA в учебных целях и практики программирования на VBA.


Книга с одним листом, в котором настройки нейронной сети, обучающая выборка и веса.


Параметры сети:

прямая, обучение методом обратного распространения ошибки;

активационная функция- биполярная сигмоида;

входы- до 20;

формат входов- подаются данные (1;-1)

слоев- 2 (один скрытый слой);

нейронов в скрытом слое- до 100;

выход-1.


Файл старался сделать наиболее простым и понятным.

Небольшая нейронная сеть в Эксель на VBA Microsoft Excel, Нейронные сети, Машинное обучение, Длиннопост

Для запуска сети необходимо ввести следующие данные:


- примеры для обучения и указать их количество в настройках;


- правильные ответы;


- количество входов;


- количество нейронов в скрытом слое;


- скорость обучения;


- сколько эпох обучать сеть


Нажать кнопку "Старт"


Эксель не очень подходит для этих целей, поэтому обучение может занять довольно длительное время.


Скачать файл можно с яндекс диска https://yadi.sk/d/PBG5DMQC_M42Ag

Небольшая нейронная сеть в Эксель на VBA Microsoft Excel, Нейронные сети, Машинное обучение, Длиннопост

Если есть вопросы или идеи по применению пишите в комментариях или на электронную почту Petrov210217@yandex.ru

Показать полностью 1
35

Нейросеть - определитель птиц по фотографии

Всем добрый день, думаю некоторые из пользователей Пикабу, слышали, что Гугл недавно выложил в открытый доступ нейросеть, которую пользователи могут научить тому, что сами захотят, а потом использовать эту нейросеть в своих проектах.


Ссылка на нее вот: https://teachablemachine.withgoogle.com

Я давно думал над тем, чтобы сделать определитель птиц на базе нейросетей, но в силу отсутствия специальных знаний, не мог эту идею реализовать. Теперь, когда ребята из Гугла дали возможность обучать нейросети без навыков программирования, моя мечта становится реализуемой.

Нейросеть - определитель птиц по фотографии Орнитология, Биология, Определитель птиц, Нейронные сети, Машинное обучение, Птицы

Интерфейс такой


Всего-то и нужно сделать, что скормить нейросети пару десятков тысяч изображений птиц, делов-то!


Но я столкнулся с некоторой проблемой: картинки-то я беру большей части из Гугла и Яндекса, там классные фотографии, художественные, никаких смазанных и кривых кадров, все птицы выглядят супер. А это не совсем то, что мне нужно.


Основная идея, которую я преследую - возможность распознавать птицу даже, если фотография темна и полна ужасов, птица выглядит нечеткой, повернута не той стороной или видно только часть птицы, или она вообще мертва, больна, без крыла или глаза, ну, вы поняли.


Таких фоток мало, потому что кто будет выкладывать такое?


Собственно, я хочу обратиться к Силе Пикабу, ребята, если у вас есть фотки птиц, где вы точно знаете, что это за птица, но не стали бы выкладывать это в интернет, отправьте эти фотке мне, плиз. Или, если вы знаете, где достать такие фотографии, подскажите. Мне нужно ОЧЕНЬ много фотографий.
Фотки можно кидать на почту: kolodkinmv@yandex.ru

На данный момент я использовал 3500 фотографий, нейросеть знает 30 видов птиц, поиграться с ней можно тут: https://teachablemachine.withgoogle.com/models/Td7tfvks/


Список известных видов видно там же. Определяет она иногда хорошо, иногда не очень. Причины: использовано маловато изображений и маловато именно "не очень качественных" изображений.


В ближайшем будущем хочу добавить всех воробьинообразных, потому что их больше всего, потом возьмусь за остальные.


Комментарии, критика и пожелания приветствуются :)

Показать полностью
163

Как разделить музыкальный трек на составные части

Французская компания Deezer, известная своим одноименным музыкальным сервисом потоковой передачи музыки через Интернет, выложила в открытый доступ нейронную сеть, которая умеет разделять любую музыкальную композицию на составные части. Они выложили три варианта:

* разделение на голос и фонограмму

* разделение на голос, гитару, барабаны и остальное

* третий вариант дополнительно включает пианино


Над качественным решением данной задачи давно бьются исследователи. В интернете есть софт, онлайн-сервисы и гайды как это делать, например, в Audacity. Но результаты всегда оставляли желать лучшего или требовали существенной ручной доработки. И теперь мы на шаг ближе к полностью автоматическому решению этой задачи за счёт успехов в обучении нейронных сетей.


Посмотреть примеры можно в видео ниже. Видно что иногда артефакты проскакивают, но разделение в большинстве случаев происходит почти идеально. Этого удалось добиться за счёт использования огромного датасета для обучения, который в наличии у Deezer, чей каталог на данный момент включает 56 миллионов музыкальных композиций.

Софт для сплита треков написан на базе библиотеки tensorflow от google и выложен под полностью свободной лицензией на Github. Легко устанавливается и запускается с командной строки. Работает достаточно быстро даже на CPU.


Для желающих поиграться с разделением треков на базе spleeter, есть сервис, где это можно сделать в пару кликов онлайн: mvsep.com


Так же в своём пресс-релизе Deezer дали ссылку на похожий софт, от других исследователей со схожим качеством разделения треков. А так же на сайт где собирают работу различных нейронных сетей для решения этой задачи - тут интересно сравнить как один и тот же трек разбивают на части разные алгоритмы. На форуме программы пользователи предлагают доработки идеи, такие как добавить к spleeter музыкальные инструменты, например флейту или использовать spleeter для удаления музыки с фона спортивных видео чтобы Youtube не банил ролики за нарушение копирайта.

Показать полностью
146

Распознавание цифр различными моделями нейросетей

1. Dense Neural Network

2. Convolutional Neural Network

3. K Nearest Neighbors Classifier


Источник и дополнительная информация.

Похожие посты закончились. Возможно, вас заинтересуют другие посты по тегам: