7

Нейросети, часть 2!

Итак, самое начало тут.


Так как совершенно очевидно, что любой (я сказал, почти любой) уважающий себя пикабушник сразу закроет теорию по матану, будем делать весело и интересно.


Как мы обучаемся?

Итак, я - нейросеть. Совсем простая нейросеть. А значит, я могу выполнять простые задачи, которые заключаются в том, что мне дают числа, а я думаю, что с ними делать. Сегодня я буду по всяким разным параметрам предсказывать, будет ли дождь.


Как я выгляжу, и по каким данным я предсказываю?

Пусть будет такая архитектура:

Нейросети, часть 2! Нейронные сети, Перцептрон, Обратное распространение ошибк, Машинное обучение, Длиннопост

Каждый вход теперь будет от 0 до 1. Например, если 0.5 на первом нейроне - это означает, что трава не очень мокрая, а вот если 1 на предпоследнем нейроне - значит 100% я люблю печеньки. Итак, соединение между нейронами - синапс  - имеет вес, число от -1 до 1. -1 - значит мы знаем, что он всегда лжет. 0 - означает, что мы никогда не знаем, врет или говорит правду. 1 - полностью верим.

Все веса обычно задаются случайными небольшими величинами, пусть это будут 0.1, 0.2, -0.3, 0.1, 0.2.


Школ-то нету, где мне учиться?


Школ нету, зато есть учитель.

Что такое обучение с учителем? Да почти также как обычно. Нам задают вопрос, мы отвечаем, нам говорят где мы неправы. Только для нейросети обычно подготавливают сразу целый набор данных для обучения, где есть вопрос и ответ на него. Итак, скукоте конец, погнали на примерах.


Наш первый пример выглядит таким образом:

Трава: 1

Лоб: 0

Серая: 1

Печеньки: 0.3

Солнце: 0


Посчитаем "вероятность" (почему в кавычках, поймем позже) дождя: 0.1 * 1 + 0.2 * 0 - 0.3 * 1 + 0.1 * 0.3 + 0.2 * 0 = -0.17 < 0.5, то есть дождя не будет. Однако нам (и датасету, то есть нашему "учителю") очевидно, что при мокрой траве и серой погоде будет дождь, то есть правильный ответ 1. То есть мы ошиблись на 1 - (-0.17) = 1.17. Далее могут быть детали, но будет скучно нам, правильно? Так что все должно быть просто. Мы поняли, что стоит больше доверять нейронам "трава" и "серая", увеличив их веса, чуть меньше доверяем "печеньки". К "Лоб" и "солнце" доверие чуток падает. В соответствии с тем, насколько мы больше (меньше) стали доверять каждому нейрону, мы увеличили (уменьшили) их веса. Таким образом формируется правильная матрица весов.


Так как обычно нейросети проходят десятки, сотни, тысячи и даже больше примеров, в нашем случае скорее всего было бы так: мокрая трава и серая погода были бы самыми влиятельными нейронами, лоб и печеньки имели бы вес близкий к 0 (потому что они ни на что не влияют), а солнце получило бы отрицательный (ведь чем больше солнца, тем меньше вероятности дождя).


Ну и под конец картинка одной из моих нейросетей. Это тоже очень примитивная сетка, тут всего несколько сотен обучаемых параметров (весов). Для сравнения, мой текущий проект по определению соли на поверхности Земли имеет 182 миллиона, а человеческий мозг сотни триллионов.

Нейросети, часть 2! Нейронные сети, Перцептрон, Обратное распространение ошибк, Машинное обучение, Длиннопост

А про структуры разных сетей, как отличить кота от собаки, и как сделать нейросеть, которая ведет за вас канал на youtube - в следующих сериях :).

Дубликаты не найдены

Лучшие посты за сегодня
13659

Зарегистрировался

9796

Почему игнор?

Почему игнор? Юмор, Переписка, Скриншот, Би-2
Показать полностью 1
5103

Профессиональная деформация

4696

Замужем/ Разведённая

Замужем/ Разведённая
4569

Уже больше не знаю, как объяснить

Уже больше не знаю, как объяснить Комментарии на Пикабу, Скриншот, Коронавирус, Медицинские маски, Медицина
Показать полностью 1
4069

В Твери врач из Камеруна поставил на ноги десятки детей

3854

Огранка камня

3223

Ответ Android707 в «Гнилые люди в ДПС» 

3131

Спасибо, мама

3051

Марка лада возглавила...

Марка лада возглавила... Мемы, Авто, Лада
Показать полностью 1
3039

Я обидел его и сказал: лейтенант,  никогда ты  не будешь майором

2956

Беспредел охраны

2908

Расточительство

Расточительство Юмор, Скриншот, Twitter, 90-е, Губка, Мат
Показать полностью 1
2862

Новости из мира вечной борьбы

2822

Неловко вышло

Неловко вышло Галь Гадот, Актеры и актрисы, Знаменитости, Чудо-Женщина, Дети, Парк, Неловкий момент, Раскадровка, Родители, Выкрутился, Из сети, Длиннопост
Неловко вышло Галь Гадот, Актеры и актрисы, Знаменитости, Чудо-Женщина, Дети, Парк, Неловкий момент, Раскадровка, Родители, Выкрутился, Из сети, Длиннопост
Неловко вышло Галь Гадот, Актеры и актрисы, Знаменитости, Чудо-Женщина, Дети, Парк, Неловкий момент, Раскадровка, Родители, Выкрутился, Из сети, Длиннопост
Неловко вышло Галь Гадот, Актеры и актрисы, Знаменитости, Чудо-Женщина, Дети, Парк, Неловкий момент, Раскадровка, Родители, Выкрутился, Из сети, Длиннопост
Неловко вышло Галь Гадот, Актеры и актрисы, Знаменитости, Чудо-Женщина, Дети, Парк, Неловкий момент, Раскадровка, Родители, Выкрутился, Из сети, Длиннопост
Неловко вышло Галь Гадот, Актеры и актрисы, Знаменитости, Чудо-Женщина, Дети, Парк, Неловкий момент, Раскадровка, Родители, Выкрутился, Из сети, Длиннопост
Неловко вышло Галь Гадот, Актеры и актрисы, Знаменитости, Чудо-Женщина, Дети, Парк, Неловкий момент, Раскадровка, Родители, Выкрутился, Из сети, Длиннопост
Показать полностью 7
2765

Джанго освобождённый, ёпт

Джанго освобождённый, ёпт Black lives matter, Активисты, Разочарование, Длиннопост, Рабство, Англия, Великобритания, Рабы, BBC, Чернокожие
Джанго освобождённый, ёпт Black lives matter, Активисты, Разочарование, Длиннопост, Рабство, Англия, Великобритания, Рабы, BBC, Чернокожие
Джанго освобождённый, ёпт Black lives matter, Активисты, Разочарование, Длиннопост, Рабство, Англия, Великобритания, Рабы, BBC, Чернокожие
Показать полностью 3
2708

Профессия

2665

Не стандарт!

Не стандарт! Фотография, Реклама, Креатив, Повтор
Показать полностью 1
2616

Так, кто списывает?

Так, кто списывает?
2492

Нераскрытая интрига

Похожие посты закончились. Возможно, вас заинтересуют другие посты по тегам: