Хитрая нейросеть⁠⁠

Если бы бампер был сзади и было бы поощрение за проход территории, то, думаю, вы правы: потыкался бы немного по стенам и начал бы наворачивать круги. ИИ - хайпожор :)

Тогда можно добавить в нейросеть поощрение за проход территории

Это же из Аладдина советского

Немного спутано теплое с мягким.

"Награда" это из терминологии "Обучения с подкреплением (Reinforced learning)". Тип задач машинного обучения такой. Задача сводится к модели в которой есть Агент (в данном случае пылесос) и есть Среда (квартира). Агент получает от Среды информацию о состоянии (совокупность показания датчиков пылесоса) и принимает одно из возможных Решений (двигаться вперед с такой-то скоростью, назад, поворачивать, ничего не делать). На основании принятого решения Среда дает Агенту некое вознограждение (например: убился об стену - на тебе -100 очков. не убился, но проехал там где уже был +1, там где не был +10, сели батарейки и ты не доехал до зарядной станции - -10000 очков и гемовер) и переходит в новое состояние. После этого Агент снова делает ход (принимает решение), получает вознаграждение и снова и снова. Задача Агента принимать Решения так чтобы максимизировать сумму Вознаграждений в течении всей сессии (либо в пределе если сессия не имеет окончания). Плюс там вводятся (или не вводятся) всякие понижающие коэффициенты чтобы показать модели что важнее небольшое вознаграждение сейчас или большое но позже.

Главное что вот это все хозяйство это просто модель описывающая подход к решению задачи, переводящий непонятные компьютеру хотелки (пропылесосил квартиру, выиграл в шахматы) в математическую логику понятную компьютеру. И вообще говоря нейросети не являются единственным способом решения данной задачи. Один из таких способов это так называемый Q-learning. В нем строится одна большая табличка в которой строки - состояния, колонки - действия, а ячейка - вознаграждение (строго говоря ожидаемое вознаграждение если в данном состоянии предпринять данное действие, а в дальнейшем все действия выполнять оптимально). Как именно строится данная табличка в данном случае не важно, но очевидно что имея данную табличку Агент может действовать довольно просто. Зная текущее состояние он находит строчку с ним, и смотрит в какой из колонок будет максимальное вознаграждение и выбирает действие из этой колонки.

Проблема данной таблички в том что ее реально построить только для более-менее игрушечных задачек. В реальности количество состояний будет огромно (если вообще конечно), да и действий будет не мало (опять же не факт что конечно), а уж ячеек там... И вот только тут у нас появляется нейросеть. Нейросеть всего навсего делает то что она делает хорошо - апроксимирует эту табличку по неполным данным. Вот тут и начинается то о чем вы говорили - отбор представителей которые лучше других апроксимируют данную табличку и все такое.

Потому на поведение именно нейронки награда строго говоря не влияет никак. Награда влияет на таблицу полезности. Именно эта таблица и будет как-бы искуственным интеллектом. Но раз построить эту таблицу мы не можем, то нейронка помогает нам сделать вид что мы ее построили, а уж что там внутри - ее волнует мало.

Нейроосеть учится на случайных хаотичных движениях. После этого кто-то должен сказать ей, сдалала ли она "хорошо" или "плохо". Это может сделать как человек, так и система ценностей.

А там для настройки НС специальные утилитки есть. Если что, я в этом не особо рублю, но читал статью на хабре. Сколько-то итераций обучение проходит, затем смотрят на результат и веса подстраивают в нужную сторону. Зачастую не всегда угадывают, куда именно надо, но вот этот метод вроде называется "обучение с учителем".

Сомневаюсь, что запрет ездить назад (ваше предложение) решит проблему: без этого направление эффективная траектория невозможна.