перевод взят https://vk.com/wall-103208430_650957

оригинал http://kitsune2022-artish.tumblr.com/post/170206226857/origi...

Тест Тьюринга — тест, предложенный Аланом Тьюрингом в 1950 г. в статье «Вычислительные машины и разум» (Computing machinery and intelligence) для проверки, является ли компьютер разумным в человеческом смысле слова. Тьюринг предложил тест, чтобы заменить бессмысленный, по его мнению, вопрос «может ли машина мыслить? » на более определенный.
Тест должен проводиться следующим образом. Судья (человек) переписывается на естественном языке с двумя собеседниками, один из которых — человек, другой — компьютер. Если судья не может надежно определить, кто есть кто, считается, что компьютер прошел тест. Предполагается, что каждый из собеседников стремится, чтобы человеком признали его. Чтобы сделать тест простым и универсальным, переписка сводится к обмену текстовыми сообщениями.
Переписка должна производиться через контролируемые промежутки времени, чтобы судья не мог делать заключения исходя из скорости ответов. (Во времена Тьюринга компьютеры реагировали медленнее человека. Сейчас это правило необходимо, потому что они реагируют гораздо быстрее, чем человек. )
Тест был инспирирован салонной игрой, в ходе которой гости пытались угадать пол человека, находящегося в другой комнате, путем написания вопросов и чтения ответов. В оригинальной формулировке Тьюринга человек должен был притворяться человеком противоположного пола, а тест длился 5 минут. Сейчас эти правила не считаются необходимыми и не входят в спецификацию теста.
Тьюринг предсказал, что компьютеры в конечном счёте пройдут его тест. Он считал, что к 2000 году компьютер с памятью 1 миллиард бит (около 119 МБ) в ходе 5-минутного теста сможет обмануть судей в 30 % случаев. Это предсказание не сбылось. Тьюринг также предсказал, что сочетание «мыслящая машина» не будет считаться оксюмороном, а обучение компьютеров будет играть важную роль в создании мощных компьютеров (с чем большинство современных исследователей согласны) .
Пока что ни одна программа и близко не подошла к прохождению теста. Такие программы, как Элиза (ELIZA), иногда заставляли людей верить, что они говорят с человеком, как, например, в неформальном эксперименте, названном AOLiza. Но такие «успехи» не являются прохождением теста Тьюринга. Во-первых, человек в таких беседах не имел никаких оснований считать, что он говорит с программой, в то время как в настоящем тесте Тьюринга человек активно пытается определить, с кем он беседует. Во-вторых, документированные случаи обычно относятся к таким чатам, как IRC, где многие беседы отрывочны и бессмысленны [источник?] . В-третьих, многие пользователи IRC используют английский как второй или третий язык, и бессмысленный ответ программы, вероятно, спишется ими на языковый барьер. В-четвертых, многие пользователи ничего не знают об Элизе и ей подобных программах и не могут распознать совершенно нечеловеческие ошибки, которые эти программы допускают.
Ежегодно производится соревнование между разговаривающими программами и наиболее человекоподобной, по мнению судей, присуждается приз Лёбнера (Loebner). Есть также дополнительный приз для программы, которая, по мнению судей, пройдет тест Тьюринга. Этот приз еще не присуждался. Самый лучший результат показала программа A.L.I.C.E. выиграв приз Лёбнера 3 раза (в 2000, 2001 и 2004).

Всем привет! Вот уже почти 4 года я занимаюсь разработкой и обучением нейронных сетей. Сейчас в команде уже 6 человек, некоторые живут не в России, но костяк находится в Москве, так что наше ПО можно считать российским. Поэтому и чатбот, которого мы разработали, говорит по русски. вот пример диалога с роботом:

На мой взгляд, довольно тяжело отличить его ответы, от диалога с живым человеком.

Подробнее

Нельзя сказать, чтобы наш подход никогда ранее не пытались использовать, хотя мы уверены, что добились в этом достаточно впечатляющих успехов. В первую очередь, когда вы пишите какое либо сообщение, оно проходит через семантический анализатор. Ничего особо нового мы тут не придумали, подобные системы используют поисковики для целых фраз поисковых запросов: буквы в словах кодируются числами и эти числа становятся координатами вектора в воображаемом многомерном пространстве. Мы проверяем, совпадает ли вектор с уже имеющимся в базе, если да, то все норм, слово передается "как есть", если нет - смотрим, какой вектор можно считать наиболее близким к искомому. Это позволяет быстро исправлять различные очепятки, которые ставили в тупик первых виртуальных собеседников, т.к. слово с неправильной буквой они считали совершенно новым, незнакомым им словом.

Понятно, что если вы напишите нечто вроде "лдаолпр" робот вас не поймет. Но справедливости ради, человек это тоже прочитать не сможет.

Потом готовое предложение, прошедшее через анализатор и исправленное, передается обученной нейросети. Тут и происходит основная "магия": сетка составляет в процессе обучения слова в специальную базу знаний, которую также можно редактировать вручную. Эту идею мы позаимствовали у Cyc (слово английское, читается Сайк), как и их синтаксис, выглядит запись примерно так:

(#$isa #$Путин #$Президент России) \;

Сеть учится оперировать не каждым словом в отдельности, а системой понятий. Все зависимости, характерные для группы понятий, приобретает каждое новое слово, после объяснения его значения. Это позволяет сократить время на обучение новым словам, нам не нужно прогонять через сеть тысячи примеров использования слова "человек", напр, чтобы она начала его использовать. Достаточно объяснить его значение простым языком 1 раз, робот может задать несколько вопросов, чтобы уяснить для себя все зависимости и прописать слово в базе знаний. Такая форма обучения ближе к естественному запоминанию человеком, чем привычное машинное обучение. А обилие современных словарей позволяет обучать его довольно быстро.

Модель поведения можно менять прогоняя сеть на специально подобранной выборке. Таким образом, например, можно научить его копировать стиль сообщений какой нибудь известной личности, логи переписки с которой у вас есть. Чем больше выборка - тем более похожим на оригинал станет поведение бота.

Кроме того, он помнит контекст, если вы в начале беседы скажете, что купили красную машину, а потом сообщите, что ваша машина синяя, робот может спросить: "Так у тебя 2 машины?"

Что мы собираемся с этим делать?

Сейчас этот робот довольно бесполезная приблуда, он умеет вести диалог с пользователем, но этого мало. Мы хотим сделать свой аналог Siri и ему подобных электронных помощников. Только с более прокачанным пониманием естественного языка. Наша цель - создать робота, с которым вы сможете общаться как с живым человеком, а также просить его выполнять различные поручения, отвечать за вас на письма и сообщения, и все в таком духе. Он даже сможет копировать ваш стиль общения и, например, поздравлять всех 2000 друзей в соцсетях (или сколько у вас там) с днями рождения или еще какими праздниками. Будет помнить ваше расписание, и если вы едите пиццу по четвергам - сам договорится о доставке к вашему приходу с работы. Ну и все в таком духе.

Также мы разрабатываем конструктор, который позволит использовать робота на различных веб-проектах для диалогов с пользователями, без привлечения труда людей. Мы постараемся не дать возможности для незаконных действий вроде спам-рассылки, попрошайничества, вымогательства и всего такого. Если вы его об этом попросите - робот откажется.

А сейчас мы проводим бета-тестирование: мы запилили тест Тьринга для своего робота. Любой желающий может зайти на специальную страницу, и пообщаться с незнакомым собеседником. Мы же соединяем либо 2-х пользователей между собой, либо пользователя с роботом. По окончании диалога спрашиваем, был ли собеседник роботом по мнению пользователя. А сами сидим скрестив пальцы и надеемся, что процент людей, догадавшихся, что общались не с человеком будет не выше ложных срабатываний, когда пользователь посчитает роботом другого пользователя. Понятно, что мы потом отфильтруем диалоги, слишком короткие из выборки удалим, оставим только те, на которых вывод был сделан не "с потолка". Т.к. робот не умеет в распознавание картинок, то мы добавили хитрость: он может такую просьбу переадресовать другому пользователю, с которым ведет диалог в настоящий момент, а его ответ переслать человеку, изначально задавшему вопрос.

Спасибо, что дочитали, если у вас возникло желание помочь нам с тестами - в комментах оставлю ссылку на страничку с чатиком.

Все диалоги мы записываем для анализа, они также будут представлены общественности, можно будет почитать, как проходил тест, а если вам нужна обучающая выборка подобных диалогов для обучения собственной нейронной сети - будет возможность скачать все диалоги в .txt формате.

Для тех, кто в тесте участвовать не желает, а ждет сразу полную версию - релиз будет в начале 2018 года, электронного помощника мы будем раздавать поначалу бесплатно, если будет интерес к этой теме, выложу потом отдельный пост после релиза, ну и буду иногда писать, как у нас дела, какие результаты получены в результате тестов, также перед релизом мы выложим робота в сеть, чтобы все желающие могли просить его поискать что-то в гугле или просто с ним пообщаться.

Навеяло постом в "Горячем", где робот, проходящий тест, лезет в google, чтобы найти ответы.

В ветке обсуждения один из участников написал:

Все кошки любят рыбу. Мою кошку зовут Мурка. Что любит Мурка?
Обычно, для проверки ИИ задают вопросы такого типа. Размер базы данных для поиска ответа здесь не имеет значения, для ответов на такие вопросы нужна способность делать логические суждения: кошки -> рыба, Мурка -> кошка, Мурка -> рыба. ИИ, работающий по принципу семантического разбора и поиска подходящих ответов в базе данных не сможет ответить на этот вопрос, человек ответит не задумываясь.

А теперь выдержка из книги Никонова, где он рассказывает об исследованиях на наличие логического мышления у жителей горного селения в Узбекистане:

Тогда еще не было такого понятия, как «политкорректность», но Лурия, тем не менее, в самом начале своей работы извинительно расшаркался перед аудиторией: «Узбекистан по праву гордится высокой древней культурой, выдающимися достижениями в области науки и поэзии, связанными с такими личностями, как Улугбек, математик и астроном, оставивший замечательную обсерваторию под Самаркандом, философ Аль-Бируни, врач Авиценна, поэты Саади и Низами и т. д.».

И только потом объяснился перед научным миром за выбор места действия: «…в течение многих веков народные массы оставались неграмотными и большей частью изолированными от этой высокой культуры. Они жили главным образом в деревнях, полностью зависели от богатых землевладельцев и всемогущих феодалов. Их основным занятием было хлопководство. В горных районах Киргизии, прилегающих к Узбекистану, превалировало скотоводство. Консервативное учение религии ислама имело огромное влияние на население и изолировало женщин от участия в общественной жизни».

Ученые выбрали для сдачи ментальных анализов абсолютно неграмотных крестьян из самых отдаленных от цивилизации мест и начали задавать им разные вопросы. Результаты удивили ученых. Скажем, любой цивилизованный человек увидит геометрическую общность между окружностью и недорисованной окружностью с «выкушенным» кусочком дуги, потому что обе эти картинки объединяются абстрактным геометрическим понятием «окружность». Узбеки этого не видели. «Что же общего между ними, если вот это — монета, а это — неполная луна?» — недоумевали они, тыкая заскорузлыми пальцами в картинки.

В их головах не было даже такой простой абстракции, как цвет. Показывая на цветные мотки шерсти, они говорили: этот — как весенняя трава, а этот — как небо, а тот — как кровь. Решить задачу по цветовой классификации шерстяных мотков они не могли. Как можно сложить вместе три зеленых мотка разных оттенков, если один — «весенняя трава», другой — «молодой горошек», а третий — «тутовые листья зимой». Можно ли горох сравнить с травой, если горох люди кушают, а траву едят только бараны?

Крестьянину показывают четыре рисунка: молоток, пила, топор и полено. Какой предмет лишний? Вряд ли среди моих читателей найдется хоть один, кто не решит задачу. Узбеки Лурии ее не решили. Вот как рассуждал некий Рахмат:

— Ничто не лишнее, все они нужны, — сказало это дитя природы. — Смотрите, если вам нужно разрубить что-нибудь, например полено, вам понадобится топор. Так что все они нужны!

Ему попытались объяснить принцип решения этой элементарной логической задачи на другом примере. Вот смотри, Рахмат, есть трое взрослых и один ребенок. Кто лишний в группе? Конечно, ребенок, потому что остальные взрослые!

— Нет! — не согласился узбек. — Нельзя мальчика убирать! Он должен остаться с другими! Все начнут работать и, если им придется бегать за разными вещами, они никогда не закончат работу, а мальчик может бегать за них. Мальчик научится, и это будет лучше — они смогут вместе хорошо работать.

— Ну хорошо, — попытался зайти с другого конца Лурия. — Вот смотри, у тебя, допустим, есть три колеса и клещи. Конечно, клещи и колеса совсем не похожи друг на друга, правда? Можно сгруппировать похожие предметы и исключить непохожий?

Ответ дикаря блистателен в своей первобытной простоте:

— Нет, все они подходят друг к другу! Я знаю, что клещи не похожи на колеса, но они понадобятся, если надо закрепить что-то в колесе! Нужно иметь и колеса, и клещи. Клещами можно работать с железом, а это трудно!

— Так. Стоп! Вернемся к задаче с топором, поленом, пилой и молотком. Как можно одним словом назвать топор, пилу и молоток? Какое это слово?

Узбек задумывается. После чего глубокомысленно произносит:

— Если мы назовем все три вещи «топор» — это будет неверно. Пила, молоток и топор все должны работать вместе, но полено тоже должно быть вместе с ними!

— Ладно… А вот один человек выбрал три предмета — молоток, пилу и топор — и сказал, что они схожи. У него были для этого основания? Как ты думаешь, почему он это сделал?

— Не знаю, может быть, у него много дров, но если он останется без дров, он ничего не сможет делать.

— Фу-у. Но ведь молоток, пила и топор — орудия!

— Да, орудия. Но даже если у нас есть орудия, все же нам нужно и дерево. Иначе мы ничего не сможем построить!

Далее Лурия переходит к другой задачке. Он показывает колхозникам рисунки с изображением пули, кинжала, ружья и птицы. С той же просьбой — убрать лишнее. Крестьянин отказывается. В его синтетическом мире нет ничего лишнего, все в хозяйстве пригодится!

— Вроде ласточка лишняя? Хотя… Нет! Не лишняя! Ружье заряжено пулей и убивает ласточку. А если нужно разрезать птицу, то можно это сделать кинжалом, по-другому нельзя — ружьем не разрежешь! Поэтому то, что я сначала сказал про ласточку, — неверно. Все эти вещи подходят друг к другу!

— Но ведь вот эти три штуки — оружие. А ласточка не оружие! Смекаешь?

— Не оружие, однако. Но птица тоже должна быть с ними. Иначе нечего будет стрелять.

Затем настал черед более сложных задач — на силлогизмы. Силлогизм — это система из двух утверждений — общего и частного, их которых путем несложных умозаключений можно сделать некий вывод. Например.

1) Драгоценные металлы не ржавеют.

2) Золото — драгоценный металл.

Вопрос: ржавеет ли золото? Ответ: золото не ржавеет.

Этот вывод, как отмечает Лурия, настолько прост, что «многие психологи были склонны рассматривать подобное логическое заключение как основное свойство человеческого сознания». Ан не тут-то было!

Сказав силлогизм из двух предложений, исследователи просили узбеков повторить силлогизм. Просто повторить. Но немногие узбеки смогли это сделать: в крестьянский мозг эти два предложения никак не помещались, ибо, по мнению узбеков, никак не были связаны друг с другом. Вот робкие попытки разных жителей кишлака повторить силлогизм про золото:

«Драгоценные металлы ржавеют или нет? Золото ржавеет или нет?»

«Драгоценные металлы ржавеют. Драгоценное золото ржавеет. Ржавеет ли драгоценное золото или нет? Ржавеют ли драгоценные металлы или нет?»

«Это все — драгоценное. Золото — тоже драгоценное. Ржавеет оно или нет?»

Ясно, что если человек не в силах даже повторить задачу, спрашивать у него ответ бессмысленно. Тогда крестьянам попытались объяснить, что такое силлогизм (без применения, разумеется, этого термина, упаси боже!) на привычных примерах а-ля кишлак-ишак…

1) Хлопок растет там, где жарко и сухо.

2) В Англии холодно и сыро.

Вопрос: может в Англии расти хлопок или нет?

«Испытуемые, живущие в наиболее отсталых районах, — пишет Лурия, — даже отказывались делать какие-либо выводы. Они заявляли, что никогда не бывали в этом незнакомом месте и не знают, растет там хлопок или нет».

Привожу запротоколированный диалог между психологом и дехканином:

«— … может в Англии расти хлопок или нет?

— Я не знаю.

— Подумай об этом.

— Я был только в Кашгаре. Ничего больше я не знаю.

— Но на основании того, что я сказал, может ли хлопок там расти?

— Если земля хорошая, хлопок будет там расти, но если там сыро и земля плохая, он расти не будет. Если там похоже на Кашгар, он там тоже будет расти. Конечно, если почва там рыхлая, он тоже будет там расти.

— Еще раз. Ты знаешь, хлопок растет там, где жарко и сухо. Но в Англии холодно и сыро. Может там расти хлопок?

— Если там холодно, он не будет расти. Если почва хорошая и рыхлая — будет.

— Но на какую мысль наводят мои слова?

— Знаешь, мы — мусульмане, мы — кашгарцы. Мы никогда нигде не бывали и не знаем, жарко там или холодно».

Однако, после очень долгих уговоров, узбеков удавалось убедить, что в Англии хлопок не растет, потому что там холодно и сыро, а хлопок растет там, где жарко и сухо. На это узбеки скрепя сердце еще соглашались. Но вот следующий силлогизм, где никакого привычного предмета уже не было, просто повергал их в ступор.

1) На Дальнем Севере, где снег, все медведи белые.

2) Новая Земля — на Дальнем Севере.

Вопрос: какого цвета там медведи?

Вот варианты ответов, даваемые освобожденными жителями востока:

«Я никогда не был на севере и никогда не видел медведей».

«Если вы хотите, чтобы вам ответили на этот вопрос, спросите людей, которые там побывали и видели их».

«Разные бывают медведи. Если родился красным, таким он и останется».

Все попытки достучаться до логики в случае с медведями не заканчивались ничем, что прекрасно иллюстрирует запротоколированный диалог:

«— …так какого цвета на Новой Земле медведи?

— Я не знаю. Я видел черного медведя. Других я никогда не видел. В каждой местности свои животные — если она белая, они будут белые, если желтая — они будут желтые.

— Но какие медведи водятся на Новой Земле?

— Мы всегда говорим только о том, что мы видим. Мы не говорим о том, чего мы не видели.

— Но на какую мысль наводят мои слова? На Севере все медведи белые. Новая Земля — на Севере. Какого цвета там медведи?

— Ну, это вот на что похоже: наш царь не похож на вашего, а ваш не похож на нашего. На твои слова может ответить только кто-то, кто там был, а если человек там не был, он ничего не может сказать на твои слова.

— Но на основе моих слов: „На Севере, где всегда снег, медведи — белые“, — можешь ты догадаться, какие медведи водятся на Новой Земле?

— Если человеку шестьдесят или восемьдесят лет, и он видел белого медведя и рассказал об этом — ему можно верить, но я никогда его не видел, и потому не могу сказать. Это мое последнее слово. Те, кто видел, могут сказать, а те, кто не видел, ничего сказать не могут».

…Так были посрамлены приверженцы Вюрцбургской психологической школы, которые упорно твердили о врожденных логических ощущениях, присущих человеческому сознанию.

А вы от роботов логики требуете:)