Интересно, все эти достойные люди задумываются о том, что они участвуют в массовом деаноне и сборе кем-то базы данных.
Не удивлюсь, если к каким-то портретам удастся найти почту и телефон, чтобы потом дурить очередную "биометрию" от сбербанка, например
Я несколько связан с разработкой всякого нагруженного. И вот что я скзажу. Кроме игнора платформы есть ее один (полтора) вектор атаки.
И даже не вектор атаки а то как вас увидят - это создание необычной нагрузки.
Те все вот эти "плюсуем все подряд - пусть охуевает система ранжирования", "почтим кучу фоток - пусть охуеет файлопомойка" итд - они довольно сильно бьют в карман овнера. В среднем даже больше чем игнор рекламы.
В последнее время нам почти каждый день рассказывают в новостях, какие очередные вершины покорили языковые нейросетки, и почему они уже через месяц совершенно точно оставят лично вас без работы. При этом мало кто понимает – а как вообще нейросети вроде ChatGPT работают внутри? Так вот, устраивайтесь поудобнее: в этой статье мы наконец объясним всё так, чтобы понял даже шестилетний гуманитарий!
OpenAI (компанию, сделавшую ChatGPT) основали в 2015 году именно вот эти двое парнишек – кто бы тогда знал, во что это в итоге выльется...
На всякий случай сразу оговоримся: у этой статьи два автора. За всю техническую часть (и за всё хорошее в статье) отвечал Игорь Котенков – широко известный чувак в узких кругах русскоязычной тусовки специалистов по искусственному интеллекту, а также автор канала Сиолошная про машинное обучение, космос и технологии. За мольбы «вот тут непонятно, давай как-нибудь попроще!» и за добавление кринжовых неуместных мемов был ответственен Павел Комаровский – автор канала RationalAnswer про рациональный подход к жизни и финансам.
Собственно, статья так и родилась: Павел пришел к Игорю и возмутился – дескать, «почему никто еще не написал на русском нормальную статью про ChatGPT, объясняющую понятно даже для моей бабушки, как всё вот это нейроколдунство работает?». Так что заранее приносим свои извинения всем хардкорным технарям: при подготовке этого текста мы стремились к максимальному упрощению. Нашей задачей было – дать читателям общее понимание принципов работы языковых нейросетей на уровне концепций и аналогий, а не разобрать до последнего винтика все глубокие технические нюансы процесса.
В общем, наливайте себе кружечку горячего чая и устраивайтесь поудобнее – сейчас мы вам расскажем всё про то, что там крутится под капотом у языковых моделей, каким образом эти покемоны эволюционировали до текущих (местами поразительных) способностей, и почему взрывная популярность чат-бота ChatGPT стала полным сюрпризом даже для его создателей. Поехали!
Начнем с простого. Чтобы разобраться в том, что такое ChatGPT с технической точки зрения, надо сначала понять, чем он точно не является. Это не «Бог из машины», не разумное существо, не аналог школьника (по уровню интеллекта и умению решать задачи), не джинн, и даже не обретший дар речи Тамагочи. Приготовьтесь услышать страшную правду: на самом деле, ChatGPT – это Т9 из вашего телефона, но на бычьих стероидах! Да, это так: ученые называют обе этих технологии «языковыми моделями» (Language Models); а всё, что они по сути делают, – это угадывают, какое следующее слово должно идти за уже имеющимся текстом.
Ну, точнее, в совсем олдовых телефонах из конца 90-х (вроде культовой неубиваемой Nokia 3210) оригинальная технология Т9 лишь ускоряла набор на кнопочных телефонах за счет угадывания текущего вводимого, а не следующего слова. Но технология развивалась, и к эпохе смартфонов начала 2010-х она уже могла учитывать контекст (предыдущее слово), ставить пунктуацию и предлагать на выбор слова, которые могли бы идти следующими. Вот именно об аналогии с такой «продвинутой» версией T9/автозамены и идет речь.
Кого ни разу не подставляла автозамена на телефоне – пусть первый бросит в меня камень
Итак, и Т9 на клавиатуре смартфона, и ChatGPT обучены решать до безумия простую задачу: предсказание единственного следующего слова. Это и есть языковое моделирование – когда по некоторому уже имеющемуся тексту делается вывод о том, что должно быть написано дальше. Чтобы иметь возможность делать такие предсказания, языковым моделям под капотом приходится оперировать вероятностями возникновения тех или иных слов для продолжения. Ведь, скорее всего, вы были бы недовольны, если бы автозаполнение в телефоне просто подкидывало вам абсолютно случайные слова с одинаковой вероятностью.
Представим для наглядности, что вам прилетает сообщение от приятеля: «Чё, го седня куда нить?». Вы начинаете печатать в ответ: «Да не, у меня уже дела(( я иду в...», и вот тут подключается Т9. Если он предложит вам закончить предложение полностью рандомным словом, типа «я иду в капибару» – то для такой белиберды, если честно, никакая хитрая языковая модель особо и не нужна. Реальные же модели автозаполнения в смартфонах подсказывают гораздо более уместные слова (можете сами проверить прямо сейчас).
Мой Samsung Galaxy предлагает такие варианты. Сразу видно типичного айтишника: получил зарплату, прокутил – и сразу в аптеку, лечиться!
Так, а как конкретно Т9 понимает, какие слова будут следовать за уже набранным текстом с большей вероятностью, а какие предлагать точно не стоит? Для ответа на этот вопрос нам придется погрузиться в базовые принципы работы самых простейших нейросеток.
Давайте начнем с еще более простого вопроса: а как вообще предсказывать зависимости одних вещей от других? Предположим, мы хотим научить компьютер предсказывать вес человека в зависимости от его роста – как подойти к этой задаче?
Здравый смысл подсказывает, что надо сначала собрать данные, на которых мы будем искать интересующие нас зависимости (для простоты ограничимся одним полом – возьмем статистику по росту/весу для нескольких тысяч мужчин), а потом попробуем «натренировать» некую математическую модель на поиск закономерности внутри этих данных.
Для наглядности сначала нарисуем весь наш массив данных на графике: по горизонтальной оси X будем откладывать рост в сантиметрах, а по вертикальной оси Y – вес.
Судя по нашим прикидкам, мужики в выборке попались в среднем ну такие – довольно упитанные (или сплошь качки на массе, тут сразу не разберешь)
Даже невооруженным взглядом видна определенная зависимость: высокие мужики, как правило, больше весят (спасибо, кэп!). И эту зависимость довольно просто выразить в виде обычного линейного уравнения Y = k*X + b, знакомого нам всем с пятого класса школы. На картинке нужная нам линия уже проведена с помощью модели линейной регрессии – по сути, она позволяет подобрать коэффициенты уравнения k и b таким образом, чтобы получившаяся линия оптимально описывала ключевую зависимость в нашем наборе данных (можете для интереса подставить свой рост в сантиметрах вместо X в уравнение на картинке и проверить, насколько точно наша модель угадает ваш вес).
Вы тут уже наверняка хотите воскликнуть: «Окей, с ростом/весом и так интуитивно всё было понятно, только причем тут вообще языковые нейросети?» А притом, что нейросети – это и есть набор примерно тех же самых уравнений, только куда более сложных и использующих матрицы (но не будем сейчас об этом).
Можно упрощенно сказать, что те же самые T9 или ChatGPT – это всего лишь хитрым образом подобранные уравнения, которые пытаются предсказать следующее слово (игрек) в зависимости от набора подаваемых на вход модели предыдущих слов (иксов). Основная задача при тренировке языковой модели на наборе данных – подобрать такие коэффициенты при этих иксах, чтобы они действительно отражали какую-то зависимость (как в нашем примере с ростом/весом). А под большими моделями мы далее будем понимать такие, которые имеют очень большое количество параметров. В области ИИ их прямо так и называют – LLM, Large Language Models. Как мы увидим чуть дальше, «жирная» модель с множеством параметров – это залог успеха для генерации крутых текстов!
Кстати, если вы в этом месте уже недоумеваете, почему мы всё время говорим о «предсказании одного следующего слова», тогда как тот же ChatGPT бодро отвечает целыми портянками текста – то не ломайте зря голову. Языковые модели без всякого труда генерируют длинные тексты, но делают они это по принципу «слово за словом». По сути, после генерации каждого нового слова, модель просто заново прогоняет через себя весь предыдущий текст вместе с только что написанным дополнением – и выплевывает последующее слово уже с учетом него. В результате получается связный текст.
На самом деле, в наших уравнениях в качестве «игрека» языковые модели пытаются предсказать не столько конкретное следующее слово, сколько вероятности разных слов, которыми можно продолжить заданный текст. Зачем это нужно, почему нельзя всегда искать единственное, «самое правильное» слово для продолжения? Давайте разберем на примере небольшой игры.
Правила такие: вы притворяетесь языковой моделью, а я вам предлагаю продолжить текст «44-й президент США (и первый афроамериканец на этой должности) – это Барак ...». Подставьте слово, которое должно стоять вместо многоточия, и оцените вероятность, что оно там действительно окажется.
Ваш ход, маэстро!
Если вы сейчас сказали, что следующим словом должно идти «Обама» с вероятностью 100%, то поздравляю – вы ошиблись! И дело тут не в том, что существует какой-то другой мифический Барак: просто в официальных документах имя президента часто пишется в полной форме, с указанием его второго имени (middle name) – Хуссейн. Так что правильно натренированная языковая модель должна, по-хорошему, предсказать, что в нашем предложении «Обама» будет следующим словом только с вероятностью условно в 90%, а оставшиеся 10% выделить на случай продолжения текста «Хуссейном» (после которого последует Обама уже с вероятностью, близкой к 100%).
И тут мы с вами подходим к очень интересному аспекту языковых моделей: оказывается, им не чужда творческая жилка! По сути, при генерации каждого следующего слова, такие модели выбирают его «случайным» образом, как бы кидая кубик. Но не абы как – а так, чтобы вероятности «выпадения» разных слов примерно соответствовали тем вероятностям, которые подсказывают модели зашитые внутрь нее уравнения (выведенные при обучении модели на огромном массиве разных текстов).
Получается, что одна и та же модель даже на абсолютно одинаковые запросы может давать совершенно разные варианты ответа – прямо как живой человек. Вообще, ученые когда-то пытались заставить нейронки всегда выбирать в качестве продолжения «наиболее вероятное» следующее слово – что на первый взгляд звучит логично, но на практике такие модели почему-то работают хуже; а вот здоровый элемент случайности идет им строго на пользу (повышает вариативность и, в итоге, качество ответов).
Учитывая вышесказанное, не советую вам спорить с нейросетками, используя способность к творчеству как аргумент за превосходство человеческого разума – может выйти конфуз
Вообще, наш язык – это особая структура с (иногда) четкими наборами правил и исключений. Слова в предложениях не появляются из ниоткуда, они связаны друг с другом. Эти связи неплохо выучиваются человеком «в автоматическом режиме» – во время взросления и обучения в школе, через разговоры, чтение, и так далее. При этом для описания одного и того же события или факта люди придумывают множество способов в разных стилях, тонах и полутонах. Подход к языковой коммуникации у гопников в подворотне и, к примеру, у учеников младшей школы будет, скорее всего, совсем разным.
Всю эту вариативность описательности языка и должна в себя вместить хорошая модель. Чем точнее модель оценивает вероятности слов в зависимости от нюансов контекста (предшествующей части текста, описывающей ситуацию) – тем лучше она способна генерировать ответы, которые мы хотим от нее услышать.
ChatGPT показывает мастер-класс по вариативности: всегда приятно перетереть с понимающим кентом, который ровно объяснит, чё почём – увожение!
Краткое резюме: На текущий момент мы выяснили, что несложные языковые модели применяются в функциях «T9/автозаполнения» смартфонов с начала 2010-х; а сами эти модели представляют собой набор уравнений, натренированных на больших объемах данных предсказывать следующее слово в зависимости от поданного «на вход» исходного текста.
Давайте уже переходить от всяких дремучих T9 к более современным моделям: наделавший столько шума ChatGPT является наиболее свежим представителем семейства моделей GPT. Но чтобы понять, как ему удалось обрести столь необычные способности радовать людей своими ответами, нам придется сначала вернуться к истокам.
GPT расшифровывается как Generative Pre-trained Transformer, или «трансформер, обученный на генерацию текста». Трансформер – это название архитектуры нейросети, придуманной исследователями Google в далеком 2017 году (про «далекий» мы не оговорились: по меркам индустрии, прошедшие с тех пор шесть лет – это целая вечность).
Именно изобретение Трансформера оказалось столь значимым, что вообще все области искусственного интеллекта (ИИ) – от текстовых переводов и до обработки изображений, звука или видео – начали его активно адаптировать и применять. Индустрия ИИ буквально получила мощную встряску: перешла от так называемой «зимы ИИ» к бурному развитию, и смогла преодолеть застой.
Концептуально, Трансформер – это универсальный вычислительный механизм, который очень просто описать: он принимает на вход один набор последовательностей (данных) и выдает на выходе тоже набор последовательностей, но уже другой – преобразованный по некоему алгоритму. Так как текст, картинки и звук (да и вообще почти всё в этом мире) можно представить в виде последовательностей чисел – то с помощью Трансформера можно решать практически любые задачи.
Но главная фишка Трансформера заключается в его удобстве и гибкости: он состоит из простых модулей-блоков, которые очень легко масштабировать. Если старые, до-трансформерные языковые модели начинали кряхтеть и кашлять (требовать слишком много ресурсов), когда их пытались заставить «проглотить» быстро и много слов за раз, то нейросети-трансформеры справляются с этой задачей гораздо лучше.
Более ранним подходам приходилось обрабатывать входные данные по принципу «один за другим», то есть последовательно. Поэтому, когда модель работала с текстом длиной в одну страницу, то уже к середине третьего параграфа она забывала, что было в самом начале (прямо как люди с утра, до того как они «бахнув кофейку»). А вот могучие лапища Трансформера позволяют ему смотреть на ВСЁ одновременно – и это приводит к гораздо более впечатляющим результатам.
Внутрь T9 в вашем телефоне почти наверняка зашита модель попроще – так что попробуйте набрать эту строку там и сравнить результат (только уберите детей от экрана, на всякий случай)
Именно это позволило сделать прорыв в нейросетевой обработке текстов (в том числе их генерации). Теперь модель не забывает: она переиспользует то, что уже было написано ранее, лучше держит контекст, а самое главное – может строить связи типа «каждое слово с каждым» на весьма внушительных объемах данных.
Краткое резюме: GPT-1 появилась в 2018 году и доказала, что для генерации текстов нейросетью можно использовать архитектуру Трансформера, обладающую гораздо большей масштабируемостью и эффективностью. Это создало огромный задел на будущее по возможности наращивать объем и сложность языковых моделей.
Если вы хотите научить нейросетку для распознавания изображений отличать маленьких милых чихуабелей от маффинов с черничкой, то вы не можете просто сказать ей «вот ссылка на гигантский архив со 100500 фотографий пёсов и хлебобулочных изделий – разбирайся!». Нет, чтобы обучить модель, вам нужно обязательно сначала разметить тренировочный набор данных – то есть, подписать под каждой фоткой, является ли она пушистой или сладкой.
Игра «чихуабель или булка», уровень сложности – «Бог»
А знаете, чем прекрасно обучение языковых моделей? Тем, что им можно «скармливать» совершенно любые текстовые данные, и эти самые данные заблаговременно никак не надо специальным образом размечать. Это как если бы в школьника можно было просто бросать чемодан с самыми разными книгами, без какой-либо инструкции, что там и в каком порядке ему нужно выучить – а он бы сам в процессе чтения кумекал для себя какие-то хитрые выводы!
Если подумать, то это логично: мы же хотим научить языковую модель предсказывать следующее слово на основе информации о словах, которые идут перед ним? Ну дак совершенно любой текст, написанный человеком когда-либо, – это и есть уже готовый кусочек тренировочных данных. Ведь он уже и так состоит из огромного количества последовательностей вида «куча каких-то слов и предложений => следующее за ними слово».
А теперь давайте еще вспомним, что обкатанная на GPT-1 технология Трансформеров оказалась на редкость удачной в плане масштабирования: она умеет работать с большими объемами данных и «массивными» моделями (состоящими из огромного числа параметров) гораздо эффективнее своих предшественников. Вы думаете о том же, о чем и я? Ну вот и ученые из OpenAI в 2019 году сделали такой же вывод: «Пришло время пилить здоровенные языковые модели!»
В общем, было решено радикально прокачать GPT-2 по двум ключевым направлениям: набор тренировочных данных (датасет) и размер модели (количество параметров).
На тот момент не было каких-то специальных, больших и качественных, публичных наборов текстовых данных для тренировки языковых моделей – так что каждой команде специалистов по ИИ приходилось извращаться согласно их собственной степени испорченности. Вот ребята из OpenAI и решили поступить остроумно: они пошли на самый популярный англоязычный онлайн-форум Reddit и тупо выкачали все гиперссылки из всех сообщений, имевших более трех лайков (я сейчас не шучу – научный подход, ну!). Всего таких ссылок вышло порядка 8 миллионов, а скачанные из них тексты весили в совокупности 40 гигабайт.
Много это или мало? Давайте прикинем: собрание сочинений Уильяма Шекспира (всех его пьес, сонетов и стихов) состоит из 850'000 слов. В среднем на одной странице книги помещается около 300 английских слов – так что 2800 страниц чудесного, временами устаревшего английского текста за авторством величайшего англоязычного писателя займет в памяти компьютера примерно 5,5 мегабайт. Так вот: это в 7300 раз меньше, чем объем тренировочной выборки GPT-2... С учетом того, что люди в среднем читают по странице в минуту, даже если вы будете поглощать текст 24 часа в сутки без перерыва на еду и сон – вам потребуется почти 40 лет, чтобы догнать GPT-2 по эрудиции!
Весь Шекспир – 13 увесистых томов, которые занимают целую полку. Если вы прочитаете примерно вот столько книг семь тысяч раз подряд, то станете такими уже умными, как GPT-2 (но это не точно!)
Но одного объема тренировочных данных для получения крутой языковой модели недостаточно: ведь даже если посадить пятилетнего ребенка перечитывать всё собрание сочинений Шекспира вместе с лекциями по квантовой физике Фейнмана впридачу, то вряд ли он от этого станет сильно умнее. Так и тут: модель еще и сама по себе должна быть достаточно сложной и объемной, чтобы полноценно «проглотить» и «переварить» такой объем информации. А как измерить эту сложность модели, в чем она выражается?
Помните, мы чуть раньше говорили, что внутри языковых моделей (в супер-упрощенном приближении) живут уравнения вида Y = k*X + b, где искомый игрек – это следующее слово, вероятность которого мы пытаемся предсказать, а иксы – это слова на входе, на основе которых мы делаем это предсказание?
Так вот, как вы думаете: сколько было параметров в уравнении, описывающем самую большую модель GPT-2 в 2019 году? Может быть, сто тысяч, или пара миллионов? Ха, берите выше: таких параметров в формуле было аж полтора миллиарда (это вот столько: 1'500'000'000). Даже если просто записать такое количество чисел в файл и сохранить на компьютере, то он займет 6 гигабайт! С одной стороны, это сильно меньше, чем суммарный размер текстового массива данных, на котором мы тренировали модель (помните, который мы собирали по ссылкам с Reddit, на 40 Гб); с другой – модели ведь не нужно запоминать этот текст целиком, ей достаточно просто найти некие зависимости (паттерны, правила), которые можно вычленить из написанных людьми текстов.
Эти параметры (их еще называют «веса», или «коэффициенты») получаются во время тренировки модели, затем сохраняются, и больше не меняются. То есть, при использовании модели в это гигантское уравнение каждый раз подставляются разные иксы (слова в подаваемом на вход тексте), но сами параметры уравнения (числовые коэффициенты k при иксах) при этом остаются неизменны.
Думаю, если вам для каждого слова в разговоре пришлось бы решать по уравнению на полтора миллиарда параметров, то вы бы тоже стояли с примерно таким же лицом лица
Чем более сложное уравнение зашито внутрь модели (чем больше в нем параметров) – тем лучше модель предсказывает вероятности, и тем более правдоподобным будет генерируемый ей текст. И у этой самой большой на тот момент модели GPT-2 тексты внезапно стали получаться настолько хорошими, что исследователи из OpenAI даже побоялись публиковать модель в открытую из соображений безопасности. А ну как люди ринулись бы генерировать в промышленном масштабе реалистично выглядящие текстовые фейки, спам для соцсетей, и так далее?
Нет, серьезно – это был прямо существенный прорыв в качестве! Вы же помните: предыдущие модели T9/GPT-1 худо-бедно могли подсказать – собираетесь ли вы пойти в банк или в аптеку, а также угадать, что шоссейная Саша сосет сушки, а не что-то иное. А вот GPT-2 уже легко написала эссе от лица подростка с ответом на вопрос: «Какие фундаментальные экономические и политические изменения необходимы для эффективного реагирования на изменение климата?» (тут и иные взрослые прикурили бы от серьезности темы). Текст ответа был под псевдонимом направлен жюри соответствующего конкурса – и те не заметили никакого подвоха. Ну, окей, оценки этой работе поставили не сильно высокие и в финал она не прошла – но и «что за чушь вы нам отправили, постыдились бы!!» тоже никто не воскликнул.
«Эссе хорошо сформулировано и подкрепляет утверждения доказательствами, но идея не является оригинальной», – так один из кожаных мешков в жюри оценил работу нейросетки GPT-2.
К сожалению, на Пикабу жесткое ограничение по объему длиннопостов – поэтому целиком наш материал сюда не влезает. За бортом остались неотвеченными куча важных вопросов: Каким образом в нейросетях количество переходит в качество, и они обучаются навыкам, на которые их никто не натаскивал? Как сделать так, чтобы модель не зиговала и не оскорбляла кожаных мешков? И, наконец, как так вышло, что дичайший хайп вокруг ChatGPT стал сюрпризом даже для самих создателей чат-бота?
Если эти темы кажутся вам интересными, то продолжение статьи можно прочитать вот здесь. Всем спасибо за внимание и с нетерпением ждем ваши вопросы в комментариях!
В современном мире, который зависит от технологий, данные играют огромную роль. Количество данных, собираемых ежедневно, растет экспоненциально. Использование этих данных для принятия решений становится все более важным во всех индустриях, начиная от здравоохранения и заканчивая финансовой сферой.
Аналитики больших данных играют ключевую роль в обработке и анализе этих данных. Они используют различные инструменты, чтобы извлечь ценную информацию из больших объемов данных. Эта информация может помочь компаниям принимать эффективные решения, повысить эффективность бизнес-процессов и оптимизировать расходы.
Востребованность аналитиков больших данных растет со скоростью, с которой растет объем данных. Согласно исследованию, количество рабочих мест в области аналитики больших данных увеличилось на 56% с 2015 года. Этот рост прогнозируется и в будущем, так как все больше компаний осознают важность использования данных для улучшения своих бизнес-процессов.
Большие компании, такие как Amazon, Google и Facebook, уже активно используют аналитику больших данных для улучшения своих бизнес-процессов. Однако, не только крупные компании нуждаются в аналитиках больших данных. Малые и средние компании также используют эту технологию, чтобы улучшить свои бизнес-процессы.
Кроме того, аналитики больших данных могут работать в различных отраслях, включая медицину, финансы, розничную торговлю, государственный сектор и другие. Это означает, что спрос на аналитиков больших данных будет расти во многих секторах экономики, что открывает дополнительные возможности для тех, кто хочет заниматься этой областью.
Несмотря на то, что аналитика больших данных - это относительно новая область, она уже успела показать свой потенциал. Аналитики больших данных могут помочь компаниям сократить издержки, увеличить продажи и оптимизировать бизнес-процессы. Они могут также помочь улучшить качество жизни людей, работая в области здравоохранения, образования и других социальных сферах.
Для того, чтобы стать аналитиком больших данных, необходимо иметь знания в области статистики, математики и программирования. Кроме того, важно иметь опыт работы с различными инструментами для работы с данными, такими как SQL, Python, R и другие.
В заключении можно сказать, что востребованность аналитиков больших данных будет только расти в будущем. Данные становятся все более важными в бизнесе, и аналитика больших данных - это один из ключевых инструментов для работы с ними. Это отличная возможность для тех, кто хочет заниматься этой областью и получить высокооплачиваемую работу в перспективной индустрии.
Данная статья относится к Категориям Построение научных моделей и ⚙ Системный анализ
Лотфи Заде — американский математик и логик, один из основателей теории нечётких множеств и нечёткой логики
Опираясь на идеи «соотношения неопределённостей» Вернера Гейзенберга, Лотфи Заде предложил «принцип несовместимости»: высокая точность описания некоторой системы несовместима с её большой сложностью...
«Наш основной тезис заключается в том, что по своей сути обычные количественные методы анализа систем непригодны для гуманитарных систем и вообще любых систем, сравнимых по сложности с гуманитарными системами.
В основе этого тезиса лежит то, что можно было бы назвать принципом несовместимости. Суть этого принципа можно выразить примерно так: чем сложнее система, тем менее мы способны дать точные и в то же время имеющие практическое значение суждения о её поведении. Для систем, сложность которых превосходит некоторый пороговый уровень, точность и практический смысл становятся почти исключающими друг друга характеристиками...»
Лотфи Заде, Основы нового подхода к анализу сложных систем и процессов принятия решений. М.: «Знание», 1974 г. с. 7.
Если публикация Вас заинтересовала - поставьте лайк или напишите об этом комментарий внизу страницы.
Калугин К.С. Как современные цифровые разработки помогают предсказывать аварии? И помогают ли?
Ошибки при построении моделей — около 90 материалов по теме
см. термин Перенос ТРИЗ-инструментов в 🔖 Словаре проекта VIKENT. RU
+ Плейлист из 4-х видео: Методология | Критическое Мышление | Методы Науки
Идёт приём Ваших новых вопросов по более чем 400-м направлениям творческой деятельности – на онлайн-консультации третье воскресенье каждого месяца в 19:59 (мск). Это принципиально бесплатный формат.
Лотфи Заде — американский математик и логик, один из основателей теории нечётких множеств и нечёткой логики / CC BY-SA 4.0 & На фоне — Image by vector_corp on Freepik
Пиивет, футурологи Пикабу!
Моя любимая рубрика: задай гоупый вопрос- получи мудрый ответ снова с вами!
Читаю много новостей и понимаю: все не то и все не так. Поэтому и пришел за интересными каналами: телеграмм или ютюб или Вк, не принипиально.
Что ищу: будущее. То есть те подписки которые освещают технический прогресс отраслей которые могут стать флагманами развития: кибербез, ИИ, бигдата, биотех и тьма их.
Или есть какие профильные сайты или институты
Интересно в принципе все, но не сигнальщики по крипте и не политота.
Всех обнял.
С точки зрения биологии, человек — это существо вида Homo sapiens, обитающее на планете Земля. Как и у многих других представителей фауны, у людей имеются определенные внутривидовые общие черты, как физиологические, так и поведенческие: двуногие, двурукие, двуглазые, прямоходящие, мыслящие, и т.д. и т.п. При этом внутри нашего вида сильно развито то, что в других видах порой сложно заметить, а именно индивидуальность, которая также затрагивает и физиологию, и поведение. Рассматривая отличия, которые не требуют длительного диалога для их выявления, можно выделить внешность, голос, мимику и, конечно же, походку. Основа метода перемещения человека в пространстве одна для всех, но вот исполнение варьируется от индивида к индивиду. Я уверен, что многие из вас часто узнавали кого-то из родных или знакомых на улице по походке прежде, чем разглядеть лицо человека или как он одет. Ученые из университета Плимута (Великобритания) предложили интересную идею: если походка человека так индивидуальна, как и его лицо или отпечатки пальцев, то ее можно использовать для верификации его личности на смартфонах. Насколько сильны отличия между походками, как смартфоны собирали о них данные, и насколько безопасна система верификации на базе походки? Ответы на эти опросы мы найдем в докладе ученых. Поехали.
Основа исследования
Когда-то наличие стационарного телефона в доме считалось признаком роскоши или важного положения в обществе. Сейчас же эта технология стоит на грани вымирания (если говорить про нас, обычных пользователей). На ее место пришли мобильные телефоны, которые с годами трансформировались в смартфоны, больше напоминающие компьютеры в кармане нежели средство банальной голосовой связи.
На данный момент пользователями смартфонов являются примерно 6.378 миллиарда человек. Широкий спектр функционала смартфонов позволяют нам выполнять с их помощью множество действий, для которых ранее потребовалось бы несколько отдельных устройств. Мы можем передавать файлы, смотреть видео, общаться в текстовом/голосовом/видео формате, записывать аудио, делать снимки и т.д. Многие из приложений, присутствующих на современных смартфонах, работают с деликатной информацией пользователя, в частности с его личными данными, которые могут использоваться для проведения, к примеру, банковских операций. Логично, что такие данные необходимо хранить в секрете, а самому приложение при запуске необходимо удостовериться что тот, кто его запускает, является тем, кем он представляется. Другими словами, необходима верификация личности, т.е. аутентификация. Смартфоны также нуждаются в подтверждении личности пользователя, ибо в их памяти также имеется масса личной информации, не относящейся к какому-то определенному приложению.
Самым простым методом аутентификации, конечно же, является пароль. Человек вводит свой логин+пароль и получает доступ к устройству/приложению/сайту и т.д. Но этот метод сложно назвать «железобетонно» безопасным. Посему нет ничего удивительного, что с развитием технологий появилась возможность подтверждать личность, используя свои биологические индивидуальные особенности. И первыми стали отпечатки пальцев.
Пароли и отпечатки требуют непосредственного акта предоставления этой идентификационной информации устройству (пароль нужно ввести, а палец к кнопке приложить). К тому же безопасность все еще не на высоте, даже при использовании отпечатков.
Посему, дабы повысить безопасность и удобство пользования, были предложены так называемые TAS (transparent authentication schemes) методы аутентификации, т.е. прозрачные. Их также часто именуют активной аутентификацией или неявной аутентификацией. Примером этого метода является распознавание лиц. Вместо того, чтобы обеспечивать аутентификацию в точке входа (или запроса), эти методы сохраняют непрерывную уверенность в личности пользователя и используют эту, когда пользователь запрашивает доступ. Грубо говоря, пока вы смотрите на смартфон, он смотрит на вас и постоянно проверяет, вы ли это.
Однако для того, чтобы это метод был действительно непрерывным, важно чтобы TAS мог использовать ряд разных биометрических модальностей, поскольку пользователи могут предпринимать действия, в которых те или иные биометрические методы могут быть недоступны. К примеру, гипотетическая система, которая распознает вас по лицу, которое вы ему показали во время первой настройки этой функции. Насколько точно и непрерывно система будет работать дальше, если ваше выражение лица меняется постоянно?
Этот вопрос является основой многих исследований, которые пытаются понять, как изменчивость биометрических модальностей может влиять на верификацию личности. Одним из возможных вариантов решения этих проблем является метод аутентификации по распознаванию походки. Многие исследования в области психологии, медицины и биометрии показывают, что походка каждого человека уникальна («Smartphones and Biometrics: Gait and Activity Recognition»), и ее можно успешно использовать в качестве прозрачного метода для идентификации.
В настоящее время большинство смартфонов имеют встроенные датчики (например, акселерометр и гироскоп), которые можно использовать для записи информации о походке пользователя. Для аутентификации пользователю не нужно совершать каких-то явных действий, поскольку устройство постоянно получает верификационные данные, пока он идет, скажем, на работу или в супермаркет.
Ранее уже проводились исследования возможности использования мобильного устройства для распознавания походки («Inertial Sensor-Based Gait Recognition: A Review»). Однако, как отмечают ученые, все предыдущие исследования проводились в строго контролируемой среде (к примеру, ходьба по плоской поверхности в обычном темпе). А это разительно отличается от реальности, когда темп походки может варьироваться, как и рельеф местности.
Изображение №1: схема принятия решения относительно верификации пользователя по его походке.
Посему авторы рассматриваемого нами сегодня труда решили провести свои опыты, но уже в условиях реального мира. Данные о походках людей собирались в течение 7-10 дней с использованием реальных смартфонов и с участием людей, занимающихся своими повседневными делами.
Подготовка к опытам
Во время исследования были получены данные о движении как с гироскопа, так и с акселерометра. Гироскоп используется для поддержания исходного направления движения, определяя степень ориентации смартфона в направлениях x, y и z. На осевой сигнал влияет направление ориентации устройств. Акселерометр измеряет ускорение смартфона (м/с2) в направлениях x, y и z. Для записи данных от датчиков использовалось приложение AndroSensor (на базе Android).
Изображение №2: расположение смартфона на теле испытуемого в ходе экспериментов
Участники испытаний использовали Samsung Galaxy S6, занимаясь своими обычными делами, положив телефон в чехол на поясе (фото выше).
Ученые отмечают, что такое положение телефона не является универсальным для всех людей, однако для чистоты эксперимента и получения более точных данных было решено, что устройство будет в одном положении у всех испытуемых (по крайней мере в рамках этого исследования).
Сгенерированные данные собирались непрерывно с частотой 30–32 Гц для осей x, y и z как для датчиков акселерометра, так и для датчиков гироскопа. Участники в начале дня запускали приложение AndroSensor, собирающее данные, а в конце дня его отключали.
В сборе данных приняли участие 44 человека (23 мужчины и 21 женщина) в возрасте от 18 до 50 лет. Сбор данных для каждого пользователя длится от 7 до 10 дней.
Изображение №3: среднее время ходьбы в день для всех испытуемых (в минутах).
После обработки собранных данных было получено общее количество образцов каждой походки (таблица ниже), классифицированных с помощью модели идентификации активности.
Процентное распределение выявленных походок.
Используя модели идентификации активности, ученые определили наличие в общей сложности 174396 образцов, в среднем 3963 образца походки на испытуемого.
Анализ данных от гироскопа и акселерометра дали возможность выявить определенные характерные черты походок (304 уникальных черт), которые в дальнейшем применялись для определения походки того или иного испытуемого. Это можно сравнить с выявлением особенностей отпечатка пальца.
В ранних трудах было предложено сразу несколько вариантов классификаторов, необходимых для верного распределения уникальных черт между испытуемыми. В данном же исследовании ученые решили использовать метод многослойного перцептрона с прямой связью (FFMLP от feed-forward multilayered perceptron). Для каждого идентифицированного движения оценивались одиннадцать различных конфигураций нейронной сети FFMLP. Для каждой классификации один испытуемый играл роль авторизованного пользователя, а все остальные испытуемые были неавторизованными.
Результаты исследования
Первый набор результатов был направлен на изучение вектора характеристик и влияния на производительность. Как и ожидалось, чем больше характеристик походки (отличительных черт) использовалось, тем выше была производительность системы. Это верно в отношении всех трех видов походок: нормальной, быстрой и комбинированной.
Число конфигураций, выявленных в ходе наблюдений.
В ранее проведенных исследованиях с использованием контролируемых данных результаты продемонстрировали, что динамический вектор признаков от 10 до 160 обеспечивает наилучшую производительность классификации, тем самым обеспечивая высокую степень распознавания.
Средние значения коэффициента EER (равный уровень ошибок) для разных типов походки (нормальной, быстрой и комбинированной).
В большинстве случаев значения EER были достаточно низкими, что говорит о высокой точности системы распознавания походок.
Изображение №4
Были, конечно, и исключения: у испытуемого №30 в ходе наблюдений показатель EER ухудшился на 10% (EER 46.80%). Анализ его действий показал, что это связано с быстрой ходьбой, которой было больше. Однако, большая часть испытуемых показала EER менее 10%. А испытуемый №29 так и вообще показал невероятный результат в 1.94%. Двенадцать испытуемых показали значения EER менее 5%, а шестеро — более 20%.
Совокупность этих данных говорит о том, что метод верификации через походку вполне работоспособен. Те случаи, когда значения EER были на неудовлетворительном уровне, объяснялись либо частой сменой типа походки, либо частым использованием лестниц (что пока не учитывалось в исследовании).
Как уточняют авторы исследования, в схеме непрерывной аутентификации нет такой критически важной составляющей, как принятие решения по верификации на основании однократного ввода данных. Другими словами, в отличие от паролей (один образец), непрерывная аутентификация постоянно получает данные. Т.е. при достаточной частоте выборок можно принять окончательное решение на основе ряда выборок.
В качестве метода принятия решения был использован метод мажоритарного голосования*.
Таблица результатов мажоритарного голосования для всех наборов выборки всех видов походки.
Мажоритарное голосование* — для задачи классификации класс, предсказываемый каждой моделью, можно рассматривать как голос, а класс, который получает большинство голосов, является ответом модели ансамбля.
Сравнение с предыдущими работами, где анализировались данные, полученные в контролируемых условиях, показало, что работа системы распознавания в реальных условиях не уступает своим предшественникам в точности и производительности.
Для более детального ознакомления с нюансами исследования рекомендую заглянуть в доклад ученых.
Эпилог
В данном труде ученые решили проверить, можно ли распознавать людей по их походке, используя смартфон. Учитывая, что каждый из нас обладает своей уникальной походкой, неудивительно, что такое возможно. В ходе исходных данных использовались данные с акселерометра и гироскопа смартфонов, которые испытуемые носили с собой пока занимались своими обычными делами. Далее из этих данных были выделены отличительные особенности, позволяющие определять того или иного испытуемого.
Затем ученые провели испытание, входе которого лишь один испытуемый из выбранного числа был верифицированным пользователем. Система распознавания смогла успешно определить, кто именно из испытуемых имеет право доступа, используя при этом исключительно данные о походке. Средние значения EER (чем оно ниже, тем точнее распознавание) составили 11.38% для медленной ходьбы и 11.32% — для быстрой. Лишь при частом использовании лестниц эти значения возрастали до 24.52% (при подъеме) и 27.33% (при спуске). Этот аспект необходимо детальнее изучить в дальнейшем, говорят ученые, дабы повысить точность системы распознавания и расширить спектр анализируемых данных.
Авторы исследования заявляют, что распознавание походки является ненавязчивым, пассивным методом аутентификации, который не требует от пользователя каких-либо активных действий (ввода пароля, прикладывания пальца к сканеру и т.д.). Конечно, сам по себе метод сложно назвать идеальным и универсальным решением. Однако, в совокупности с другими инструментами непрерывной аутентификации он может стать частью комплексного метода, который будет совмещать в себе анализ различных биометрических данных, являющихся уникальными для каждого из нас, в отличие от классических паролей.
В будущем ученые намерены продолжить работу над своим детищем, поскольку необходимо проверить его работоспособность на разных устройствах, учесть множество ситуаций, когда походка человека может сильно меняться (к примеру, подъем/спуск по лестнице, вынужденное использование костылей и т.д.), а также оптимизировать число необходимых для успешного распознавания характерных черт.
Пока что подобного рода технологии находятся на начальном этапе развития, но это не значит, что они не имеют права на существование. Ведь когда-то и верификация по отпечатку пальца тоже была лишь идеей, сейчас же это обыденность.
Благодарю за внимание, оставайтесь любопытствующими и хорошей всем рабочей недели, ребята :)
