Ответ на пост «Новый плагин Code Interpreter в ChatGPT-4!Примеры и сборник промптов»
Как же это все-таки напоминает общение с джуном.
Как же это все-таки напоминает общение с джуном.
Интерпретатор позволяет запускать код Python прямо в боте, что дает возможность загружать и анализировать файлы и генерировать таблицы, графики, редактировать фото
Анализ больших данных, в том числе и финансовых
Визуализация данных (графики, гистограммы)
Конвертация файлов
Анализ и улучшение кода
Обработка изображений и видео
Список промптов для Code Interpreter в pdf можно скачать здесь
Для примера я скачала с Kaggle Полный ассортимент продукции Farfetch и с помощью интерпретатора кода узнала какой самый ходовой товар, был ли он на скидке и тд. Так же, я скачала инфу о стоимости акций Microsoft с 1986 по 2023 годы, извлекла данные, построила графики и позадавала вопросы по файлу. Из данных попросила написать пост в телеграмм - и он успешно справился.
Так же, я обработала фото и сделала надпись на фото прямо в ChatGPT. Более того, я попросила создать QR- код для моего телеграмм канала.
У меня не получилось: загрузить файл pdf и перевести его сразу на русский язык, не получилось прочитать вордовский документ и не получилось сделать из моего видео GIF
Databricks, ведущая облачная платформа по работе с большими данными и применению ИИ, выпустили крайне интересный репорт, посвященный трендам индустрии, опросив 9000+ своих клиентов.
Каждая страница наполнена суперполезной инфой, ниже подсвечу лишь самые важные мысли:
1. Компании распробовали ИИ — количество клиентов, использующих те самые LLM модели по генерации текста на запрос, выросло аж в 14 раз всего лишь за 6 месяцев с запуска chatGPT
2. Основным применением LLM моделей стало создание кастомных чатботов для внутренних нужд компаний, а также автоматизации общения с клиентами
3. Модели тренировать в разы быстрее и эффективнее на собственных датасетах и кастомных LLM моделях компаний, нежели обращаться через API к GPT-4 (OpenAI), который грешит обобщением и непониманием специфики конкретного случая
4. Решения на основе открытого исходного кода сегодня в фаворе — 8 из 10 самых популярных продуктов по работе с данными и ИИ открыты всему миру. Самыми быстро растущими среди клиентов Databricks стали решения по интеграции и трасформации данных — dbt (+206% г/г), Fivetran (+181% г/г), Informatica (+174% г/г) и Qlik (+152% г/г)
5. Организации все больше отдают предпочтение единой платформе lakehouse от Databricks, где можно консолидировать все разнородные потоки данных и сразу использовать как для нужд BI аналитики, так и ML. Компании переносят свои массивы (более 50%) из хранилищ данных, заточенных исключительно под SQL бизнес аналитику, в универсальный lakehouse
Продвинутая аналитика (ИИ) становится сегодня доступной реальностью для все более широкого круга компаний, хотя еще несколько лет назад считалась исключительной привилегией бигтеха.
ИИ — один из главных драйверов технологического прогресса, однако победителями 2020-х будут только те компании, которые сумеют полностью выстроить инфраструктуру данных с применением кастомных LLM моделей на основе открытого исходного кода.
Databricks же поможет в ИИ трансформации каждой организации, от мала до велика.
🤘 Следить за выходом новых материалов приглашаю Вас в тг канал Венчурная Прожарка. Подписывайтесь и делитесь с друзьями, а пока что до скорого!
Интересно, все эти достойные люди задумываются о том, что они участвуют в массовом деаноне и сборе кем-то базы данных.
Не удивлюсь, если к каким-то портретам удастся найти почту и телефон, чтобы потом дурить очередную "биометрию" от сбербанка, например
Я несколько связан с разработкой всякого нагруженного. И вот что я скзажу. Кроме игнора платформы есть ее один (полтора) вектор атаки.
И даже не вектор атаки а то как вас увидят - это создание необычной нагрузки.
Те все вот эти "плюсуем все подряд - пусть охуевает система ранжирования", "почтим кучу фоток - пусть охуеет файлопомойка" итд - они довольно сильно бьют в карман овнера. В среднем даже больше чем игнор рекламы.
В последнее время нам почти каждый день рассказывают в новостях, какие очередные вершины покорили языковые нейросетки, и почему они уже через месяц совершенно точно оставят лично вас без работы. При этом мало кто понимает – а как вообще нейросети вроде ChatGPT работают внутри? Так вот, устраивайтесь поудобнее: в этой статье мы наконец объясним всё так, чтобы понял даже шестилетний гуманитарий!
OpenAI (компанию, сделавшую ChatGPT) основали в 2015 году именно вот эти двое парнишек – кто бы тогда знал, во что это в итоге выльется...
На всякий случай сразу оговоримся: у этой статьи два автора. За всю техническую часть (и за всё хорошее в статье) отвечал Игорь Котенков – широко известный чувак в узких кругах русскоязычной тусовки специалистов по искусственному интеллекту, а также автор канала Сиолошная про машинное обучение, космос и технологии. За мольбы «вот тут непонятно, давай как-нибудь попроще!» и за добавление кринжовых неуместных мемов был ответственен Павел Комаровский – автор канала RationalAnswer про рациональный подход к жизни и финансам.
Собственно, статья так и родилась: Павел пришел к Игорю и возмутился – дескать, «почему никто еще не написал на русском нормальную статью про ChatGPT, объясняющую понятно даже для моей бабушки, как всё вот это нейроколдунство работает?». Так что заранее приносим свои извинения всем хардкорным технарям: при подготовке этого текста мы стремились к максимальному упрощению. Нашей задачей было – дать читателям общее понимание принципов работы языковых нейросетей на уровне концепций и аналогий, а не разобрать до последнего винтика все глубокие технические нюансы процесса.
В общем, наливайте себе кружечку горячего чая и устраивайтесь поудобнее – сейчас мы вам расскажем всё про то, что там крутится под капотом у языковых моделей, каким образом эти покемоны эволюционировали до текущих (местами поразительных) способностей, и почему взрывная популярность чат-бота ChatGPT стала полным сюрпризом даже для его создателей. Поехали!
Начнем с простого. Чтобы разобраться в том, что такое ChatGPT с технической точки зрения, надо сначала понять, чем он точно не является. Это не «Бог из машины», не разумное существо, не аналог школьника (по уровню интеллекта и умению решать задачи), не джинн, и даже не обретший дар речи Тамагочи. Приготовьтесь услышать страшную правду: на самом деле, ChatGPT – это Т9 из вашего телефона, но на бычьих стероидах! Да, это так: ученые называют обе этих технологии «языковыми моделями» (Language Models); а всё, что они по сути делают, – это угадывают, какое следующее слово должно идти за уже имеющимся текстом.
Ну, точнее, в совсем олдовых телефонах из конца 90-х (вроде культовой неубиваемой Nokia 3210) оригинальная технология Т9 лишь ускоряла набор на кнопочных телефонах за счет угадывания текущего вводимого, а не следующего слова. Но технология развивалась, и к эпохе смартфонов начала 2010-х она уже могла учитывать контекст (предыдущее слово), ставить пунктуацию и предлагать на выбор слова, которые могли бы идти следующими. Вот именно об аналогии с такой «продвинутой» версией T9/автозамены и идет речь.
Кого ни разу не подставляла автозамена на телефоне – пусть первый бросит в меня камень
Итак, и Т9 на клавиатуре смартфона, и ChatGPT обучены решать до безумия простую задачу: предсказание единственного следующего слова. Это и есть языковое моделирование – когда по некоторому уже имеющемуся тексту делается вывод о том, что должно быть написано дальше. Чтобы иметь возможность делать такие предсказания, языковым моделям под капотом приходится оперировать вероятностями возникновения тех или иных слов для продолжения. Ведь, скорее всего, вы были бы недовольны, если бы автозаполнение в телефоне просто подкидывало вам абсолютно случайные слова с одинаковой вероятностью.
Представим для наглядности, что вам прилетает сообщение от приятеля: «Чё, го седня куда нить?». Вы начинаете печатать в ответ: «Да не, у меня уже дела(( я иду в...», и вот тут подключается Т9. Если он предложит вам закончить предложение полностью рандомным словом, типа «я иду в капибару» – то для такой белиберды, если честно, никакая хитрая языковая модель особо и не нужна. Реальные же модели автозаполнения в смартфонах подсказывают гораздо более уместные слова (можете сами проверить прямо сейчас).
Мой Samsung Galaxy предлагает такие варианты. Сразу видно типичного айтишника: получил зарплату, прокутил – и сразу в аптеку, лечиться!
Так, а как конкретно Т9 понимает, какие слова будут следовать за уже набранным текстом с большей вероятностью, а какие предлагать точно не стоит? Для ответа на этот вопрос нам придется погрузиться в базовые принципы работы самых простейших нейросеток.
Давайте начнем с еще более простого вопроса: а как вообще предсказывать зависимости одних вещей от других? Предположим, мы хотим научить компьютер предсказывать вес человека в зависимости от его роста – как подойти к этой задаче?
Здравый смысл подсказывает, что надо сначала собрать данные, на которых мы будем искать интересующие нас зависимости (для простоты ограничимся одним полом – возьмем статистику по росту/весу для нескольких тысяч мужчин), а потом попробуем «натренировать» некую математическую модель на поиск закономерности внутри этих данных.
Для наглядности сначала нарисуем весь наш массив данных на графике: по горизонтальной оси X будем откладывать рост в сантиметрах, а по вертикальной оси Y – вес.
Судя по нашим прикидкам, мужики в выборке попались в среднем ну такие – довольно упитанные (или сплошь качки на массе, тут сразу не разберешь)
Даже невооруженным взглядом видна определенная зависимость: высокие мужики, как правило, больше весят (спасибо, кэп!). И эту зависимость довольно просто выразить в виде обычного линейного уравнения Y = k*X + b, знакомого нам всем с пятого класса школы. На картинке нужная нам линия уже проведена с помощью модели линейной регрессии – по сути, она позволяет подобрать коэффициенты уравнения k и b таким образом, чтобы получившаяся линия оптимально описывала ключевую зависимость в нашем наборе данных (можете для интереса подставить свой рост в сантиметрах вместо X в уравнение на картинке и проверить, насколько точно наша модель угадает ваш вес).
Вы тут уже наверняка хотите воскликнуть: «Окей, с ростом/весом и так интуитивно всё было понятно, только причем тут вообще языковые нейросети?» А притом, что нейросети – это и есть набор примерно тех же самых уравнений, только куда более сложных и использующих матрицы (но не будем сейчас об этом).
Можно упрощенно сказать, что те же самые T9 или ChatGPT – это всего лишь хитрым образом подобранные уравнения, которые пытаются предсказать следующее слово (игрек) в зависимости от набора подаваемых на вход модели предыдущих слов (иксов). Основная задача при тренировке языковой модели на наборе данных – подобрать такие коэффициенты при этих иксах, чтобы они действительно отражали какую-то зависимость (как в нашем примере с ростом/весом). А под большими моделями мы далее будем понимать такие, которые имеют очень большое количество параметров. В области ИИ их прямо так и называют – LLM, Large Language Models. Как мы увидим чуть дальше, «жирная» модель с множеством параметров – это залог успеха для генерации крутых текстов!
Кстати, если вы в этом месте уже недоумеваете, почему мы всё время говорим о «предсказании одного следующего слова», тогда как тот же ChatGPT бодро отвечает целыми портянками текста – то не ломайте зря голову. Языковые модели без всякого труда генерируют длинные тексты, но делают они это по принципу «слово за словом». По сути, после генерации каждого нового слова, модель просто заново прогоняет через себя весь предыдущий текст вместе с только что написанным дополнением – и выплевывает последующее слово уже с учетом него. В результате получается связный текст.
На самом деле, в наших уравнениях в качестве «игрека» языковые модели пытаются предсказать не столько конкретное следующее слово, сколько вероятности разных слов, которыми можно продолжить заданный текст. Зачем это нужно, почему нельзя всегда искать единственное, «самое правильное» слово для продолжения? Давайте разберем на примере небольшой игры.
Правила такие: вы притворяетесь языковой моделью, а я вам предлагаю продолжить текст «44-й президент США (и первый афроамериканец на этой должности) – это Барак ...». Подставьте слово, которое должно стоять вместо многоточия, и оцените вероятность, что оно там действительно окажется.
Ваш ход, маэстро!
Если вы сейчас сказали, что следующим словом должно идти «Обама» с вероятностью 100%, то поздравляю – вы ошиблись! И дело тут не в том, что существует какой-то другой мифический Барак: просто в официальных документах имя президента часто пишется в полной форме, с указанием его второго имени (middle name) – Хуссейн. Так что правильно натренированная языковая модель должна, по-хорошему, предсказать, что в нашем предложении «Обама» будет следующим словом только с вероятностью условно в 90%, а оставшиеся 10% выделить на случай продолжения текста «Хуссейном» (после которого последует Обама уже с вероятностью, близкой к 100%).
И тут мы с вами подходим к очень интересному аспекту языковых моделей: оказывается, им не чужда творческая жилка! По сути, при генерации каждого следующего слова, такие модели выбирают его «случайным» образом, как бы кидая кубик. Но не абы как – а так, чтобы вероятности «выпадения» разных слов примерно соответствовали тем вероятностям, которые подсказывают модели зашитые внутрь нее уравнения (выведенные при обучении модели на огромном массиве разных текстов).
Получается, что одна и та же модель даже на абсолютно одинаковые запросы может давать совершенно разные варианты ответа – прямо как живой человек. Вообще, ученые когда-то пытались заставить нейронки всегда выбирать в качестве продолжения «наиболее вероятное» следующее слово – что на первый взгляд звучит логично, но на практике такие модели почему-то работают хуже; а вот здоровый элемент случайности идет им строго на пользу (повышает вариативность и, в итоге, качество ответов).
Учитывая вышесказанное, не советую вам спорить с нейросетками, используя способность к творчеству как аргумент за превосходство человеческого разума – может выйти конфуз
Вообще, наш язык – это особая структура с (иногда) четкими наборами правил и исключений. Слова в предложениях не появляются из ниоткуда, они связаны друг с другом. Эти связи неплохо выучиваются человеком «в автоматическом режиме» – во время взросления и обучения в школе, через разговоры, чтение, и так далее. При этом для описания одного и того же события или факта люди придумывают множество способов в разных стилях, тонах и полутонах. Подход к языковой коммуникации у гопников в подворотне и, к примеру, у учеников младшей школы будет, скорее всего, совсем разным.
Всю эту вариативность описательности языка и должна в себя вместить хорошая модель. Чем точнее модель оценивает вероятности слов в зависимости от нюансов контекста (предшествующей части текста, описывающей ситуацию) – тем лучше она способна генерировать ответы, которые мы хотим от нее услышать.
ChatGPT показывает мастер-класс по вариативности: всегда приятно перетереть с понимающим кентом, который ровно объяснит, чё почём – увожение!
Краткое резюме: На текущий момент мы выяснили, что несложные языковые модели применяются в функциях «T9/автозаполнения» смартфонов с начала 2010-х; а сами эти модели представляют собой набор уравнений, натренированных на больших объемах данных предсказывать следующее слово в зависимости от поданного «на вход» исходного текста.
Давайте уже переходить от всяких дремучих T9 к более современным моделям: наделавший столько шума ChatGPT является наиболее свежим представителем семейства моделей GPT. Но чтобы понять, как ему удалось обрести столь необычные способности радовать людей своими ответами, нам придется сначала вернуться к истокам.
GPT расшифровывается как Generative Pre-trained Transformer, или «трансформер, обученный на генерацию текста». Трансформер – это название архитектуры нейросети, придуманной исследователями Google в далеком 2017 году (про «далекий» мы не оговорились: по меркам индустрии, прошедшие с тех пор шесть лет – это целая вечность).
Именно изобретение Трансформера оказалось столь значимым, что вообще все области искусственного интеллекта (ИИ) – от текстовых переводов и до обработки изображений, звука или видео – начали его активно адаптировать и применять. Индустрия ИИ буквально получила мощную встряску: перешла от так называемой «зимы ИИ» к бурному развитию, и смогла преодолеть застой.
Концептуально, Трансформер – это универсальный вычислительный механизм, который очень просто описать: он принимает на вход один набор последовательностей (данных) и выдает на выходе тоже набор последовательностей, но уже другой – преобразованный по некоему алгоритму. Так как текст, картинки и звук (да и вообще почти всё в этом мире) можно представить в виде последовательностей чисел – то с помощью Трансформера можно решать практически любые задачи.
Но главная фишка Трансформера заключается в его удобстве и гибкости: он состоит из простых модулей-блоков, которые очень легко масштабировать. Если старые, до-трансформерные языковые модели начинали кряхтеть и кашлять (требовать слишком много ресурсов), когда их пытались заставить «проглотить» быстро и много слов за раз, то нейросети-трансформеры справляются с этой задачей гораздо лучше.
Более ранним подходам приходилось обрабатывать входные данные по принципу «один за другим», то есть последовательно. Поэтому, когда модель работала с текстом длиной в одну страницу, то уже к середине третьего параграфа она забывала, что было в самом начале (прямо как люди с утра, до того как они «бахнув кофейку»). А вот могучие лапища Трансформера позволяют ему смотреть на ВСЁ одновременно – и это приводит к гораздо более впечатляющим результатам.
Внутрь T9 в вашем телефоне почти наверняка зашита модель попроще – так что попробуйте набрать эту строку там и сравнить результат (только уберите детей от экрана, на всякий случай)
Именно это позволило сделать прорыв в нейросетевой обработке текстов (в том числе их генерации). Теперь модель не забывает: она переиспользует то, что уже было написано ранее, лучше держит контекст, а самое главное – может строить связи типа «каждое слово с каждым» на весьма внушительных объемах данных.
Краткое резюме: GPT-1 появилась в 2018 году и доказала, что для генерации текстов нейросетью можно использовать архитектуру Трансформера, обладающую гораздо большей масштабируемостью и эффективностью. Это создало огромный задел на будущее по возможности наращивать объем и сложность языковых моделей.
Если вы хотите научить нейросетку для распознавания изображений отличать маленьких милых чихуабелей от маффинов с черничкой, то вы не можете просто сказать ей «вот ссылка на гигантский архив со 100500 фотографий пёсов и хлебобулочных изделий – разбирайся!». Нет, чтобы обучить модель, вам нужно обязательно сначала разметить тренировочный набор данных – то есть, подписать под каждой фоткой, является ли она пушистой или сладкой.
Игра «чихуабель или булка», уровень сложности – «Бог»
А знаете, чем прекрасно обучение языковых моделей? Тем, что им можно «скармливать» совершенно любые текстовые данные, и эти самые данные заблаговременно никак не надо специальным образом размечать. Это как если бы в школьника можно было просто бросать чемодан с самыми разными книгами, без какой-либо инструкции, что там и в каком порядке ему нужно выучить – а он бы сам в процессе чтения кумекал для себя какие-то хитрые выводы!
Если подумать, то это логично: мы же хотим научить языковую модель предсказывать следующее слово на основе информации о словах, которые идут перед ним? Ну дак совершенно любой текст, написанный человеком когда-либо, – это и есть уже готовый кусочек тренировочных данных. Ведь он уже и так состоит из огромного количества последовательностей вида «куча каких-то слов и предложений => следующее за ними слово».
А теперь давайте еще вспомним, что обкатанная на GPT-1 технология Трансформеров оказалась на редкость удачной в плане масштабирования: она умеет работать с большими объемами данных и «массивными» моделями (состоящими из огромного числа параметров) гораздо эффективнее своих предшественников. Вы думаете о том же, о чем и я? Ну вот и ученые из OpenAI в 2019 году сделали такой же вывод: «Пришло время пилить здоровенные языковые модели!»
В общем, было решено радикально прокачать GPT-2 по двум ключевым направлениям: набор тренировочных данных (датасет) и размер модели (количество параметров).
На тот момент не было каких-то специальных, больших и качественных, публичных наборов текстовых данных для тренировки языковых моделей – так что каждой команде специалистов по ИИ приходилось извращаться согласно их собственной степени испорченности. Вот ребята из OpenAI и решили поступить остроумно: они пошли на самый популярный англоязычный онлайн-форум Reddit и тупо выкачали все гиперссылки из всех сообщений, имевших более трех лайков (я сейчас не шучу – научный подход, ну!). Всего таких ссылок вышло порядка 8 миллионов, а скачанные из них тексты весили в совокупности 40 гигабайт.
Много это или мало? Давайте прикинем: собрание сочинений Уильяма Шекспира (всех его пьес, сонетов и стихов) состоит из 850'000 слов. В среднем на одной странице книги помещается около 300 английских слов – так что 2800 страниц чудесного, временами устаревшего английского текста за авторством величайшего англоязычного писателя займет в памяти компьютера примерно 5,5 мегабайт. Так вот: это в 7300 раз меньше, чем объем тренировочной выборки GPT-2... С учетом того, что люди в среднем читают по странице в минуту, даже если вы будете поглощать текст 24 часа в сутки без перерыва на еду и сон – вам потребуется почти 40 лет, чтобы догнать GPT-2 по эрудиции!
Весь Шекспир – 13 увесистых томов, которые занимают целую полку. Если вы прочитаете примерно вот столько книг семь тысяч раз подряд, то станете такими уже умными, как GPT-2 (но это не точно!)
Но одного объема тренировочных данных для получения крутой языковой модели недостаточно: ведь даже если посадить пятилетнего ребенка перечитывать всё собрание сочинений Шекспира вместе с лекциями по квантовой физике Фейнмана впридачу, то вряд ли он от этого станет сильно умнее. Так и тут: модель еще и сама по себе должна быть достаточно сложной и объемной, чтобы полноценно «проглотить» и «переварить» такой объем информации. А как измерить эту сложность модели, в чем она выражается?
Помните, мы чуть раньше говорили, что внутри языковых моделей (в супер-упрощенном приближении) живут уравнения вида Y = k*X + b, где искомый игрек – это следующее слово, вероятность которого мы пытаемся предсказать, а иксы – это слова на входе, на основе которых мы делаем это предсказание?
Так вот, как вы думаете: сколько было параметров в уравнении, описывающем самую большую модель GPT-2 в 2019 году? Может быть, сто тысяч, или пара миллионов? Ха, берите выше: таких параметров в формуле было аж полтора миллиарда (это вот столько: 1'500'000'000). Даже если просто записать такое количество чисел в файл и сохранить на компьютере, то он займет 6 гигабайт! С одной стороны, это сильно меньше, чем суммарный размер текстового массива данных, на котором мы тренировали модель (помните, который мы собирали по ссылкам с Reddit, на 40 Гб); с другой – модели ведь не нужно запоминать этот текст целиком, ей достаточно просто найти некие зависимости (паттерны, правила), которые можно вычленить из написанных людьми текстов.
Эти параметры (их еще называют «веса», или «коэффициенты») получаются во время тренировки модели, затем сохраняются, и больше не меняются. То есть, при использовании модели в это гигантское уравнение каждый раз подставляются разные иксы (слова в подаваемом на вход тексте), но сами параметры уравнения (числовые коэффициенты k при иксах) при этом остаются неизменны.
Думаю, если вам для каждого слова в разговоре пришлось бы решать по уравнению на полтора миллиарда параметров, то вы бы тоже стояли с примерно таким же лицом лица
Чем более сложное уравнение зашито внутрь модели (чем больше в нем параметров) – тем лучше модель предсказывает вероятности, и тем более правдоподобным будет генерируемый ей текст. И у этой самой большой на тот момент модели GPT-2 тексты внезапно стали получаться настолько хорошими, что исследователи из OpenAI даже побоялись публиковать модель в открытую из соображений безопасности. А ну как люди ринулись бы генерировать в промышленном масштабе реалистично выглядящие текстовые фейки, спам для соцсетей, и так далее?
Нет, серьезно – это был прямо существенный прорыв в качестве! Вы же помните: предыдущие модели T9/GPT-1 худо-бедно могли подсказать – собираетесь ли вы пойти в банк или в аптеку, а также угадать, что шоссейная Саша сосет сушки, а не что-то иное. А вот GPT-2 уже легко написала эссе от лица подростка с ответом на вопрос: «Какие фундаментальные экономические и политические изменения необходимы для эффективного реагирования на изменение климата?» (тут и иные взрослые прикурили бы от серьезности темы). Текст ответа был под псевдонимом направлен жюри соответствующего конкурса – и те не заметили никакого подвоха. Ну, окей, оценки этой работе поставили не сильно высокие и в финал она не прошла – но и «что за чушь вы нам отправили, постыдились бы!!» тоже никто не воскликнул.
«Эссе хорошо сформулировано и подкрепляет утверждения доказательствами, но идея не является оригинальной», – так один из кожаных мешков в жюри оценил работу нейросетки GPT-2.
К сожалению, на Пикабу жесткое ограничение по объему длиннопостов – поэтому целиком наш материал сюда не влезает. За бортом остались неотвеченными куча важных вопросов: Каким образом в нейросетях количество переходит в качество, и они обучаются навыкам, на которые их никто не натаскивал? Как сделать так, чтобы модель не зиговала и не оскорбляла кожаных мешков? И, наконец, как так вышло, что дичайший хайп вокруг ChatGPT стал сюрпризом даже для самих создателей чат-бота?
Если эти темы кажутся вам интересными, то продолжение статьи можно прочитать вот здесь. Всем спасибо за внимание и с нетерпением ждем ваши вопросы в комментариях!
В современном мире, который зависит от технологий, данные играют огромную роль. Количество данных, собираемых ежедневно, растет экспоненциально. Использование этих данных для принятия решений становится все более важным во всех индустриях, начиная от здравоохранения и заканчивая финансовой сферой.
Аналитики больших данных играют ключевую роль в обработке и анализе этих данных. Они используют различные инструменты, чтобы извлечь ценную информацию из больших объемов данных. Эта информация может помочь компаниям принимать эффективные решения, повысить эффективность бизнес-процессов и оптимизировать расходы.
Востребованность аналитиков больших данных растет со скоростью, с которой растет объем данных. Согласно исследованию, количество рабочих мест в области аналитики больших данных увеличилось на 56% с 2015 года. Этот рост прогнозируется и в будущем, так как все больше компаний осознают важность использования данных для улучшения своих бизнес-процессов.
Большие компании, такие как Amazon, Google и Facebook, уже активно используют аналитику больших данных для улучшения своих бизнес-процессов. Однако, не только крупные компании нуждаются в аналитиках больших данных. Малые и средние компании также используют эту технологию, чтобы улучшить свои бизнес-процессы.
Кроме того, аналитики больших данных могут работать в различных отраслях, включая медицину, финансы, розничную торговлю, государственный сектор и другие. Это означает, что спрос на аналитиков больших данных будет расти во многих секторах экономики, что открывает дополнительные возможности для тех, кто хочет заниматься этой областью.
Несмотря на то, что аналитика больших данных - это относительно новая область, она уже успела показать свой потенциал. Аналитики больших данных могут помочь компаниям сократить издержки, увеличить продажи и оптимизировать бизнес-процессы. Они могут также помочь улучшить качество жизни людей, работая в области здравоохранения, образования и других социальных сферах.
Для того, чтобы стать аналитиком больших данных, необходимо иметь знания в области статистики, математики и программирования. Кроме того, важно иметь опыт работы с различными инструментами для работы с данными, такими как SQL, Python, R и другие.
В заключении можно сказать, что востребованность аналитиков больших данных будет только расти в будущем. Данные становятся все более важными в бизнесе, и аналитика больших данных - это один из ключевых инструментов для работы с ними. Это отличная возможность для тех, кто хочет заниматься этой областью и получить высокооплачиваемую работу в перспективной индустрии.
Такую задачу поставил Little.Bit пикабушникам. И на его призыв откликнулись PILOTMISHA, MorGott и Lei Radna. Поэтому теперь вы знаете, как сделать игру, скрафтить косплей, написать историю и посадить самолет. А если еще не знаете, то смотрите и учитесь.
Данная статья относится к Категориям Построение научных моделей и ⚙ Системный анализ
Лотфи Заде — американский математик и логик, один из основателей теории нечётких множеств и нечёткой логики
Опираясь на идеи «соотношения неопределённостей» Вернера Гейзенберга, Лотфи Заде предложил «принцип несовместимости»: высокая точность описания некоторой системы несовместима с её большой сложностью...
«Наш основной тезис заключается в том, что по своей сути обычные количественные методы анализа систем непригодны для гуманитарных систем и вообще любых систем, сравнимых по сложности с гуманитарными системами.
В основе этого тезиса лежит то, что можно было бы назвать принципом несовместимости. Суть этого принципа можно выразить примерно так: чем сложнее система, тем менее мы способны дать точные и в то же время имеющие практическое значение суждения о её поведении. Для систем, сложность которых превосходит некоторый пороговый уровень, точность и практический смысл становятся почти исключающими друг друга характеристиками...»
Лотфи Заде, Основы нового подхода к анализу сложных систем и процессов принятия решений. М.: «Знание», 1974 г. с. 7.
Если публикация Вас заинтересовала - поставьте лайк или напишите об этом комментарий внизу страницы.
Калугин К.С. Как современные цифровые разработки помогают предсказывать аварии? И помогают ли?
Ошибки при построении моделей — около 90 материалов по теме
см. термин Перенос ТРИЗ-инструментов в 🔖 Словаре проекта VIKENT. RU
+ Плейлист из 4-х видео: Методология | Критическое Мышление | Методы Науки
Идёт приём Ваших новых вопросов по более чем 400-м направлениям творческой деятельности – на онлайн-консультации третье воскресенье каждого месяца в 19:59 (мск). Это принципиально бесплатный формат.
Лотфи Заде — американский математик и логик, один из основателей теории нечётких множеств и нечёткой логики / CC BY-SA 4.0 & На фоне — Image by vector_corp on Freepik