Few-shot learning позволяет модели распознавать и классифицировать новые изображения после того, как она была обучена на небольшом количестве обучающих примеров.
Зачем это придумали? Ведь модели обычно обучают на огромных количествах данных? Чем больше, тем лучше, так?
Да, но… Few-shot learning — это важный концепт в ML по нескольким причинам.
Во-первых, такой метод сокращает время, необходимое для разметки больших наборов данных.
Во-вторых, не нужно добавлять разные функции для разных задач, если мы используем один и тот же набор данных для создания разных примеров. И это, с одной стороны, круто, потому что обучение на небольшом количестве данных научит модели лучше распознавать объекты на основе их меньшего количества. Это означает, что модели становятся более универсальными, а не такими специализированными, как обычно.
С другой стороны, в бизнесе востребованы разные модели для разных отраслей, потому что это учитывает особенности рынка и потребности предприятий. Экспертиза в определенной сфере помогает сократить время на разработку моделей, которые уже соответствуют требованиям этой отрасли, и, следовательно, требуют меньше изменений.
Короче говоря, метод обучения зависит от целей.
Обучение на малых данных наиболее часто используется в computer vision, поскольку характер проблем CV требует либо больших объемов данных, либо гибкой модели.
А можно ли сделать модель, обученную на небольшом количестве данных, сделать гибче? И как?
Возможно, конечно, если придерживаться определенных стратегий. Можно добавить дополнительные слои или изменить число нейронов в слоях. Да, это увеличит её сложность модели, но также и улучшит ее способность к обобщению.
Есть ещё методы аугментации данных: повороты, масштабирование и отражение изображений. Они помогают увеличить разнообразие обучающего набора и сделать модель менее чувствительной к вариациям в данных.
Есть и другие. Техники адаптивного обучения, о которых мы уже рассказывали в рубрике #технокульт в этом материале. Правда, не в контексте обучения моделей, а RL-агентов, но суть не меняется. Другие варианты — это алгоритмы ансамбля: бэггинг, бустинг или стекинг… Обо всём этом — чуть позднее.
Смеётся тот, кто смеётся последний. Подавляющая часть общества искренне верит в то, что около-компьютерная работа из дома будет вечно высокооплачиваема.
Но нет. Слишком много людей хочет работать из дома и нажимать клавиши. Никто не хочет идти на стройку. В таких условиях ситуация профицита кадров - вопрос времени. А там, где профицит, где очередь из желающих - там власть работодателя.
Вот в этой статье примерно описано, как те же Java-программисты были искренне уверены в том, что их вечно будут носить на руках, а потом раз - и конец сказочке:
700 человек на одно место, на зарплату разносчика воды в Питере или курьера в Москве (только сначала нужно потратить несколько лет на обучение и стаж).
А всё почему? Потому, что все хотят тыкать по клавишам и не выходить в реальную жизнь. И армия желающих работать в таких условиях растёт год за годом.
В один прекрасный день работадатели поймут, что "домашним" работникам можно на 50% порезать зарплаты и они никуда не денутся - на стройку их не возьмут, в курьеры пойти ЧСВ не позволит, а такси с пьяным быдлом водить как-то сыкотно - можно и по лицу получить и прав лишиться.
И будет этот дурачок, кто вчера верил в свою исключительность, конкурировать с тысячами таких как он:
Поэтому сегодня для молодого человека лучший выбор направления в жизни - это РЕАЛЬНАЯ сфера деятельности. Реальная и профессиональная. Потому, что через пару лет армия домашних работников породит чудовищную толпу, которую работодатель будет иметь как хочет.
Здравствуйте, мне 30 лет. Хочу войти в эту сферу. Тут читал, что айтишники получают по 300-800к. Это правда? Расскажите, какие реальные зарплаты в it? Каков план действий должен быть? Время на учебу у меня есть. Буду благодарен любым советам.
Впервые о том, как будут развиваться технологии в будущем, заговорили ещё во 2 веке нашей эры. И этим человеком считается сирийско-греческий писатель Лукиан Самосатский, написавший роман “Правдивая история”. В романе были описаны путешествие в открытый космос на корабле и межпланетная война за колонизацию Утренней звезды (Венеры).
Вот и как тебе такое, Илон Маск?
И вот уже потом подхватили научную фантастику, как жанр, писатели Жюль Верн, Рэй Брэдбери, Дуглас Адамс и другие. Потом подключились и режиссеры: Дени Вильнев, Ридли Скотт, Джей-Джей Абрамс… Перечислять имена других создателей и восхищаться их произведениями можно долго.
Вот и сегодня мы вспомним, появление каких из современных технологий писатели, режиссеры, исследователи предсказывали чаще всего и что из этого сбылось.
Умный Дом
Как представляли раньше:
Как выглядит сейчас:
В 1980-х годах люди начали говорить о том, что дом может стать "умным" — то есть использовать компьютеры и технологии для автоматизации задач и управления. Один из первых концептов умного дома был представлен в статье Джима Систэнда в журнале "Компьютеры и графика" в 1984 году. На тот момент идея осталась просто концепцией, потому что нужные технологии ещё не были разработаны.
С появлением интернета вещей (IoT) и развитием беспроводных технологий, умные дома стали реальностью в 21 веке. Теперь умный дом — это дом, который использует сенсоры, умные устройства и интернет для автоматизации и контроля. Вы можете управлять освещением, температурой, безопасностью и другими системами в вашем доме с помощью смартфона или голосовых команд.
Такие системы обеспечивают комфорт, безопасность и разумное энергопотребление в доме, делая жизнь более удобной и качественной. Сегодня умные дома становятся всё более доступными и распространёнными, и мы видим, как они интегрируются в повседневную жизнь людей по всему миру.
Летающие автомобили
Как представляли раньше:
Как выглядит сейчас:
Идея создания авто, способных летать, была представлена в научной фантастике ещё в середине 20 века. С развитием технологий авиации и электромобилей в наше время стали разрабатываться прототипы летающих автомобилей, хотя коммерческое использование этой технологии пока остается ограниченным.
Первый прототип летающего автомобиля был разработан компанией "Terrafugia", основанной в 2006 году американским инженером Карлом Дайкстра. Их модель под названием Transition была представлена в 2009 году и была первым автомобилем, способным превращаться из автомобиля в самолёт и обратно. Этот прототип предназначался для личного использования и имел возможность взлетать и приземляться на небольших аэродромах.
Сейчас китайская компания X-Peng Motors готовит к выходу новую модель электромобиля — стильный спорткар, который сможет не только ездить по дорогам, но и летать в воздухе. Предполагаемая стоимость составит около 1 миллиона юаней, что в пересчете по текущему курсу составляет примерно 11,1 миллиона рублей.
3D-принтеры
Как представляли раньше:
Как выглядит сейчас:
История 3D-принтеров началась в 1980-х годах. Одним из первых пионеров в этой области была компания 3D Systems, основанная Чаком Халлом. Они создали первый коммерчески доступный 3D-принтер под названием "Аппарат для производства трехмерных объектов методом стереолитографии" (SLA) в 1986 году. Затем в 1992 году компания Stratasys выпустила первый прототип фьюзорной депозиционной моделировочной (FDM) технологии 3D-печати.
Сейчас 3D-принтеры применяются везде: прототипирование, производство, медицина, архитектура и даже космическая индустрия! Они позволяют создавать сложные детали, индивидуальные изделия и прототипы быстро и сравнительно недорого.
Технология 3D-печати продолжает развиваться, и с каждым годом появляются новые материалы, методы и применения, что делает ее одной из наиболее захватывающих и перспективных областей в мире инженерии и дизайна.
Нейросети и Машинное Обучение
Как представляли раньше:
Как выглядит сейчас:
Истоки нейросетей и технологий ML восходят к 1943 году, когда Уоррен Маккаллок и Уолтер Питтс представили модель искусственного нейрона, которая послужила основой для развития нейронных сетей. В 1957 году Фрэнк Розенблатт создал перцептрон, одну из первых моделей нейронной сети, способную обучаться на основе обратной связи.
Сегодня нейросети и ML находятся в центре внимания в IT-индустрии. С развитием вычислительных мощностей и больших объемов данных они стали доступны для решения широкого спектра задач: от распознавания образов и обработки естественного языка до управления автономными системами и принятия решений в реальном времени. ML-инженеры, специализирующиеся на разработке и применении алгоритмов машинного обучения, в настоящее время являются одними из самых востребованных специалистов в IT-сфере. Их работа позволяет создавать инновационные продукты и решения, которые изменят нашу жизнь и бизнес-процессы в любой отрасли.
Virtual Reality (VR)
Как представляли раньше:
Как выглядит сейчас:
Идея виртуальной реальности (VR) зародилась еще в середине 20 века. Разработки были, но самого термина не существовало. Наиболее значительный вклад в ее развитие внес Джарон Ланье в начале 1980-х годов. Он создал термин "виртуальная реальность" и разработал первые системы виртуальной реальности, такие как манипулятор DataGlove и первый коммерческий VR-шлем EyePhone. Эти устройства позволяли пользователям взаимодействовать с виртуальным миром через сенсорные и визуальные интерфейсы.
Сегодня VR-технология является актуальной благодаря своему потенциалу в различных областях. В играх это открывает новые возможности для иммерсивного гейминга и виртуального туризма. В образовании VR может быть использована для создания интерактивных учебных сред, позволяющих студентам исследовать сложные концепции в более увлекательной форме. В медицине — для тренировки хирургов, реабилитации пациентов и даже лечения фобий.
Также VR используется в архитектуре, дизайне, военной симуляции и многих других областях. Перспективы развития связаны с улучшением технологий визуализации, созданием более доступных и удобных устройств виртуальной реальности, а также расширением ее применения в новые сферы, где она может значительно улучшить опыт человека.
AI-дроны
Как представляли раньше:
Как выглядит сейчас:
Идея дронов с искусственным интеллектом присутствовала в научной фантастике и концепциях инженерии уже давно. Хотя 100 лет назад конкретно о такой технологии, как AI-дроны, не говорили, но в истории аэрокосмической индустрии существовали предпосылки для развития этой идеи. К примеру, в работах пионеров авиации, таких как Никола Тесла и Леонардо да Винчи, можно найти прототипы беспилотных летательных аппаратов.
Зато сейчас ИИ-дроны становятся все более актуальными и развитыми. Искусственный интеллект позволяет дронам принимать решения на основе анализа данных с датчиков и камер, обучаться на ходу, улучшать свою производительность и даже взаимодействовать с окружающей средой и другими дронами. Это делает их более автономными и эффективными в выполнении различных задач, таких как доставка грузов, наблюдение и патрулирование, аэрофотосъемка и даже поиск и спасение людей.
Роботы-хирурги
Как представляли раньше:
Как выглядит сейчас:
Идея использования роботов в хирургии впервые пришла в начале 20-го века, когда были разработаны первые прототипы медицинских роботов. Но их реальное внедрение началось лишь в конце 20-го — начале 21-го века благодаря совершенствованию технологий робототехники и искусственного интеллекта.
Один из первых успешных примеров роботизированной хирургии — это система Da Vinci, разработанная компанией Intuitive Surgical в начале 2000-х годов.
В 2024 году NASA планирует отправить робота-хирурга MIRA на МКС. MIRA — робот для внутренних операций, созданный в Virtual Incision совместно с Университетом Небраски. Под руководством профессора Фарритора его разрабатывали более 20 лет. В 2023 году он использовался при операции на толстой кишке через один разрез.
В ходе предстоящего полёта на орбиту инженеры хотят изучить особенности работы машины в условиях невесомости. В перспективе — через 50 или 100 лет — роботы вроде MIRA должны войти в стандартную комплектацию космического корабля на тот случай, если, к примеру, у одного из членов экипажа начнётся аппендицит.
Нейрокомпьютерные интерфейсы
Как представляли раньше:
Как выглядит сейчас:
В научной фантастике часто рассказывали о технологиях, позволяющих управлять компьютером только силой мысли. Сегодня такие интерфейсы уже существуют и используются, в основном, в медицине и исследованиях.
В 2024 году Neuralink впервые вживила в мозг человека специальное устройство, позволяющее управлять компьютером с помощью мыслей. Операция прошла успешна, ведь на данный момент первый испытуемый чувствует себя отлично, играя в игры действительно силой мысли.
В ходе исследования Neuralink применяет робота, который хирургическим путем вводит устройство интерфейса "мозг-компьютер" в участок мозга, ответственный за движения.
Домашние роботы
Как представляли раньше:
Как выглядит сейчас:
В 1960-е годы в фильмах можно было увидеть различные идеи роботов и автоматизации, но роботы-помощники в домашнем хозяйстве не были столь распространены. Некоторые фильмы того времени, такие как "Метрополис" (1927) Фрица Ланга или "Запретная планета" (1956) Фреда М. Уилкокса, изображали роботов. Правда, в ином контексте: они выполняли другие функции, не связанные с помощью в бытовых делах.
Первым коммерчески доступным роботом-помощником по дому был Unimate, созданный компанией Unimation в 1961 году. Этот робот был предназначен для выполнения задач на производстве, таких как поднятие и перемещение тяжелых предметов. Он не был таким, как современные роботы-помощники по дому, но его появление заложило основу для развития этой технологии в дальнейшем.
Кластеризация относится к задаче разделения набора данных на группы (кластеры) таким образом, чтобы объекты внутри одного кластера были более похожи друг на друга, чем на объекты из других кластеров.
Кластер содержит набор схожих элементов, которые нужно раскидать по группам в процессе последующего анализа. Зачастую кластерный анализ проводится в тех случаях, когда мы уверены, что все элементы можно как-то сгруппировать. Но предварительно не знаем, по каким признакам это можно сделать.
Мы открываем космос, а не заранее предписываем, как должны выглядеть звезды или галактики.
В отличие от классификации, в кластеризации метки классов не предоставляются, и алгоритмы кластеризации должны самостоятельно определить структуру данных. Главная цель кластеризации — выделить скрытые структуры в данных. Алгоритмы кластеризации идут под методы "k-средних", иерархической кластеризация, DBSCAN ну и так далее.
А вот классификация — задача прогнозирования меток классов для новых экземпляров данных на основе обучающего набора, в котором каждый экземпляр данных имеет уже известную метку класса. Короче говоря, нужно проводить предварительную разметку, распределить все данные по классам.
Задача “классификации” — найти функцию, которая отображает входные данные в заданные классы. Алгоритмы классификации строятся с использованием маркированных данных. Мы уже знаем, по каким признакам будем делить объекты в данных.
Итого:
В классификации имеются явно определенные метки классов для каждого обучающего примера, в то время как в кластеризации метки классов отсутствуют.
Цель классификации — предсказать класс нового экземпляра данных, тогда как цель кластеризации — выделить группы схожих объектов без предварительно определенных классов.
В классификации используются методы обучения с учителем, тот же метод опорных векторов, в то время как в кластеризации применяются методы обучения без учителя.
Звучит страшно. Мульти, модальное, так еще и программирование. Технически, такой подход в ML включает в себя разработку приложений с поддержкой нескольких модальностей ввода и вывода: аудио, видео, текст и даже голоса — все эти данные объединяются и прогоняются через алгоритмы машинного обучения.
Хорошим примером тут может послужить CLIP, которая соотносит изображение и подпись к ней, ее продвинутый аналог VQGAN, квантованная генеративная адвесариальная сеть, которая создает изображения.
Работая вместе, VQGAN генерирует изображение, а CLIP выступает как ранжировщик, оценивая насколько хорошо изображение подходит тексту. Тот же Siri от Apple, Google Assistant и Amazon Alexa — примеры мультимодальных ИИ, так как им приходится взаимодействовать и с голосом пользователя, и его текстовыми запросами. В E-commerce может стоять классификатор продуктов, учитывающий и их названия, и внешний вид.
Очевидно, что у мультимодальных нейросетей много применений — это могут быть все нейросети, где задействуется два и более типа данных. Мы также нашли датасет CMU-MOSEI с аудио и видео тысячи спикеров на ютубе.
Но Microsoft, Apple, OpenAI и другие компании все равно остаются на стороне одномодальных моделей, ведь зачастую невозможно выделить адекватное представление аудио через текст, а также провести адекватное совместное обучение из-за проблем перевода данных из одной модели в другую, например, как в случае перевода обработанной информации с компьютерной томографии и МРТ.
В обучении обычно применяются два типа по времени слияния данных: раннее и позднее. В первом случае данные объединяются задолго до этапа принятия решения нейронкой и обучаются вместе, во втором — слияние проходит только в самом конце, а дополнительные нейронки обучаются на датасетах независимо.