Ранее отмечал, что стала доступна новая ИИ от Китайских товарищей (называется Qwen2, ссылку приводил ранее - код открыт). Мы ее попробовали в деле, на наших серверах и картах. Вот, что пишет могучий спец в ИИ наш:
"Я запустил на выходных ту модель с большим контекстом. Давал на вход 90 тысяч токенов, не жаловались. На счёт тестирования на сколько умная не знаю, до этого руки ещё не дошли. Но саммаризация и выжимка фактов более менее все уже должны справляться, а я про работу с json"
Главное модель работает с русским языком нормально и на наших картах (3060) тоже функционирует. Ключевое - контекстное окно 90 000 токенов - позволяет запулить в ИИ под 200 000 символов на русском языке. Вы же понимаете, насколько это иногда важно?
Берем книгу по ... токарному мастерству и шлем в ИИ текст с неким запросом. Насколько я представляю, это очень ценно для RAG систем (умных чат-ботов на основе ИИ, если упрощенно говорить).
Второй эпизод «сериала» про ИИ-стартапы. Поговорили, как создать стартап на технологии превращения аудио или видео файлов в текст: как собрать сильную команду, привлечь инвестора на стадии MVP, найти клиентов и получить грант от государства.
Сегодня мы вместе раскроем секреты рынка искусственного интеллекта, который применяется для расшифровки аудио и видео-файлов в текст.
⚡Получите конспекты всех интервью и доступ к чату с гостями в базе знаний спец-сезона – startupsecrets.ru/ai
Разобраться в теме со всех сторон я позвал трех основателей, которые уже успели на троих получить 12 млн рублей грантами от государства и привлечь 4,5 млн рублей инвестициями от ангелов:
Федор Жилкин – со-основатель, технический и генеральный директор проекта mymeet.ai, ИИ-ассистента для онлайн-встреч, который позволяет транскрибировать звонки, делать их краткую выжимку и быстро назначать задачи присутствующим. Команда недавно привлекла свой первый раунд в 3 млн рублей.
Ася Семенова – основательница проекта ViSaver, который позволяет мгновенно искать информацию внутри видео файлов по текстовому запросу. Команда на старте получила 1,5 млн рублей от частного инвестора и еще 2 млн рублей в виде грантов от ФСИ.
Виктория Кондрашук – основательница стартапа «Сибирские нейросети», компании-разработчика open source системы для анализа интервью. Стартап получил 10 млн рублей от ФСИ на свою разработку.
С момента, как студенты и ученики начали писать доклады и научные работы при помощи чата GPT, стало очевидно, что программирование и нейросети уже вошли в мир образования, и несмотря на многочисленные голоса против внедрения такой практики, прогресс остановить нельзя. Его нужно направить в полезное русло. Давайте вместе разберемся, как это можно сделать.
Как нам настроить систему образования
Программирование и нейросети давно и много используют в приоритетных отраслях экономики в России, включая здравоохранение, финансы, транспорт, сельское хозяйство и пр.
медицинские учреждения вводят в свою работу системы диагностики заболеваний с использованием искусственного интеллекта — например, нейросети анализируют изображения для выявления рака на ранних стадиях;
финансовые алгоритмы прогнозируют курсы валют и ценных бумаг;
рабочие системы управляют транспортным потоком с использованием данных о движении и планировании маршрутов;
в сельском хозяйстве дроны используют для мониторинга состояния посевов и других задач.
Используя нейросети и программирование, специалисты решают рабочие задачи быстрее, эффективнее и точнее. Например, автоматизируют рутинные процессы, снижают риск ошибки и экономят время для творческих задач, которые до сих пор лучше даются живым командам. Система образования не исключение, а значит, мы должны настраивать её так, чтобы она отражала и поддерживала ценности и потребности нашего общества:
мы ценим время — быстро ищем и обрабатываем информацию из нескольких источников;
мы ценим личное пространство — отдаем предпочтение онлайн-обучению на платформах для дистанционной работы;
мы ценим личностные особенности — скачиваем образовательные приложения и инструменты для персонализации учебного процесса.
Программирование
Прежде чем продолжить погружение в тему программирования, давайте убедимся, что одинаково пониманием предмет разговора. В нашем представлении программирование — это процесс создания и написания специальных пошаговых инструкций для компьютера, чтобы он сделал в точности то, что мы от него требуем (а не хотим). Такая грамотно написанная инструкция позволяет перераспределить колоссальный объем работы между представителями системы образования и компьютером.
Благодаря программам и алгоритмам автоматизируется решение сложных структурных задач, педагоги начинают более качественно управлять учебным процессом, создавать новые образовательные продукты и услуги. Так, например, центр искусственного интеллекта НИУ ВШЭ использует нейросетевые алгоритмы анализа динамики эмоционального состояния и вовлеченности учеников на основе данных видеонаблюдения. Проще говоря, по видео можно посмотреть, какая часть лекции была интересной большему количеству учащихся, а какая клонила людей в сон и нагоняла тоску.
Работа с нейросетью оптимизирует «бумажную работу», помогая выдавать необходимое количество требуемых типовых документов в нужный срок и анализировать эти же стопки цифровых бумаг, вычленяя самую суть. А при должном желании и развитии базовых навыков программирования какие-то задачи и вовсе не потребуют участия человека больше одного раза: например, регулярный парсинг результатов работы за месяц из открытых источников и сборка в отчет могут происходить по нажатию кнопки после единоразовой настройки. А в жизни человека, не знакомого с нейросетями, на это могут уходить целые дни.
Ежегодно возрастающая информационная нагрузка
Министерство цифрового развития в прошлом году сообщило о росте интернет трафика в России в 11 раз в сравнении с 2012 годом, подкрепив также эти данные показателем доступности интернета в 88% и почти 106 миллионами активных пользователей социальных сетей, которые ежедневно потребляют и генерируют контент. А экранное время многих пользователей стабильно перешагивает за несколько часов в день. Все эти часы представляют собой около 34 гигабайт информации каждый день, которые наш мозг должен обработать и усвоить. Это огромное количество данных включает в себя все, что мы видим, слышим, читаем и чувствуем в течение дня.
Если у кого-то есть возможность сократить это время, то с учащимися ситуация выглядит иначе: значительную часть этого объема занимает образовательный контент — лекции, курсы, уроки, доклады, курсовые работы, что еще больше увеличивает информационную нагрузку, и нет возможности ее уменьшить. Очевидно, что мозгу нужна помощь. Особенно детскому. И в этой ситуации нейросети готовы взять на себя эту роль.
Как нейросеть помогает учить детей
Пик совершенства нейросети — это способность программы думать, понимать и принимать решения, почти как человек. Для детей они могут стать доступным помощниками, которые еще раз объяснят или «разжуют» материал.
Отчасти это одна из причин, почему в рамках федерального проекта «Искусственный интеллект» Правительство РФ поощряет изучение ИИ на всех уровнях образования, включая программы среднего, высшего и дополнительного образования. Для учеников старших классов доступна Всероссийская олимпиада по искусственному интеллекту, где участники могут попробовать свои силы в поиске нестандартного применения и разработки новых интеллектуальных алгоритмов и инструментов обработки больших данных. На платформе «Сириус.Курсы» разработан «Навигатор по искусственному интеллекту» с серией онлайн-программ и курсов для погружения в мир нейросети.
С помощью нейросети создаются персонализированные образовательные программы.
Обращаясь к нейросетям, учителя мгновенно получают сутевую выжимку из больших объемов незнакомых данных, за секунды обрабатывают результаты нескольких классов, разрабатывают черновые сценарии уроков или индивидуальных учебных планов. За этим стоит возможность удерживать в образовательном фокусе больше детей, учитывать их особенности и договариваться с родителями, снижая общий уровень напряжения от школы.
Кроме того, использование нейросетей позволяет автоматизировать проведение тестов, оценку результатов, планирование учебного процесса. Это снижает нагрузку на педагогов и упрощает им работу, освобождая время для направленной работы с учащимися. Так в Москве запустили цифровую образовательную платформу «Московская электронная школа», которая внедряет искусственный интеллект для анализа данных обучения и оптимизации учебных планов, а также построения индивидуальных образовательных траекторий.
Таким образом, программирование и использование искусственного интеллекта в системе образования могут не только значительно улучшить качество обучения, но и (что особенно важно!) сделать его более доступным и эффективным для учащихся. Подобные современные технологии и инновации помогают сформировать новое поколение образованных и компетентных специалистов, готовых к профессиональным вызовам современного мира.
Буквально неделю назад вышла открытая нейросеть- модель именно заточенная под программирование ( поддерживает 60 языков). В этом видео на 2 минуты буквально показываю как банально устанавливается ( но нужен мощный компьютер, от 16GB оперативка как на основном процессоре, так и на графическом) Отвечает пока на английском, хотя и все правильно, но понимает запросы ( задачи для программирования) на русском. Чудеса, иначе не сказать. В интернете эта же сеть https://chat.mistral.ai/chat отвечает и на русском. Может на русском тоже пойму потом как сделать, но пока не понял. С другой стороны для начинающих программистов английский полезно изучать:) Установка через эту программу https://lmstudio.ai/ и дальше грузится модель и всё.. по сути в два клика, не надо мучаться с пайтоном, вчера полдня пробовал по инструкции сделать, то одних библиотек не хватает, то других. Инструкция для пайтонистов вот тут https://huggingface.co/mistralai/Codestral-22B-v0.1
Для тех, кто адски ленив и невнимателен, и не хочет 2 минуты видео смотреть, посмотрите на последнюю ссылку, и выбирайте Codestral последний размером 15GB или 22GB, в видео это видно.
UPD:
На эту тему конечно разгорелись почти что жаркие споры в комментариях, но я то думал довольно очевидно, что если человек использует нейросеть для программирования он какие-то элементарные основы знает: что такое хостинг, ftp хотя бы на бейсике или турбо паскале в школе институте программировал ( как я). Поэтому да, если вы совсем с нуля- то нужно какие-то основы получить, тогда может быть будет смысл для простых программ. У меня уровень крайне простой, программировать не умею, но основы знаю, поэтому например смог обновить на своих сайтах картинки, предварительно спарсив их из источника оригиналов и совместив артикулы, воспользовавшись определенным форматом экселя.. Звучит страшно и непонятно? Если да, то как бы не очень будет вам полезно.. Но научиться я думаю можно быстрей с помощью нейросетей. И плюс ошибаются они, некоторые программки я с 7й попытки писал, то есть делает- ошибка..я ей говорю- ошибка, она такая- исправляю..и так далее. Так что делайте выводы.
И кстати, был невнимателен, по ссылке в тексте где эта нейросеть запускается на сайте- по умолчанию стоит общая сеть, поэтому и отвечает на русском. Очень быстро. Если же там поставить Codestral ( посмотрите внимательно)- также по английски будет отвечать. Так что все как и было задумано:-) Ах да, пришлось просить исправить скрипт на php написанный Codestral - потому что он начал тупить, хоть по кругу.. Copilot все исправил и всё заработало. Так что гибкость и хитрость тоже нужна. Всем успехов!
Своим опытом укрощения ИИ поделился Алексей Мартынов, программный директор Яндекс Практикума. Он рассказал, какие нейросети пригодятся разработчику и для чего. А еще на реальном кейсе показал, как их использовать, и дал советы новичкам.
Какие нейросети я рекомендую для работы программисту
Github Copilot
Для чего пригодится: ИИ-копилот позволяет быстро разрабатывать и находить проблемы в коде, повышая производительность опытных разработчиков в разы.
Вместе с редактором WebStorm выводит скорость написания кода на новый уровень. Но, конечно, при правильном применении. Новичкам в разработке, вероятно, будет мешать. Но если вы знаете, что вам нужно получить, подготовите контекст и запросите генерацию, то получите строго необходимый результат.
По сравнению с Amazon Whispers эта нейросеть работает несравнимо лучше. Сейчас JetBrains еще предлагает собственный AI-помощник в редакторе, но пока мало успел им попользоваться и не составил точного мнения. Хотя теоретически он должен работать лучше.
ChatGPT-4o
Для чего пригодится: GPT в новой версии отлично справляется с анализом графических изображений, неплохо переводит UML-диаграммы в код. Или, например, может выполнять несложную верстку по изображению.
Чат и до этого был неплохим помощником при проверке кода, генерации болванок и сниппетов. Но теперь, с расширенным контекстом и лучшим распознаванием изображений, обрел много новых вариантов применения.
Автоматизировать работу также поможет YandexGPT. Нейросеть ответит на вопросы по коду, объяснит работу алгоритмов и структуры данных.
Google TensorFlow
Для чего пригодится: это и все остальные решения требуют уже гораздо более глубокого погружения, но меняют сам подход к работе с кодом. Теперь программы — это набор действий, а их порядок может определяться моделями машинного обучения.
Google TensorFlow — это не только про анализ данных, но в том числе и отличное средство для формирования обучаемых программных систем на стыке обычного кода и машинного обучения. Очень производительное API, достаточно удобно встраиваемое в код.
Если вы только начинаете свой путь в разработке, но очень хотите попробовать нейросети в деле, перед этим пройдите наш бесплатный курс по основам программирования, чтобы лучше понимать код. А потом при желании можете освоить бесплатные курсы с базой по Python-разработке и Go.
Насколько нейросети экономят разработчику время
Работать в нейросети в виде чата — самый неудобный способ. Но если использовать API и предоставлять соответствующий контекст для заготовленных и отработанных запросов, то рабочую среду можно автоматизировать очень и очень сильно.
Мало того, в GPT, например, можно создавать агенты, которые могут даже исполнять произвольные действия. Аналогично используя API, можно реализовать и у себя на компьютере или сервере и использовать в повседневной работе. Такое применение устраняет большую часть рутины и может экономить до 60–70% времени, позволяя сконцентрироваться на важных задачах.
А теперь давайте разберем работу с ИИ на конкретном кейсе
Примеров применения нейросетей в программировании много, но мало какой кейс влезет в короткий текст, так как ежедневно используется в больших проектах. Из небольшого — это, например, быстрое прототипирование онлайн-сервиса для обрезки изображений в качестве учебного примера. Использовались Github Copilot и ChatGPT-4o.
```copilot
generate open api swagger defenition for photo crop service with following routes:
— post request for files upload return id for each file
— get request with id parameter for download image preview
— post request for croping array of prevoiously uploaded files by id and crop settings, return task id
— get request for downloading zip archive by task id
```
Генерация промежуточных типов, конфигов, описаний API и прочего значительно улучшает последующие результаты, но их нужно отсматривать и корректировать. После этого можно подготовить и настроить проектную директорию для бекэнда и сгенерировать сервер.
```
With open api defenition in api.yaml file generate routes realisation for express server using multer for file handling. Use unique identifiers for uploaded file names based on uuid package.
```
Причесываем код, устраняем ошибки. При генерации их всегда хватает, но можно скормить его GPT и попросить найти ошибки или предложить улучшения и т. д. Почему не в копилот? Чтобы не загрязнять его контекст, да и непосредственно с анализом и доработкой GPT справляется лучше, а у Copilot генерация первичная на лучшем уровне благодаря проектному контексту.
Подготавливаем заготовку фронта на реакт и генерируем основные компоненты.
Для загрузки:
```
Generate typescript react component for drag and drop uploading single file to the server using this api. Component should have a setFile(fileID) prop callback called when file uploaded and pass file id to them.
```
Для кроп зоны:
```
Generate typescript react component and corresponding styles for display and edit crop zone for uploaded image. Component should accept in props imageUrl, onChange and value for crop zone editing.
```
Вуаля, осталось собрать все это вместе, исправить ошибки и т. д.
Советы программистам, которые хотят освоить нейросети для работы
Не полагайтесь на код который выдает нейросеть, чтобы работать с ним вы должны знать его значительно лучше чем она и работать с ним очень внимательно. Запросы формируйте максимально конкретно: указывайте детали, дополнительный контекст, ограничения и пр.
Используйте нейросети для быстрого прототипирования какого-то решения, после чего его можно декомпозировать уже более детально и прописать требования и ограничения для каждой части. А уже с этими требованиями сгенерировать более годный код.
Не пускайте код от нейросети в прод: в нем изобилуют уязвимости, разного рода ошибки и не самые оптимальные решения. Но это хорошая болванка, чтобы не забивать кучу лишнего.
Не пытайтесь сгенерировать сразу все :) Чем меньшими шагами вы движетесь, тем лучше результат получаете.
Если вы начинающий разработчик, не генерируйте код. Лучше отправлять его части на проверку в нейросеть — вот это будет полезно.
Для тех, кто хочет войти в мир программирования, но пока сомневается, мы приготовили бесплатный тест на профориентацию. Его разработали методисты МГУ и Яндекс Практикума: он проанализирует ваши навыки, опыт и предложит подходящие специальности.
А наши бесплатные курсы помогут узнать о разных профессиях в IT, попробовать себя в них и определиться с направлением.
Первый эпизод «сериала» про ИИ-стартапы. Поговорили, какие сложности есть у российских стартапов в области нейросетей в 2024 году, где искать идеи для новых ИТ-бизнесов и в какие ИИ-стартапы вкладываются инвесторы.
Сегодня мы вместе раскроем секреты рынка искусственного интеллекта: найдем перспективные ниши для новых продуктов и нащупаем ограничения таких бизнесов, основанных на нейросетях.
Слушайте трейлер первого тематического сезона «Стартап-секретов» и готовьтесь к выходу первого эпизода.
Весь этот месяц я провожу по три интервью в неделю, чтобы создать самую подробную картину жизни стартапов на нейросетях. Какие деньги зарабатывают. Какие проблемы испытывают. Где находят финансирование.
Я отошел от стандартного формата 1 выпуск = 1 гость. Теперь за 1,5 часа можно услышать истории трех основателей в одной нише, но с разными продуктами, успехами и трудностями.
Вас ждут 30 интервью, собранных в 10 тематических выпусков с основателями стартапов из всех областей: от транскрибаторов и генераторов картинок до медицинских стартапов с ИИ.
Как вы понимаете, это сложнее, но и более информативно.
А еще я превращаю полные интервью и невошедшие в подкаст материалы в конспекты, на основе которых создаю базу знаний по ИИ-стартапам. Ранний доступ к ней можно получить на сайте подкаста.
Поддерживает спец-сезон Yandex Cloud, за что им большое спасибо!
Надеюсь, вы оцените мой труд и примените эти знания для ваших проектов 🌚