5

Ответ на пост «Локальную нейросеть запустили на смартфоне. Она не только разговаривает, но и работает как ИИ-агент»

Устано́вка и за́пуск искин TranslateGemma 4B на Android че́рез Termux, Ubuntu и Ollama на Mi 11 Ultra с 12+3 гб ОЗУ.

Официальная страница Termux в F-Droid рекомендует устанавливать приложение через клиент F-Droid.

1. Устано́вка Termux

* Откро́йте официа́льный са́йт F-Droid в бра́узере устро́йства. Адре́с официа́льного са́йта F-Dróid: https://f-droid.org/.

* Официа́льная страни́ца Termux находи́тся в репозито́рии F-Droid.

* Найди́те приложе́ние Termux и устано́ви́те его́ че́рез клие́нт F-Droid.

* Е́сли F-Droid ещё не устано́влен, снача́ла устано́ви́те официа́льный клие́нт F-Droid.

* Не устано́ви́те Termux из Google Play, е́сли ва́ша цель — испо́льзовать актуа́льную ве́рсию Termux и PRoot-Distro.

2. Пе́рвый за́пуск Termux

* Откро́йте устано́вленное приложе́ние Termux.

* Дожди́тесь заве́ршения пе́рвоначальной подгото́вки сре́ды.

* Введи́те ко́манду для́ обно́вления репозито́риев:

pkg update

* Введи́те ко́манду для́ обно́вления устано́вленных паке́тов:

pkg upgrade -y

* Е́сли Termux запро́сит подтверди́ть устано́вку обно́влений, подтверди́те её.

3. Устано́вка PRoot-Distro

* Устано́ви́те PRoot-Distro ко́мандой:

pkg install proot-distro -y

* PRoot-Distro позволя́ет запусти́ть полноценную́ Linux-сре́ду вну́три Termux без получе́ния root-пра́в на устро́йстве.

4. Устано́вка Ubuntu

* Устано́ви́те Ubuntu 24.04 ко́мандой:

proot-distro install ubuntu:24.04

* Дожди́тесь оконча́ния за́грузки и распако́вки Ubuntu.

* Прове́рьте, что Ubuntu устано́влена, ко́мандой:

proot-distro list

* В спи́ске должна́ прису́тствовать сре́да "ubuntu".

5. Вхо́д в Ubuntu

* Запусти́те Ubuntu ко́мандой:

proot-distro login ubuntu

* По́сле успе́шного вхо́да приглашение́ командной строки́ измени́тся.

* Сле́дующие ко́манды необходи́мо выполня́ть уже́ вну́три Ubuntu, а не в Termux.

6. Обновле́ние Ubuntu

* Обнови́те спи́ски паке́тов:

apt update

* Обнови́те устано́вленные паке́ты:

apt upgrade -y

7. Устано́вка Curl

* Устано́ви́те ути́литу Curl:

apt install curl -y

* Curl бу́дет испо́льзоваться для́ за́грузки официа́льного бинарного́ па́кета Ollama.

8. За́грузка Ollama для́ ARM64

* Убеди́тесь, что устро́йство испо́льзует архитекту́ру ARM64.

* Для́ ARM64 испо́льзуется официа́льный па́кет Ollama:

ollama-linux-arm64.tar.zst

* За́грузи́те и распакýйте его́ непосре́дственно в систе́мный ката́лог Ubuntu:

curl -fsSL https://ollama.com/download/ollama-linux-arm64.tar.zst | tar x -C /usr

* Дожди́тесь оконча́ния за́грузки и распако́вки.

* Отде́льно устанав́ливать Ollama че́рез "chmod +x" не тре́буется: официа́льный па́кет уже́ соде́ржит гото́вый исполня́емый фа́йл.

9. Прове́рка Ollama

* Прове́рьте, что Ollama устано́влена:

ollama -v

* На экра́не должна́ появи́ться ве́рсия Ollama.

10. Запу́ск локального́ се́рвера Ollama

* Запусти́те локальный се́рвер Ollama в фо́новом проце́ссе:

ollama serve >/tmp/ollama.log 2>&1 &

* Подожди́те не фиксированные́ де́сять секу́нд, а не́сколько секу́нд для́ за́пуска се́рвера.

* Прове́рьте, что локальный се́рвер отве́чает:

curl -fsS http://127.0.0.1:11434/api/tags

* Е́сли ко́манда вернула́ результат без оши́бки, локальный се́рвер Ollama рабо́тает.

11. За́грузка TranslateGemma 4B

* Запусти́те мо́дель TranslateGemma 4B ко́мандой:

ollama run translategemma:4b

* При пе́рвом за́пуске Ollama а́втоматически за́грузит мо́дель из официа́льного репозито́рия.

* Мо́дель "translategemma:4b" занима́ет о́коло 3,3 гигаба́йта.

* По́сле оконча́ния за́грузки мо́дель бу́дет запу́щена лока́льно на устро́йстве.

12. Испо́льзование TranslateGemma

* TranslateGemma ожида́ет специа́льно сфо́рмированный за́прос с указа́нием исходного́ и це́левого языко́в.

* Наприме́р, для́ перево́да с ру́сского на францу́зский мо́жно испо́льзовать сле́дующий за́прос:

You are a professional Russian (ru) to French (fr) translator. Your goal is to accurately convey the meaning and nuances of the original Russian text while adhering to French grammar, vocabulary, and cultural sensitivities.

Produce only the French translation, without any additional explanations or commentary. Please translate the following Russian text into French:

Зде́сь находи́тся те́кст для́ перево́да.

* За́тем нажми́те кла́вишу Enter.

* TranslateGemma вернёт перево́д непосре́дственно в терминале́.

13. Повто́рный за́пуск в бу́дущем

* При сле́дующем испо́льзовании откро́йте Termux.

* Войди́те в Ubuntu:

proot-distro login ubuntu

* Запусти́те се́рвер Ollama:

ollama serve >/tmp/ollama.log 2>&1 &

* За́тем запусти́те TranslateGemma:

ollama run translategemma:4b

* Повто́рно за́гружать мо́дель не потре́буется, е́сли она́ уже́ была́ за́гружена ра́нее.

14. Важное́ замеча́ние

* Все ко́манды, начина́ющиеся с "pkg", выполня́ются в Termux.

* Все ко́манды, начина́ющиеся с "apt", "ollama" и "curl" по́сле вхо́да в Ubuntu выполня́ются вну́три Ubuntu.

* Ко́манды необходимо́ вводи́ть то́чно, без ударе́ний, дополни́тельных пробе́лов и изме́нений в назва́ниях.

* Пра́вильное назва́ние мо́дели:

translategemma:4b

* Пра́вильное назва́ние ARM64-па́кета Ollama:

ollama-linux-arm64.tar.zst

* Для́ Ubuntu в э́той инструќции испо́льзуется ве́рсия 24.04.Проверка команд: актуальная документация Ollama действительно указывает ARM64-пакет ollama-linux-arm64.tar.zst и запуск через ollama serve; PRoot-Distro сейчас документирует установку ubuntu:24.04. TranslateGemma 4b также присутствует в официальной библиотеке Ollama и имеет размер около 3,3 ГБ.

Показать полностью
2

Локальную нейросеть запустили на смартфоне. Она не только разговаривает, но и работает как ИИ-агент

Локальную нейросеть запустили на смартфоне. Она не только разговаривает, но и работает как ИИ-агент

Когда вы задаете вопрос обычному чат-боту, текст улетает на сервер компании. Там нейросеть обрабатывает запрос и присылает ответ обратно. Это удобно, пока есть интернет, деньги на облачный сервис и желание доверять ему свои данные.

Liquid AI предлагает другой вариант: загрузить небольшую модель на собственное устройство и выполнять запросы локально. Компания выпустила LFM2.5-2.6B — нейросеть, рассчитанную на телефоны и компьютеры средней производительности.

Модель умеет не только продолжать текст. Ее обучали работать как ИИ-агент: разбивать задачу на шаги, вызывать инструменты, искать информацию и собирать итоговый ответ. И главное — сама модель и генерация ответа могут работать на устройстве. Если не подключать внешние инструменты, текст запроса не нужно отправлять облачной модели, а каждая новая команда не создает отдельный счет за серверный инференс.

В тестах разработчиков модель укладывалась менее чем в 2,5 ГБ памяти, но это не универсальное требование: браузеру нужна дополнительная память. Liquid AI заявляет до 220 токенов в секунду на Apple M5 Max и до 113 на AMD Ryzen AI Max+ 395. По оценке компании, около 30 токенов уже достаточно для агента на телефоне.

Проверить идею можно без установки сложных программ. Liquid AI опубликовала браузерную WebGPU-демоверсию исследовательского агента. При первом запуске браузер предлагает скачать около 1,6 ГБ файлов модели. После загрузки вычисления выполняются локально через видеоусоритель устройства.

Есть несколько важных ограничений. Во-первых, демо запустится не в каждом браузере и не на каждом телефоне: нужна поддержка WebGPU и достаточно памяти. Во-вторых, компактная модель не становится равной крупнейшим облачным системам только потому, что работает быстро. Сложные задачи, длинные рассуждения и точность ответов все еще нужно проверять.

«Работает локально» не означает, что весь агент отключен от интернета. В демо модель генерирует ответ во вкладке, но поиск обращается к Wikipedia API, а геолокация может передавать координаты внешнему сервису. Локальны модель и генерация, но не обязательно инструментальные запросы.

Но направление уже понятно. Личный ИИ может жить на устройстве, работать в дороге и не считать каждое сообщение по облачному тарифу. Чувствительные записи останутся локальными, пока пользователь сам не передаст их внешнему инструменту.

Раньше за такую приватность приходилось мириться с очень слабой моделью. Теперь вопрос меняется: не «можно ли вообще запустить ИИ на телефоне», а «для каких задач компактного локального ИИ уже достаточно».

P.S. Поддержать меня можно подпиской на канал "сбежавшая нейросеть", где я рассказываю про ИИ с творческой стороны.

Показать полностью
Отличная работа, все прочитано!

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества

Недвижимость и ремонт

Теги

Популярные авторы

Сообщества