Как запустить уменьшенный аналог ChatGPT на смартфоне
Привет! После всего GPTшного хайпа люди захотели иметь свой личный ChatGPT на компьютере. В сети гуляет огромное количество языковых моделей, безусловно уступающих GPT3.5 и GPT4. Тем не менее по качеству они уже потихоньку приближаются. Преимущество локальных моделей состоит в независимости от облака, интернета. Многие модели выходят в версиях без цензуры.
Сейчас у вас есть возможность запускать небольшие модели даже на вашем смартфоне. Скорость оставляет желать лучшего, но зато вы можете иметь своего личного ИИ ассистента в кармане, без привязки к интернету.
Я расскажу как это сделать на андроид смартфонах.
1. Установите приложение termux. Это эмулятор линукс-терминала, начиненный стандартными приложениями Линукс.
2. Скачайте модель. На средние смартфоны подойдут GGML модели 3B и 7B (3 и 7 миллиардов параметров) Например нам подойдет TheBloke/orca_mini_3B-GGML
3. Дальше открываем termux и там пишем следующие команды:
termux-setup-storage
apt update -y
apt install -y clang ndk-multilib git make
git clone --depth 1 https://github.com/ggerganov/llama.cpp
make -C llama.cpp -j4
llama.cpp/server -m /sdcard/Download/whateverggml.bin (ссылка на скачанную модель)
4. Заходим в браузере по адресу http://127.0.0.1:8080
5. Вы потрясающи!
ЗЫ: Также есть приложение Sherpa для андроид, но у меня оно не запустилось )))
Искусственный интеллект
5.7K постов11.9K подписчиков
Правила сообщества
ВНИМАНИЕ! В сообществе запрещена публикация генеративного контента без детального описания промтов и процесса получения публикуемого результата.
Разрешено:
- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.
- Делиться статьями, понятными большинству аудитории Пикабу.
- Делиться опытом создания моделей машинного обучения.
- Рассказывать, как работает та или иная фиговина в анализе данных.
- Век жить, век учиться.
Запрещено:
I) Невостребованный контент
I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.
I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.
I.3) Добавлять посты, которые содержат лишь генеративный контент или нейросетевой Арт без какой-то дополнительной полезной или интересной информации по теме, без промтов или описания методик создания и т.д.
II) Нетематический контент
II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.
II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".
II.3) Создавать контент, входящий в противоречие с правилами Пикабу.
III) Непотребный контент
III.1) Эротика, порнография (даже с NSFW).
III.2) Жесть.
За нарушение I - предупреждение
За нарушение II - предупреждение и перемещение поста в общую ленту
За нарушение III - бан