Как запустить уменьшенный аналог ChatGPT на смартфоне
Привет! После всего GPTшного хайпа люди захотели иметь свой личный ChatGPT на компьютере. В сети гуляет огромное количество языковых моделей, безусловно уступающих GPT3.5 и GPT4. Тем не менее по качеству они уже потихоньку приближаются. Преимущество локальных моделей состоит в независимости от облака, интернета. Многие модели выходят в версиях без цензуры.
Сейчас у вас есть возможность запускать небольшие модели даже на вашем смартфоне. Скорость оставляет желать лучшего, но зато вы можете иметь своего личного ИИ ассистента в кармане, без привязки к интернету.
Я расскажу как это сделать на андроид смартфонах.
1. Установите приложение termux. Это эмулятор линукс-терминала, начиненный стандартными приложениями Линукс.
2. Скачайте модель. На средние смартфоны подойдут GGML модели 3B и 7B (3 и 7 миллиардов параметров) Например нам подойдет TheBloke/orca_mini_3B-GGML
3. Дальше открываем termux и там пишем следующие команды:
termux-setup-storage
apt update -y
apt install -y clang ndk-multilib git make
git clone --depth 1 https://github.com/ggerganov/llama.cpp
make -C llama.cpp -j4
llama.cpp/server -m /sdcard/Download/whateverggml.bin (ссылка на скачанную модель)
4. Заходим в браузере по адресу http://127.0.0.1:8080
5. Вы потрясающи!
ЗЫ: Также есть приложение Sherpa для андроид, но у меня оно не запустилось )))