Суверенный ИИ за 0 рублей: Запускаем Llama 3 и DeepSeek дома, чтобы не сливать данные и деньги
Привет, Пикабу!
Пока в интернете спорят, заменит ли ИИ человека, мы сталкиваемся с более реальной проблемой: приватность и жадность. Пользуешься ChatGPT или Claude для работы? Поздравляю, ты фактически сливаешь коммерческую тайну, свой код и идеи на чужие сервера. Добавьте сюда платные подписки, VPN, риск бана аккаунта — и картина становится так себе.
Я решил собрать свой, полностью автономный контур для нейросетей. Без облаков, без цензуры и с полной автоматизацией. Ниже — гайд, как связать Docker, Ollama и n8n в единую систему на домашнем компе.
Почему локально?
Облачный ИИ (ChatGPT) — это ресторан. Вкусно, но дорого. Выбираешь только из меню. Если начнешь чавкать или болтать о запрещенном — менеджер выставит тебя за дверь.
Локальный ИИ — это твоя личная кухня. Один раз установил модели и готовишь что хочешь, хоть 24/7. Данные не покидают квартиру и никому таки платить не надо. Никаких ограничений по токенам и слитых бюджетов из-за зависшего процесса.
Инструменты (Наш стек)
Нам понадобится связка из трех компонентов:
Docker Desktop — среда контейнеризации (чтобы всё работало стабильно в «коробке» и не мусорило в системе).
Ollama — движок для запуска нейросетей (Llama 3, Mistral, Gemma, DeepSeek). Кому нравится LM Studio — ваше право, суть та же, но Ollama удобнее для автоматизации.
n8n — это «мозги и руки». Мощнейшая платформа для автоматизации (как Zapier, только бесплатно и у вас на компе).
Шаг 1: Готовим железо и ставим Ollama
Миф: «Для нейросетей нужна видеокарта за 200к». Реальность: Ollama отлично работает на картах NVIDIA 30/40/50 серий. Даже на старичках вроде GTX 1080 или 1050 запустится, просто думать будет чуть медленнее.
Качаем Ollama с оф. сайта и ставим как обычный .exe.
Открываем командную строку (cmd) и пишем: ollama run llama3
(Список других моделей, типа DeepSeek, можно глянуть на сайте Ollama).
Если пошел диалог — поздравляю, движок работает.
Шаг 2: Ставим n8n (И не теряем данные!)
Многие новички просто запускают n8n в Докере и совершают фатальную ошибку: не создают папку для сохранений. В итоге обновил контейнер — и все твои сценарии стерлись. Я так неделю работы потерял.
Делаем по уму:
Устанавливаем Docker Desktop.
Создаем на диске C: папку n8n — тут будут жить наши бэкапы.
Закидываем туда файл docker-compose.yaml (это файл конфигурации, который скажет Докеру, где хранить данные).
В терминале переходим в папку: cd c:\n8n.
Запускаем: docker compose up -d.
Всё! Теперь, даже если снесешь Докер, твои настройки останутся в папке на диске C.
Шаг 3: Магия соединения (Где все спотыкаются)
Самый тонкий момент. Мы запускаем n8n внутри Докера, а Ollama стоит снаружи (на Windows). По умолчанию Докер «не видит» программы основной системы.
Поэтому, когда будешь настраивать ноду AI Agent в n8n:
❌ В поле Base URL нельзя писать localhost.
✅ Нужно писать специальный адрес моста: http://host.docker.internal:11434.
Нюанс: Если ты загнал и Ollama внутрь Докера (сделал всё контейнерами), тогда адрес будет http://ollama:11434.
Итог: Что мы получили?
Заходим в браузер на http://localhost:5678. У нас развернута мощная станция автоматизации. Мы можем подключить Telegram-бота (через BotFather) и воротить что угодно:
Автоответы клиентам и друзьям.
Саммари новостей из RSS.
Генерация контента по расписанию.
И всё это крутится на твоем железе, бесплатно и конфиденциально.
P.S. Чтобы пост не растягивать на 10 экранов, готовый файл docker-compose.yaml и инструкцию я закинул к себе в Telegram-канал. Забирайте и переходите на светлую сторону локалок, пока OpenAI снова не подняли цены.