Глаза боятся, а руки из.. плеч :)
По стопам этой темы: Вопрос к знатокам нейросетей. Мы (я и нейросеть Qwen) строили, строили и наконец построили рабочую обучаемую оффлайн нейросеть (экспертную систему), работающую на GPU (обычной видеокарте). Первая рабочая версия, которая использует CPU (процессор) ожидаемо оказалась долго думающей (около 200 сек. на ответ на моём железе), поэтому ушла в архив. Вторая версия думает уже 4-8 сек. , что прямо радует и фактически завершает проект. Цели достигнуты :)
Итак, моё домашнее железо (не фонтан, но на игрушки и всякие эксперименты хватает):
И вот что у нас получилось:
Диспетчер задач попал на скриншот, как демонстрация работы именно на GPU, во время "обдумывания" ответа. База состоит из текстовых файлов, в которых перечислены только проверенные факты. Именно там она и берёт свои ответы. Базовый размер программы получился около 2.8 Гб., что весьма немного в наше время.
Теперь расскажу, что "под капотом" нашей нейросети. Она построена на базе языковой модели phi-3-mini-4k-instruct.Q4_K_M.gguf, библиотеки интерфейса Gradio и платформы для работы с языковыми моделями llama-cpp-python. Код написан на Python. llama-cpp-python пришлось компилировать самостоятельно, потому что все бесплатные репозитории с нужным компонентом (CUDA for GPU) оказались внезапно под паролями (жадные редиски). Но мы справились и всё заработало от обычной советской видеокарты.
Как бы и всё :) Такую домашнюю экспертную систему, которая совершенно не зависит от Интернета и обеспечивает быстрое обучение и высокую конфиденциальность хранимых данных, можно использовать для любых целей. Сейчас она заточена под нужды автодиагностики, но её легко переориентировать на:
ремонт бытовой техники («Почему стиральная машина не сливает воду?» и пр.)
неисправности электрики в доме
ремонт сельхозтехники
ремонт мотоциклов, квадроциклов и т.д.
Достаточно заменить содержимое папки knowledge_base/.
А теперь картинка для реальных программистов и тех, кто реально разбирается в этой теме, которую необходимо использовать прочитав мой нубский пост :)
