Comfyui - ускорение загрузки моделей с HDD в 2-3 раза
Я всегда недоумевал, почему при загрузке модели с HDD диспетчер задач показывает 30-60МБ скорость чтения. Это же очень мало (с) и совсем не соответствует скорости, что он может выдать. В конце концов сформулировал вопрос и обратился к Иишке за советом.
Приведу скриншоты содержательной части диалога.
1 из 4
2 из 4
3 из 4
4 из 4
В итоге я использовал код с последнего ответа.
# --- НАЧАЛО ВСТАВКИ: ПРИНУДИТЕЛЬНОЕ ЧТЕНИЕ В КЭШ ---
# Мы просто читаем файл, чтобы Windows положила его в оперативную память.
# Переменная dummy_data сразу удалится, но данные останутся в кэше ОС.
try:
print(f"HDD Optimization: Pre-reading {ckpt} to System RAM...")
with open(ckpt, 'rb') as f:
_ = f.read()
except Exception as e:
print(f"Warning: Failed to pre-read file: {e}")
# --- КОНЕЦ ВСТАВКИ ---
Нужный файл utils.py находится у меня по адресу:
C:\Users\<имя пользователя>\AppData\Local\Programs\@comfyorgcomfyui-electron\resources\ComfyUI\comfy
Смотрим, где в файле находится def load_torch_file , у меня это 110 строчка и добавляем вставку, чтобы получилось, как на скриншоте ниже.
Итог всей затеи
Как было
И как стало
В зависимости от физического положения файла на диске скорость чтения у меня составляет 140-270мб\сек
Время загрузки модели 6ГБ и первой генерации с нее
Так было раньше
Сейчас на скорости 140мб\сек
И сейчас на скорости 250мб\сек
Помогал с затеей Gemini 3 Pro
Искусственный интеллект
5.9K постов12K подписчика
Правила сообщества
ВНИМАНИЕ! В сообществе запрещена публикация генеративного контента без детального описания промтов и процесса получения публикуемого результата.
Разрешено:
- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.
- Делиться статьями, понятными большинству аудитории Пикабу.
- Делиться опытом создания моделей машинного обучения.
- Рассказывать, как работает та или иная фиговина в анализе данных.
- Век жить, век учиться.
Запрещено:
I) Невостребованный контент
I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.
I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.
I.3) Добавлять посты, которые содержат лишь генеративный контент или нейросетевой Арт без какой-то дополнительной полезной или интересной информации по теме, без промтов или описания методик создания и т.д.
II) Нетематический контент
II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.
II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".
II.3) Создавать контент, входящий в противоречие с правилами Пикабу.
III) Непотребный контент
III.1) Эротика, порнография (даже с NSFW).
III.2) Жесть.
За нарушение I - предупреждение
За нарушение II - предупреждение и перемещение поста в общую ленту
За нарушение III - бан