Прототип живой миграции в bhyve
Никогда не держал в проде фряху, но всегда тепло относился к проектам на её основе. На этой неделе gyptazy показал рабочий прототип живой миграции для bhyve на FreeBSD 15.1. Пока он работает только на amd64, а реализацию автор вынес на обсуждение. Включённого гостя можно перевезти на другой хост не выключая (небольшая пауза нужна только в конце копирования, чтобы дослать страницы, которые он изменил уже по пути).
Идея вот в чём. Сначала bhyve копирует память работающего гостя, затем проход за проходом пересылает только страницы, изменившиеся с предыдущего прохода. Когда bhyve оценивает, что ещё не переданные страницы успеют уйти за лимит простоя, заданный для миграции, он останавливает гостя и посылает их вместе со снимком (состояние vCPU, состояние виртуальной машины в ядре и состояние эмулируемых устройств). Если оставшиеся страницы перестают убывать или кончился лимит проходов, bhyve всё равно останавливает гостя и досылает их. Пауза тогда может выйти длиннее. Когда гость переписывает страницы медленно, она короче: на стенде автора у гостя в 512 МиБ вышло 138–171 мс.
Перед передачей данных целевой хост сверяет версию протокола, размер страницы, конфигурацию памяти и число vCPU. Если всё сходится, он принимает и восстанавливает состояние, сообщает о готовности и ждёт GO (так протокол называет команду запуска с исходного хоста). До отправки этой команды при сбое исходный хост может возобновить гостя. Целевой хост запускает его только после получения GO. Если подтверждение потеряется уже после отправки команды, исходный хост не узнает, запустился ли гость на целевом. Возобновлять его у себя в этот момент опасно - можно получить две работающие копии одной ВМ.
Диски протокол не копирует. Общее хранилище и подключение гостя к сети на целевом хосте надо подготовить самим. PCI passthrough не переезжает. Между хостами гость передаётся по чистому TCP, никакой аутентификации и шифрования пока не предусмотрено.
Как только прочёл "...в проде пряху..." сразу стало всё понятно и перестал читать дальше. Вот умеет автор!