Перезапуск игры в pygame⁠⁠

Ну так оберни ботов в класс. И уже в игровом цикле пайгейм при проигрыше одного бота, удаляй его, и вводи новый экземпляр с тем же весом

Окно браузера или окно pygame?
В одном процессе можно только 1 окно с pygame насколько мне известно (10 независимых инициализации на pygame....если у тебя 10 и более ядер).
Игровой цикл pygame начни с начала просто при смерти.

Правда все равно не понятно. Окно приложения одно и в нем играют 10 ботов?

Ну тяжело понять что именно Вам нужно. Всё зависит от Вашего текущего навыка.

В целом библиотека pygame очень дружелюбная (сравнительно небольшая) и доки у неё хорошие. Правда офф сайт сейчас не работает, но Вы можете почитать доки на https://runebook.dev/ru/docs/pygame/
Есть книжка Эл Свеграйт (если вы совсем новичок), базис питоновский на примере устройства игр с pygame (очень рекомендую, я с неё вообще питоном заинтересовался). Могу скинуть через тг.

Ну и ООП учите (для оборачивания в классы), очень много примеров и статей. Гугл в помощь.

Окно браузера или окно pygame?
В одном процессе можно только 1 окно с pygame насколько мне известно (10 независимых инициализации на pygame....если у тебя 10 и более ядер).
Игровой цикл pygame начни с начала просто при смерти.