Создание крупнейшего в мире кластера Raspberry Pi
24 февраля 2020 г.
Суперкомпьютер Oracle Raspberry Pi, крупнейший из известных кластеров Raspberry Pi, был награжден одним из 10 лучших проектов Raspberry Pi 2019 года от Tom's Hardware.
https://www.tomshardware.com/features/top-raspberry-pi-proje...
Вот его история.
Рождение идеи
В 2018 году небольшая группа энтузиастов предпродажной подготовки из Oracle Switzerland представила свой 12-узловой кластер Raspberry Pi на хакатоне Hackzurich. Кластер был собран в виде узла 3x4, имитирующего центр обработки данных Oracle Cloud с 3 доменами доступности. Он запускал полностью рабочий кластер Kubernetes поверх него и мог демонстрировать отказоустойчивость узла и домена доступности. Кластер оказался настоящим магнитом для людей. Яркие светодиоды, симпатичный кластер и неудовлетворенное любопытство «что он делает?»
Заложен фундамент суперкомпьютера Raspberry Pi.
Он становится большим
Вернувшись с хакатона, у нас в голове возникла идея портативной демонстрационной станции, которую мы можем использовать на конференциях и демонстрировать, что такое облачные технологии.
Мы не только сможем продемонстрировать простые сценарии аварийного переключения и поддержания работоспособности, но и с чем-то вроде Kubernetes или проекта Oracle Fn наверху, мы сможем создать множество автономных демонстраций, поместить их в каталог в Интернете и затем продемонстрировать в прямом эфире на конференции. Каталог также позволит нам легко подключаться к нему в течение года и в любой точке мира без необходимости иметь физический доступ к кластеру. И используя такой автономный программный стек, любое другое оборудование, использующее тот же стек, будь то кластер Raspberry Pi или нет, также сможет использовать те же самые демонстрации. Было ясно, что это открывает множество возможностей, но следующий вопрос заключался в том, насколько далеко мы зайдем.
Сначала мы думали о построении модульного кластера из 128 узлов. Модульный в том смысле, что мы создадим 8 отдельных блоков кластеров с 16 узлами, которые затем можно было бы объединить в более крупные кластеры (8x16, 4x32, 2x64, 1x128).
Это дало бы нам несколько преимуществ, например, наличие нескольких кластеров, которые могут путешествовать по миру и одновременно присутствовать на разных конференциях. В случае, если нам потребуется больше вычислительной мощности или произойдет более крупное событие, когда мы захотим продемонстрировать больший кластер, мы могли бы легко сложить их до нужного размера. Для выделенных событий, таких как Oracle Code One, мы просто объединим их все в один большой кластер.
Как уже было сказано, сначала мы думали о 128 узлах, но проходя через это, мы спросили себя, кто еще делал что-то подобное раньше, и, что более важно, какой кластер сегодня самый большой? Поэтому мы сделали шаг назад, провели небольшое исследование и вскоре обнаружили, что в наши дни 128 узлов больше не представляют собой ничего особенного.
Например, был The Beast v2, 144-узловой кластер Raspberry Pi, который был разработан как демонстрационная установка для balena.io. Мы также обнаружили эксперимент с облачным кластером Bolzano Raspberry Pi, который представлял 300-узловой кластер Raspberry Pi.
https://www.balena.io/blog/the-evolution-of-the-beast-contin...
https://www.anandtech.com/show/12037/cheap-supercomputers-la...
Самый большой кластер Raspberry Pi, который мы смогли найти, был создан отделом высокопроизводительных вычислений Лос-Аламосской национальной лаборатории с стремительно развивающимся кластером Raspberry Pi на 750 узлов. При этом у нас была четкая цель: что бы мы ни делали, оно должно выходить за пределы 750 узлов. Поскольку мы были гиками, мы знали, что следующим логическим числом будет 1024, и поэтому мы начали создавать кластер Raspberry Pi с 1024 узлами.
Строительство суперкомпьютера
Когда мы начали строительство модульного кластера с 1024 узлами, мы вскоре поняли, что наши планы не обязательно сработают в срок, который мы имели в виду: Oracle Code One 2019.
Создание модульного кластера добавило значительных усилий и времени, которого было слишком мало, чтобы завершить вовремя для Code One 2019. Учитывая, что нам не нужен модульный аспект кластера для конференции, поскольку мы все равно хотели иметь один большой кластер для Code One, мы приостановили эту идею и решили пойти на одну-единственную синюю коробку. Внутри вы найдете:
Стеллажи высотой 5 x 2 метра
1 сервер Supermicro 1U Xeon
18 USB-блоков питания
22 сетевых коммутатора
49 держателей Raspberry Pi, напечатанных на 3D-принтере
1060 Raspberry Pi
Подождите, 1060 Raspberry Pi? Да! Как оказалось, 1024 Raspberry Pi были отличной идеей, но, собрав стойку, мы обнаружили, что внутри у нас все еще есть место. Что же делать? Зря тратить место или заполнить стойку дополнительными Raspberry Pi? Что ж, мы выбрали последнее, и поэтому наш кластер Raspberry Pi с 1024 узлами стал кластером Raspberry Pi с 1060 узлами.
Затем мы начали искать необходимые компоненты. 1060 Raspberry Pi - это довольно много.
Любую операцию, которую вам нужно выполнить, будь то подключение сетевого кабеля или установка винта, вам придется проделать это как минимум 1060 раз. Добавьте к этому 1060 SD-карт, и вы потратите немало времени на прошивку этих карт, не говоря уже о подключении их к каждой Raspberry Pi и, возможно, установке на них дополнительного программного обеспечения.
Поэтому вместо того, чтобы покупать 1060 SD-карт, мы решили загружать их все по сети с одного центрального сервера (сервера Supermicro 1U Xeon). Загрузка по сети позволила нам установить и настроить программное обеспечение только один раз, и если какие-либо изменения должны произойти, они также произойдут только один раз. Поскольку мы были Oracle, для нас было естественным загрузить Oracle Linux для ARM вместо Raspbian по умолчанию.
https://blogs.oracle.com/linux/announcing-oracle-linux-7-for...
На Oracle Code One 2019
Нам удалось создать и продемонстрировать кластер на Oracle Code One 2019.
Мы выбрали увлекательную демонстрацию, созданную с использованием Java, которая не только показывала использование кластера на большом экране, но и искажала картину конференции.
Участники могли отправлять сообщения в кластер, чтобы освободить это изображение. Как только сообщение было получено, случайный узел отправлялся дальше и освобождал часть изображения в реальном времени. Задача заключалась в том, чтобы как можно быстрее отправить как можно больше сообщений, чтобы прояснить всю картину. Таким образом, участники могли не только получить удовольствие от аппаратной инженерии, которая здесь работает, но и весело взаимодействовать с кластером. Демонстрация также побудила участников использовать подход краудсорсинга и работать вместе, что косвенно помогло им пообщаться с другими участниками.
Как только картина прояснялась, мы ставили новую и начинали все сначала. Это, безусловно, привлекло внимание людей, не только посетителей Code One, но и социальных сетей, а также таких людей, как ServeTheHome и Tom's Hardware.
https://www.servethehome.com/oracle-shows-1060-raspberry-pi-...
https://www.tomshardware.com/news/oracle-raspberry-pi-superc...
Благодарим вас всех!
За пределами Oracle Code One 2019
После завершения Oracle Code One 2019 мы вернулись к списку идей. Было еще много выдающихся вещей, о которых мы думали, но пока не удосужились. Но какой из них заняться в первую очередь? Что ж, иметь один большой кластер было круто, но нам очень, очень понравилась идея иметь более мелкие кластеры, которые могли бы путешествовать по миру в одно и то же время.
Итак, для следующей цели мы решили пойти на мини-кластеры. И как лучше всего что-нибудь сделать? Установив крайний срок, который для этого проекта мы установили для Open World London 2020, который произошел всего две недели назад.
И вот, мы представляем вам мини-кластер Raspberry Pi на 84 узла:
На этот раз мы решили помочь поиску внеземного разума (SETI) с нашим кластером через проект SETI@Home. И снова наш кластер имел большой успех и привлек внимание всего мира, несмотря на то, что он был меньше своего старшего брата.
Дорога впереди
Так что же впереди? На доске все еще есть много идей, которыми мы займемся в обозримом будущем. Одна из наших целей по-прежнему состоит в том, чтобы сделать эти кластеры Raspberry Pi полностью облачными и использовать на них такие технологии, как Kubernetes и Fn Project. Нам также по-прежнему нравится идея иметь демонстрационный каталог, который может использоваться любым кластером в любой точке мира, на каком бы мероприятии он ни присутствовал в настоящее время. И, конечно же, мы еще не отказались от идеи сделать эти кластеры модульными. Но тем временем у нас появились и новые идеи.
Один из них - сделать (большой) кластер сердцем и центром для опыта Oracle Code One с поддержкой IoT и позволить ему захватывать и обрабатывать множество различных показаний датчиков события в реальном времени с помощью Oracle Cloud.
Пока не решено, какой из этих идей мы займемся следующей. Но уже ясно одно: дорога еще впереди, и мы с нетерпением ждем ее ...
