LLaMa 2 и запуск

Недавно Мета(которая признана экстремистской организацией) выпустила новую нейросеть. Я в нейросетях разбираюсь на уровне чайника, но побаловаться люблю. К сожалению я не знаю, как запускать модель, поэтому если кто то знает, как это сделать, объясните пожалуйста(полагаю, это будет полезно не только для меня). Так же взглянув на системные требования я порядком оторопел(64 гигабайта видеопамяти как никак). Полазив по интернету я так и не нашёл общедоступных видеокарт имеющих столь впечатляющие объёмы памяти(профессиональные карты конечно хорошо, но цены на них пугают), но тут я вспомнил что когда-то видел на зарубежном форуме, что какой-то человек для похожей цели(запуск LLaMa 70b первой версии) объединил какой-то миндальной связью две 3090. Соответственно встаёт второй вопрос, что это за миндальная связь и как её организовать?

Искусственный интеллект

2.5K постов9.8K подписчиков

Добавить пост

Правила сообщества

Здесь вы можете свободно создавать посты по теме Искусственного интеллекта. Добро пожаловать :)


Разрешено:


- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.

- Делиться статьями, понятными большинству аудитории Пикабу.

- Делиться опытом создания моделей машинного обучения.

- Рассказывать, как работает та или иная фиговина в анализе данных.

- Век жить, век учиться.


Запрещено:


I) Невостребованный контент

  I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.

  I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.


II) Нетематический контент

  II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.

  II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".

  II.3) Создавать контент, входящий в противоречие с правилами Пикабу.


III) Непотребный контент

  III.1) Эротика, порнография (даже с NSFW).

  III.2) Жесть.


За нарушение I - предупреждение

За нарушение II - предупреждение и перемещение поста в общую ленту

За нарушение III - бан