tura1

На Пикабу
2209 рейтинг 2 подписчика 10 подписок 24 поста 3 в горячем
Награды:
5 лет на Пикабу
0

Железо для нейросетей на локалке май 2025

Уже накопилось порядком оборудования для запуска нейросетевых проектов на локальном железе без серверной составляющей (там пока вне зависимости от предпочтений фанатов старенького zenon и Китая лидируют монстры типа Н100 собираемые на фабрике в Тайване про это сейчас расскажу подробнее).

Информация в свободном доступе, она не ищется с полпинка. Тесты на реальном оборудовании/синтетике. За исключением информации о пропускной способности шины памяти, она номинальная, то есть реальное КПД 20-90% от поставленной задачи). Ну и да на любом железе запустится Герои Меча и Магии 3 , чтобы хоть как-то отбить свободное время.

Неплохо еще бы обрисовать цены и объем доступной памяти, но в таблице места не хватало, поэтому напишу тут.

Каждый год этот американский Ford из NASDAQ выдает лучшее, что они могут. Mac Studio Ultra 96-512GB 4000-15000$, фанаты Mac берут обязательно по верхней категории. Но к чести Мас - это пока единственный вариант получить коробку с 512GB, которая будет их выдавать без существенных тормозов или почти. Процессор можно брать любой М1-М3 по сути ничем не отличаюся, обещанный модуль NPU как нестранно в нашем случае не срабатывает и все 4 поколения 90 ЦПУ и примерно 30 GPU процессоров отрабатывают честь по чести в том числе благодаря архитектуре, оптимизации и широкой шине памяти.

Mac Mini та же самая коробочка казалось бы и процессор новый современный, памяти от 24GB, а это как минимум RX7900XT - что в принципе и выходит. Но дальше все по современным меркам печально, из-за урезанной шины производительность проседает в 2-4 раза от возможной. Но на этом железе отлично чувствует себя Stable Diffusion, ставить Win или Linux - не имеет смысла. Все железо ARM. (И вот тут вот корейцы и китайцы дышат в спину).

Из интересного ждем Кубик от Куртки который он обещал в начале года, но AMD выпустила раньше. Только сейчас начались отгрузки и мы получили реальные тесты на свежих драйверах обещали 120 AI TOPS в принципе они есть. Поскольку платформа одна и та же, но у зеленых, явное преимущество в софте, обещают 1000 AI TOPS за счет Cuda, посмотрим ценник, конкурировать они явно хотят с Mac. Пока явно какие-то проблемы, потому что релиз на топовом чипе Blackwell на нем построена rtx 5090 сильно затянулся.

Немного тезисов маркетологов подтвержденных тестами:

RX7900xt работает не хуже 3090|4090 c Deep Seek

RX5090 в 2 раза быстрее RX7900xt в Deep Seek

Можно найти условия при которых Ryzen AI 395+ будет быстрее связки 2x RTX 4090

Железо для нейросетей на локалке май 2025

Табличка нескучная ни одно творения Мака 96GB пока не показало результат лучше AMD Strix Halo даже шина памяти тут не помогает, но все остальные в пролете на 256-512GB Mac (цены я уже указал). Посмотрим чем ответят зеленые.

Если для моделей нам достаточно 32GB, то RTX 5090 уделает всех и не важно какая сборка тут фанаты даже старого Zenon могут себе ни в чем не отказывать. Либо внешка.

Интересный момент на 24GB если нужен Stable Diffusion то это любая коробочка Mac M4 от 600$ оставит позади RTX 4090 засчет хорошей оптимизации. А модели LLM на 24gb в принципе тяжело загрузить и получить что-то путное, чтобы разница была заметна, между сборками (кроме процессорных и серверных сборок).

Показать полностью 1

Ответ на пост «Куда катится эта страна?»26

Первоначалка 2 ляма, тело 6 млн. Ставка 30%. все хорошо, вы теперь собственник жилья за 59млн рублей, ну через 30 лет вполне может продадите за 10-200млн (риск). Второй риск: неуплата ипотеки, банкротство, огромные ЖКХ, пожары, потопы, ремонты и т.д. И вот думаешь оно так надо? Хотя отдавать будешь уже живя в доме, делая в нем ремонт и т.д. В защиту банка также скажу, что это риск давать чужие деньги на 30 лет.

Я думаю постом отвечу, нужно больше комментов, а я за попкорном.

Помогите подобрать процессор для видеокарты для ИИ

Собираю платформу для уже обученной модели, и хочу весь бюджет перетянуть на видеокарту, что в этом случае стоит смотреть, после болталки с ИИ образовался примерно такой конфиг:

  • Процессор: AMD Ryzen 5 от 6 потоков, 3+ ГГц

  • Видеокарта: NVIDIA RTX 3090 24гб или rtx 4080 16gb?.

  • ОЗУ: 16-32 ГБ DDR5-4800.

  • Материнская плата: socket am4 или am5.

  • Накопитель: m2 256.

  • Блок питания:600 Вт

1) Насколько выбор ddr4 будет негативным, можно ли экстремально ограничиться блоком в 600ВТ? У меня был системник с 3060rtx 12gb, все работало на 300Вт.

2) RTX4060 на 16гб и как вариант Radeon 7900XTX 24gb.

Основное назначение бот графика/текст в ТГ, но с минимальными лагами (у меня желания висеть в очереди, доступ по API также не подходит из-за VPN, даже моя 4060 8gb выдает результаты быстрее, но все упирается в память для более результативных моделей).

Какую ОС посоветовать? Что с драйверами у красных и зеленых на Ubuntu? Что у красных с ROCm, на сколько их родное LMStudio работает с моделями, потому что у зеленых родное ПО, едва скачивает 8В модель, но выдает в ней неплохие результаты, возможно даже лучше чем всякий опенсорс.

Как всегда вопрос бюджета, ибо через пару лет можно будет все это железо раздать на авито перекупам... Не держю свечку за ценителей gtx 1080, rtx 2090, но меня тоже жаба душит обновляться регулярно поверху ради реального прироста в 5-10%...

5

Яндекс злопамятный? (я тоже могу)

Сегодня мой тариф ЯД по подписке за последние лет 5 впервые подорожал на 100% без предупреждения. Я думаю там этот ТБ давно окупился.

Что я делал не так за этот год (?):

  • критиковал разработчикам целый год Шедеврум? (ну так это рабочая критика, какая цензура политкорректности на дед мороза и чебурашку, если он еще даже рисовать не умеет толком, тогда пусть вообще не рисует, раз не умеет, хотя бы из уважения, дергать фоны из поиска я и так могу);

  • ругал и хвалил Яндекс на пикабу? (ну видимо последнее было зря, он тут рекламодатель);

  • актуализировал данные в Справочнике (и за это не дают никаких плюшек);

  • начал забивать ЯД до 80-90% (до этого я использовал его % на 20-40, ибо есть корпоратив и все равно исправно платил - за удобства, может есть какой-то хитрый алгоритм за объем?);

  • сейчас в мой пакет входит YAGPT (да тот самый который пытается актуализировать вашу почту, больше не может пересказать ролик с ютуба - яндекс-пересказ ВСЕ, и вообще не понимает пока что бормочет);

  • все это время смотрел рекламу от Яндекса ее очень много, хотя в тарифе написано "без рекламы" (опять соврали?);

  • яндекс-маркет в регионах, ну его нет (почтамты в аренде, курьеры тоже не свои, гарантии - коробка сюрприз);

  • Дзен-простыня (ну сколько можно?);

  • вежливо сказал за день до рекламщику Яндекса, что она звонит не вовремя (ровно за день до тарификации и после актуализации данных, вы верите в совпадения в спортлото?).

Это я еще не прошелся по Такси, Доставке, Погоде, Музыке, кто там еще чем там пользуется?

Выводы можете делать сами. Но мои данные давно отбились и сейчас Яндекс пытается делать чистый навар весьма странными методами.

После того как ограничили YouTube, отечественные сервисы прямо оживились: первым озверел Rutube (из достижений параллельный импорт видео, вот эту технологию освоили, а что мне нравится), потом Mail вспомнил что у него есть тарифы буквально на всё (а работает хорошо наверное только VK Музыка и Маруся за них кстати респект), теперь вот Яндекс...

Показать полностью
18

Ответ на пост «Почему только пассажир платит за ожидание?»15

Хочешь доплаты от таксопарка за ожидание? На самом деле все очень легко решаемо: открываешь свой таксопарк и доплачиваешь своим пассажирам за то что они ждут твои машины (или скидку делаешь от цены поездки) - конкурентное преимущество несомненно, справедливо - потому что ты автор, покажи этим дуракам как надо работать. Вытесни их всех дурачков с рынка и вози себе сколько влезет на своих условиях.

У нас государство автовазу доплачивает, потому что его покупатели покупают машину за лям, представляешь и бедные на этих машинах ездят. Ты только порядок не перепутай автоваз освобожден от утилизационного сбора, получает субсидии от государства, его машины хорошо продаются, но денег видимо мало не бывает.

Бензин у нас 0,5$, в США 1$, в венесуэле 1 цент (туда люди едут на заправку, как от нас в гости в Казахстан ездят фуры на заправку)

И с такими чудесами ты еще таксистам предъяви, что они долго ездят (ездят кстати те кто работает в смену, остальные агрегатор так дорисовывает все машины на линии, даже если они заняты, чтобы клиенты не спали, а еще сами таксисты хочу денег еду, не хочу не еду, но на фоне всего вышесказанного у нас других проблем нет).

8

Ответ на пост «В моё существование никто не верит»32

Чувак, ты не существуешь, сейчас курьеры яндекса получают 100-300т.р., они об этом трубят в каждом паблике, прости меня, ты ведь штрафы получаешь, наверняка половину доставок не довозишь, это ты привозишь людям ролы холодными, а продукты как из помойки! (прости меня за черный юмор, я работаю немного в другой сфере, мы сильно зависим от основной массы бюджетников и внутреннего рынка, это вообще дно на самом деле, это писец, не тот который лис, а тот который совсем, ну ты меня понял). Ситуация непростая, но на удивление лучше 2014г. Посмотрим. Мне тоже говорили учись, развивайся - честно скажу - врут, я уже 15-20 лет снимаю эту лапшу с ушей, нихрена не помогает. Но я не унываю, ищу свою золотую рыбку и занимаюсь тем, что мне нравится почти 24/7, сомневаюсь, что другую работу я бы психически выдержал даже за условно-большие деньги. Вообще если кому-то будет интересно, я думаю надо написать пост про другую часть экономики, той где большая часть населения живет на МРОТ, насколько это реально и какие лайфхаки есть, а еще почему. Что мы делаем неправильно, и почему делать это продолжим.

11

Запрет животных в цирках - хватит истерии и лицемерия

https://www.gazeta.ru/social/news/2024/10/14/24143827.shtml

Что отличает эколога от как бы это помягче сказать зоолюбителя, сейчас опять начали вспоминать о запрете животных в цирках, так вот в цирках и зоопарках, хотя бы ветеринары есть, а то что у людей дома творится это треш. Кто игуану заведет, кто 20 собак, кто 30 кошек, у кого-то восьмая черепаха за год сдохла, у другой уже четвертая болонка за год видимо в пятерочке на сдачу их приобретает вместо пакета. Люди начните с себя сначала, наша законодательная система очень далека от европейской в плане разумного обращения с домашними животными.

Запрет на жестокое обращение с животными в домашних условиях — важная тема, которая требует серьезного обсуждения. В то время как многие из нас часто выражают обеспокоенность по поводу условий содержания животных в зоопарках и цирках, не стоит забывать о том, что зачастую намного более ужасные условия создаются прямо в домах людей.

Когда речь заходит о домашних питомцах, ситуация выглядит тревожно. Некоторые владельцы животных принимают решения о покупке или заведении без предварительного осознания ответственности, которую это накладывает. Например, игуаны, экзотические птицы, а также собаки и кошки — далеко не всегда становятся счастливыми членами семьи. Чаще всего они оказываются объектами бесчеловечного обращения, когда их содержание становится слишком трудным или слишком дорогостоящим для хозяев.

Многие домашние животные страдают от неподобающего ухода. Владельцы теряют интерес к своим питомцам, не уделяют им должного внимания, или, что еще хуже, просто избавляются от них, когда те начинают требовать заботы и расходов. У некоторых людей наблюдается явный дефицит понимания того, что животное — это не игрушка, а живое существо со своими потребностями, чувствами и эмоциями.

Случаи, когда люди держат по десять собак или десятки кошек, очень распространены. Это не только приводит к перенаселению на скромных десятках квадратных метрах и недостатку ресурсов (питания, медицинской помощи), но и создает условия для стресса как для животных, так и для самих хозяев. К тому же, такие ситуации могут стать источником неприятностей для соседей и общества в целом, ведь нарушение санитарных норм и правил содержания животных может негативно сказаться на окружающих.

На фоне этого представляется, что зоозащитники и ветеринары в более контролируемых средах, таких как зоопарки и цирки, действительно могут иметь более высокие стандарты ухода за животными. Ветеринары следят за состоянием здоровья подопечных, работают над профилактикой заболеваний и обеспечивают необходимое лечение. В отличие от этого, комнатные эксперименты с экзотическими питомцами или бесконтрольное разведение собак и кошек нередко оставляют животных без необходимой помощи или даже приводят к их гибели.

Вполне возможно, что введение законов, регулирующих количество домашних животных на одного человека, а также обязательное обучение будущих владельцев о правильном уходе за питомцами, поможет уменьшить количество случаев жестокого обращения. Кроме того, необходимо создать программы по стерилизации и кастрации, чтобы сократить количество брошенных на улицу и неуместно содержащихся домашних животных.

Итак, важно сосредоточить усилия не только на защите животных в цирках и зоопарках, но и на повышении осведомленности об ответственном отношении к питомцам в домашних условиях. Необходимо помнить, что каждый из нас несет ответственность за тех, кого мы приручили, и это требует уважения и заботы.

У меня всё!

Показать полностью

Ответ на пост «Виновник теракта»1

Вот еще одна версия, которая не выходит у меня из головы.

Оправдание произошедшего классическими религиозными террористами - это удобно, просто и понятно. Но на этот раз они не классические, а приехавшие на заработки.

Подброшу гавна на вентилятор. Не самую приятную версию из разряда теории заговора.

Не так давно по всей стране работали мошеннические "условные кол-центры", которые зарабатывали на наивных стариках 200-300 млн.р./мес. Совсем недавно хлопнулся киви-банк, который предположительно получил нагоняй и ЦБ наконец-то отозвав лицензию. И теперь в РФ у мошенников зависают миллиарды рублей, которые трудно куда-то потратить.

На что способны такие кол-центры, судя по СМИ доведение до самоубийства не редкость. Поэтому мне видится что куратор просто продал информацию о наивных гастарбайтерах либо на запад, либо политическим противникам, либо на восток, а дальше уже прорабатывали программу и отрабатывали деньги, суммы там явно больше, чем озвучивают исполнители.

Почему эта версия плохо вписывается в реальность: ну классические мошенники, действуют более аккуратно что-ли в рамках закона. Оружие не продают и не покупают.

Почему имеет право на жизнь: люди из гастарбайтеров стали террористами, это не обычная вербовка, мне напоминает НЛП, которое обычно описывают о действиях мошенников, могли ли они дать такой уровень.

Отличная работа, все прочитано!