Ответ на пост «Сэм Альтман заявил, что иметь больше 8 ГБ оперативной памяти в домашнем ПК — это "непозволительное расточительство и эгоизм"»11
В исходном посте слова Альтмана исказили - он ничего не говорил об эгоизме, только об эффективности использования ресурсов ("From a global allocation perspective, actually it’s quite terrible to have everyone have a bunch of the world’s limited supply of DRAM sitting in their own computer, and be used 5% of the time. ... Like, you want maximum utilization in the cloud if you're trying to deal with this very supply constrained environment. And somehow many people's intuition is the opposite of that")
И как раз на днях попалась пара новостей об эффективности.
ИИ-бум обогатил лишь семерых: остальные 493 компании S&P 500 пока не видят отдачи от инвестиций
Nvidia сама спровоцировала дефицит видеокарт GeForce — ради ИИ-чипов, которым негде работать
... Дефицит игровых видеокарт и оперативной памяти стал следствием не естественной нехватки полупроводниковых компонентов, а намеренной политики Nvidia. Компания перенаправила производственные мощности на выпуск оборудования для искусственного интеллекта и стала навязывать его корпоративным клиентам, у которых ещё нет инфраструктуры для его эксплуатации.
...Только в августе облачное подразделение Amazon Web Services (AWS) получило от Nvidia ускорители на сумму $5 млрд, обязательства компании по дальнейшим закупкам составляют ещё $3 млрд ежемесячно. Но задействовать закупаемое в таких объёмах оборудование ни Amazon, ни другие технологические компании не могут: модернизация энергосетей и строительство центров обработки данных значительно отстают от графика поставок
...Nvidia, по мнению аналитиков, занимается затовариванием каналов сбыта — она играет на страхе корпоративных клиентов упустить выгоду и добивается предоплаты за оборудование, которое те не могут сразу использовать.
В общем, бигтехи с перепугу закупают оборудование, которое ещё неизвестно, когда смогут использовать, реальная польза от ИИ пока ограниченна, зато цены на оперативку и видеокарты улетают в космос. Но квартальные отчеты у NVIDIA выглядят дофига эффективно.
Подумалось ещё, что будет забавно, если через годик-другой разработают новую прорывную архитектуру ИИ, которая потребует совсем других ускорителей вычислений, и разом сделает устаревшей всю эту гору железа. Но поживём - увидим.
