Наверное, надо искать не в России. Прям совсем с нуля новые технологии разрабатывают учёные в ведущих институтах мира и публикуют свои результаты в научных журналах. Кто-то из "разработчиков" работает в крупнейших компаниях отрасли на главных должностях и попадают туда не по объявлениям, а по жирнейшим офферам, и на таких людей ведут охоту. Пример: https://www.computerra.ru/319866/tsukerberg-predlozhil-spets...

Все используют готовые модели, библиотеки и так далее?

Из "рядовых" разработчиков в России — да. Даже название GPT расшифровывается как Generative Pre-trained Transformer, то есть «генеративный предобученный трансформер».

Которые нужно только настраивать?

Если брать готовую предобученную модель, то её чаще приходится дообучать (файнтюнить) на тех данных, которые Вам нужны. Но никто не мешает скачать фреймворк для построения нейросетей почти с нуля, где вы сами сможете настроить нужное вам количество слоёв, количество нейронов в слоях, типы соединения слоёв, выбрать функции активации, типы нейронов и множество других параметров и обучить свою нейронную сеть с нуля на нужных вам данных для нужных вам задач.

Почему мой муж - опытный программист не может мне ничего объяснить и сам мало что понимает?

Опытный программист ещё не значит, что человек знает абсолютно всё про компьютеры. Программист, скорее всего, не знает всё про работу компьютерных сетей, как взламывать банки или как починить компьютер. Нет ничего удивительного, что он не разбирается глубоко в этой теме.

Хоть кто-то вообще понимает, какое отношение математический аппарат по перемножению матриц имеет к модели нейронной сети?

Много кто понимает. Отношение абсолютно прямое. На самом нижнем уровне это единственная вещь, которую делают нейросети. И именно поэтому для обучения и работы нейросетей требуется огромное количество видеокарт, так как они были заточены под такие вычисления изначально.

Или действительно эти технологии выстрелили за такой короткий промежуток времени неспроста?

Неспроста, так как видеокарты только с недавнего времени дают огромные вычислительные мощности за невысокую стоимость. Раньше создавать нейросети с таким огромным количеством параметров, как сейчас, было экономически нецелесообразно. Если интересно, можете прочитать про историю этой технологии, ей уже очень много лет.

И всё не так, как нам преподносят?

Смотря кто и что Вам преподносит, и что Вы имеете в виду.