Через тернистый итеративный путь интервью и анализа существующих устройств в частности, и рынка вообще (не без влияния собственной невероятной экспертизы, конечно же) сформулировал такой продукт:

1. Это устройство не только для продвинутых музыкантов (для которых прибор должен стать лучшим предложением по цене/качеству, и удобно решать все рутинные музыкальные задачи).
   
   Но и для для новичков, чтобы после работы за 15 минут взять гитару в руки и создать шедевр, и испытать радость созидания. Эта радость станет топливом, на котором человек будет дальше заниматься музыкой, и учиться играть
   

2. Технически это процессор, радиосистема, рекордер и AI сервисы в одном флаконе с доступом в интернет, спроектированный так, чтобы его использование было максимально простым:
   — Есть 6,3 мм радио-джек, который подключается к электрогитаре или басу с активными или пассивными звукоснимателями. Радио продублировано возможностью подключиться проводом в гнездо, в которое вставляется радио-джек в состоянии покоя
   — Есть 6,3 мм радио-джект для подключения к гитарному усилителю (небалансный) или микшерскому пульту (балансный). Тоже продублирован возможностью проводного подключения
   — Есть небольшой встроенный динамик, чтобы играть прямо в устройство, если лениво включать хоть что-то ещё
   — Есть 3,5 мм выход на наушники low-z и high-z, чтобы подключать и обычные и профессиональные наушники
   — Есть USB-C, при подключении которого мы получаем звуковую карту с 2 входами (радио + проводной) и двумя выходами (радио + проводной)
   

3. Программно, самые важные функции:
   — Самый крутой гитарный процессор, о нём ниже
   — AI-функции: Аранжировщик, Стем-сплиттер, Транскрайбер партий в MIDI и табы. Ну и TimeMachine — сохранение и разметка всех сыгранных риффов, чтобы потом легко вспомнить, что ты там играл и редактировать в mini-DAW
   — Не AI-функции: рекордер, метроном, тюнер, лупер, мультитрек-плейер, mini-DAW
   — Ну и раз уж оно подключено к Интернету, пусть получает постоянные обновления функциональности. В идеале, чтобы эту функциональность могло создавать комьюнити разработчиков-музыкантов (я знаю, нас много :)

Чтобы уточнить важность наличия этих функции (а это людям вообще надо?) и их реализуемость (а это вообще возможно сделать в нужно форм-факторе?), начали собирать разные прототипчики.

Прототип генеративки

Neko должен помогать любителям музыки реализовать свою потребность творить без необходимости учиться играть на гитаре пяток лет. Для этого нужен AI-аранжировщик треков (зачастую сыгранных далеко не идеально).

Такой вот ботик, слышно как я там высекаю Pantera — Planet Caravan на не подключенной, а дальше оно превращается в клёвый LoFi

Чтобы как-то быстро, без необходимости паять девайс, пощупать — а реально ли в этом есть кайф, собрали ботика в телеграм: https://t.me/IntNekoTechBot (не реклама, всё бесплатно, пользуйтесь на здоровье).

Ему можно кинуть голосовуху с сыгранным гитарным риффом или заранее записанную вавку. А он в ответ вернёт готовый трек с аранжировкой твоего риффа.

Рассказал о боте в канальчике, подождал первого фидбека пользователей:

1. Самое крутое, что людям нравится этим пользоваться

2. На данных это выглядит, как полка retention — люди находят ценность и возвращаются

3. Дополнительно получили распределение жанров, которое интересует гитаристов. Это тоже полезная инфа

Ну вроде бы и устаканилась функциональность софта. Как-будто бы осталось только написать из запихнуть в железку. А что там, кстати, за железка в итоге?

Прототипы железа и гитарное радиостроение

Изначально план был такой — берём мощный Cortex-M микроконтроллер для бизнес-логики, присоединяем к нему мощный DSP, на котором делаем неплохо звучащий гитарный процессор.

На Авито нашёл мощный DSP TMS320C6745 на индийских демо-бордах, из индусов вытрясли софт, завели платы. Параллельно собрали приёмо-передатчики для радио-джеков из какого-то хлама, уже не помню, если честно.

Всё заработало, но стало очевидно, что:

1. Сделать крутой гитарный процессор на DSP — это долго, дорого и на четвёрочку. А нужно быстро, дёшево и на пять с плюсом

2. Сделать крутую радиосистему — это вообще нетривиальная задача. Всё, что есть на рынке либо дорого и слишком профессионально (хорошо звучит, но долго подключать, плюс большой габарит). Либо не дорого, но качество такое себе — подъедает динамику игры, делает ощущения от игры неживыми

Нужен другой путь. Поехали решать по очереди.

Процессор: гитарный и центральный

Очевидно, делать гитарный процессор с нуля — не вариант. Но тут на помощь пришёл Open Source проект NAM — Neural Amp Modeler.

Это нейросетевой алгоритм, который позволяет создавать и проигрывать слепки звучания любых гитарных усилителей и колонок. Звучит на уровне лучших гитарных процессоров за тысячи долларов. Сюда!

Заодно существует ресурс TONE3000, куда сообщество энтузиастов загружает тысячи таких слепков. Хмм, сразу захотелось сделать с ними прямую интеграцию, чтобы пользователь Neko мог загружать их напрямую прямо в девайс и играть.

Созвонились с основателями TONE3000, поболтали о музыке, договорились об интеграции. Огонь, теперь у Neko есть не просто крутой процессор, а вообще всё возможное оборудование в мире в кармане.

Подумали с ребятами, решили, что концепция устройства меняется — давайте откажемся от связки микроконтроллер + DSP, а возьмём мощный проц, чтобы на нём запускать Linux, а под Linux запускать всё что нам нужно.

Но нельзя просто так взять и выбрать процессор для фабричного устройства. Важно понять, не снимут ли его с производства, ровно в день, когда нужно будет делать релиз.

Важно понимать, где их покупать. Потому что, например, заказ в жалкие 5 000 — 10 000 штук (на который ещё нужно умудриться наскрести денег) никому из производителей не интересен.

В общем, прикинули требования — перфоманс, NPU с поддержкой floating point (чтобы запускать нейросети прямо офлайн), потребление, цена, бла-бла-бла. А наши китайцы с фабрики помогли выбрать нужный вариант — Rockchip RK3576.

Рокчип, ёпт, да его за одно название надо в Neko брать!

Купили на нём платки-отладочки, покрутили, завели периферию, написали драйвера. А китайские драйвера — это то ещё счастье. Запустили альфу — процессор работает, играет просто офигенно.

Радиосистема

Для радиосистемы пришлось делать целое RND, там у нас несколько, не побоюсь этого слова, ноу-хау, и вообще оно играет лучше, чем средняя радиосистема за $200-300.

В паре слов суть проблемы: электрогитара с подключенным усилителем образуют единый инструмент, влияя друг на дружку, и на ощущения гитариста, которые проявляются в его эмоциях на шоу.

Вставляя радиоканал между гитарой и усилителем, мы нарушаем их прямую связь, искажая ощущения и эмоции от игры. Музыканты это описывают, как "пропадает лампа", "не дышит" или даже "ну это галоша ссаная". И это реальные ощущения, хоть термины и не совсем технические.

Не буду вдаваться в детали, но мы купили пяток радиосистем, аудиокарт и другой гитарной техники. Разобрали, проанализировали, замерили, поиграли, сделали выводы.

Поспорили, пофантазировали, накидали гипотез, порисовали схем, собрали несколько прототипов. Финальный оказался самым крутым, как раз с теми самыми хау-ноу. Здесь готово.

MVP, EVT, DVT и другие слова из трёх букв

Если можно как-то одним словом описать разработку в компании Neko Engineering — это точно фраза «давайте сначала сделаем как-то, а потом хорошо».

Здесь наш подход идеально вписывается в принятые в индустрии hardware-разработки этапы:

• MVP (Minimum Viable Product) — железяка из говна и палок, которая как-то реализует нужные функции. Это как раз, то что у нас получилось выше — устройство, которое работает по радиоканалу с гитарой, делает звук крутым и генерирует треки. Его сильно весело использовать, но только мне

• EVT (Engineering Validation Test) — здесь наша железка должна не просто как-тореализовать нужные функции, а делать это хорошо. Должны заработать все ключевые компоненты во всех нужных режимах.
  
  Устройство должно как-то начать принимать свои финальные очертания. Такую железку можно дать самым преданным пользователям и они получат от него кайф. Мы вот как раз его прошли

• DVT (Design Validation Test) — железку выше мы пихаем в полностью продакшен-корпус, для которого подбираем материалы. На этом этапе устройство должно выглядеть вот именно так, как его нарисовали, но при этом ещё и собираться, работать, и стоить примерно тех денег, которые заложены в его экономику
  

• PVT (Production Validation Test) — железку выше мы приносим на фабрику нашим друзьям-китайцам и просим поколдовать, чтобы устройство можно было оптимально и с минимальными изменениями производить на конвейере. К этому этапу мы готовимся уже сейчас, заранее консультируясь с фабрикой

Как вы догадались, мы на этапе EVT. Сделаны первые 90% работы, но впереди нас ждут вторые 90% работы, ну а там и третьи :)

Параллельно с инженеркой делается ещё куча операционной работы — проработка запуска (планируем запуститься на Кикстартере, а для этого нужно неплохо так подготовиться).

Проработка необходимой структуры юр лиц (мы же говорим о музыкальной генеративке, там нужно подложить соломки, а ещё компаниям из России не то чтобы сейчас рады на мировом рынке, но всё решается).

Ну и ещё куча всего интересного, ради чего хочется не спать ночами, тратить туда всё свободное время и деньги.

Заключение

В общем, получается реально мощный девайс, который жутко интересно делать. Я невероятно счастлив, что удалось собрать лютую команду мега-спецов, щёлкающих сложные инженерные задачи, как орешки.

И, если честно, уверен, что даже если снова что-то пойдёт не так (а оно точно пойдёт!) и мы вот прям не найдём решение, и снова история закончится фейлом — это будет один из самых крутых и приятных фейлов, в которых я участвовал.

А пока мы работаем, чтобы устройство, созданное в наших головах, мы же и смогли пощупать.

Спасибо, что дочитали. Надеюсь, удалось рассказать что-то полезное, ну или просто повеселить. Пишите вопросы, с удовольствием на них отвечу!

\m/ Make guitar fun again! All you need is Neko!

—

Vadim Smirnov, Founder and CEO of Neko Engineering