Как мы делаем Neko — гаджет, чтобы кайфовать от игры на электрогитаре в XXI веке: Часть 2
В первой части я рассказал, как появилась идея Neko. Почему не стал её делать сразу, а дал возможность настояться. Сколько стоит такую идею реализовать, с какими проблемами столкнулся, и как эти проблемы решал. Как идея стала превращаться в продукт, как прорабатывали дизайн.
Погнали дальше, самое интересное впереди :)
Через тернистый итеративный путь интервью и анализа существующих устройств в частности, и рынка вообще (не без влияния собственной невероятной экспертизы, конечно же) сформулировал такой продукт:
Это Неко — 2 радио-джека, который вставляются в тушку слева и справа. И вид в сложенном состоянии спереди и сзади
Это устройство не только для продвинутых музыкантов (для которых прибор должен стать лучшим предложением по цене/качеству, и удобно решать все рутинные музыкальные задачи).
Но и для для новичков, чтобы после работы за 15 минут взять гитару в руки и создать шедевр, и испытать радость созидания. Эта радость станет топливом, на котором человек будет дальше заниматься музыкой, и учиться игратьТехнически это процессор, радиосистема, рекордер и AI сервисы в одном флаконе с доступом в интернет, спроектированный так, чтобы его использование было максимально простым:
— Есть 6,3 мм радио-джек, который подключается к электрогитаре или басу с активными или пассивными звукоснимателями. Радио продублировано возможностью подключиться проводом в гнездо, в которое вставляется радио-джек в состоянии покоя
— Есть 6,3 мм радио-джект для подключения к гитарному усилителю (небалансный) или микшерскому пульту (балансный). Тоже продублирован возможностью проводного подключения
— Есть небольшой встроенный динамик, чтобы играть прямо в устройство, если лениво включать хоть что-то ещё
— Есть 3,5 мм выход на наушники low-z и high-z, чтобы подключать и обычные и профессиональные наушники
— Есть USB-C, при подключении которого мы получаем звуковую карту с 2 входами (радио + проводной) и двумя выходами (радио + проводной)Программно, самые важные функции:
— Самый крутой гитарный процессор, о нём ниже
— AI-функции: Аранжировщик, Стем-сплиттер, Транскрайбер партий в MIDI и табы. Ну и TimeMachine — сохранение и разметка всех сыгранных риффов, чтобы потом легко вспомнить, что ты там играл и редактировать в mini-DAW
— Не AI-функции: рекордер, метроном, тюнер, лупер, мультитрек-плейер, mini-DAW
— Ну и раз уж оно подключено к Интернету, пусть получает постоянные обновления функциональности. В идеале, чтобы эту функциональность могло создавать комьюнити разработчиков-музыкантов (я знаю, нас много :)
Чтобы уточнить важность наличия этих функции (а это людям вообще надо?) и их реализуемость (а это вообще возможно сделать в нужно форм-факторе?), начали собирать разные прототипчики.
Прототип генеративки
Neko должен помогать любителям музыки реализовать свою потребность творить без необходимости учиться играть на гитаре пяток лет. Для этого нужен AI-аранжировщик треков (зачастую сыгранных далеко не идеально).
Такой вот ботик, слышно как я там высекаю Pantera — Planet Caravan на не подключенной, а дальше оно превращается в клёвый LoFi
Чтобы как-то быстро, без необходимости паять девайс, пощупать — а реально ли в этом есть кайф, собрали ботика в телеграм: https://t.me/IntNekoTechBot (не реклама, всё бесплатно, пользуйтесь на здоровье).
Ему можно кинуть голосовуху с сыгранным гитарным риффом или заранее записанную вавку. А он в ответ вернёт готовый трек с аранжировкой твоего риффа.
Рассказал о боте в канальчике, подождал первого фидбека пользователей:
Самое крутое, что людям нравится этим пользоваться
На данных это выглядит, как полка retention — люди находят ценность и возвращаются
Дополнительно получили распределение жанров, которое интересует гитаристов. Это тоже полезная инфа
Ну вроде бы и устаканилась функциональность софта. Как-будто бы осталось только написать из запихнуть в железку. А что там, кстати, за железка в итоге?
Прототипы железа и гитарное радиостроение
Изначально план был такой — берём мощный Cortex-M микроконтроллер для бизнес-логики, присоединяем к нему мощный DSP, на котором делаем неплохо звучащий гитарный процессор.
На Авито нашёл мощный DSP TMS320C6745 на индийских демо-бордах, из индусов вытрясли софт, завели платы. Параллельно собрали приёмо-передатчики для радио-джеков из какого-то хлама, уже не помню, если честно.
Всё заработало, но стало очевидно, что:
Сделать крутой гитарный процессор на DSP — это долго, дорого и на четвёрочку. А нужно быстро, дёшево и на пять с плюсом
Сделать крутую радиосистему — это вообще нетривиальная задача. Всё, что есть на рынке либо дорого и слишком профессионально (хорошо звучит, но долго подключать, плюс большой габарит). Либо не дорого, но качество такое себе — подъедает динамику игры, делает ощущения от игры неживыми
Нужен другой путь. Поехали решать по очереди.
Процессор: гитарный и центральный
Очевидно, делать гитарный процессор с нуля — не вариант. Но тут на помощь пришёл Open Source проект NAM — Neural Amp Modeler.
Это нейросетевой алгоритм, который позволяет создавать и проигрывать слепки звучания любых гитарных усилителей и колонок. Звучит на уровне лучших гитарных процессоров за тысячи долларов. Сюда!
Интерфейс того самого NAM. Насколько круто звучит, настолько им неудобно пользоваться. Но это мы как раз починим нашим божественным UI
Заодно существует ресурс TONE3000, куда сообщество энтузиастов загружает тысячи таких слепков. Хмм, сразу захотелось сделать с ними прямую интеграцию, чтобы пользователь Neko мог загружать их напрямую прямо в девайс и играть.
Это мы с пацанами из Tone3000 болтаем. Офигенные ребята, играют вместе в группе Balkans, у кого есть Спотифай зацените
Созвонились с основателями TONE3000, поболтали о музыке, договорились об интеграции. Огонь, теперь у Neko есть не просто крутой процессор, а вообще всё возможное оборудование в мире в кармане.
Подумали с ребятами, решили, что концепция устройства меняется — давайте откажемся от связки микроконтроллер + DSP, а возьмём мощный проц, чтобы на нём запускать Linux, а под Linux запускать всё что нам нужно.
Но нельзя просто так взять и выбрать процессор для фабричного устройства. Важно понять, не снимут ли его с производства, ровно в день, когда нужно будет делать релиз.
Важно понимать, где их покупать. Потому что, например, заказ в жалкие 5 000 — 10 000 штук (на который ещё нужно умудриться наскрести денег) никому из производителей не интересен.
В общем, прикинули требования — перфоманс, NPU с поддержкой floating point (чтобы запускать нейросети прямо офлайн), потребление, цена, бла-бла-бла. А наши китайцы с фабрики помогли выбрать нужный вариант — Rockchip RK3576.
Рокчип, ёпт, да его за одно название надо в Neko брать!
Купили на нём платки-отладочки, покрутили, завели периферию, написали драйвера. А китайские драйвера — это то ещё счастье. Запустили альфу — процессор работает, играет просто офигенно.
Радиосистема
Для радиосистемы пришлось делать целое RND, там у нас несколько, не побоюсь этого слова, ноу-хау, и вообще оно играет лучше, чем средняя радиосистема за $200-300.
В паре слов суть проблемы: электрогитара с подключенным усилителем образуют единый инструмент, влияя друг на дружку, и на ощущения гитариста, которые проявляются в его эмоциях на шоу.
Вставляя радиоканал между гитарой и усилителем, мы нарушаем их прямую связь, искажая ощущения и эмоции от игры. Музыканты это описывают, как "пропадает лампа", "не дышит" или даже "ну это галоша ссаная". И это реальные ощущения, хоть термины и не совсем технические.
Не буду вдаваться в детали, но мы купили пяток радиосистем, аудиокарт и другой гитарной техники. Разобрали, проанализировали, замерили, поиграли, сделали выводы.
Поспорили, пофантазировали, накидали гипотез, порисовали схем, собрали несколько прототипов. Финальный оказался самым крутым, как раз с теми самыми хау-ноу. Здесь готово.
MVP, EVT, DVT и другие слова из трёх букв
Если можно как-то одним словом описать разработку в компании Neko Engineering — это точно фраза «давайте сначала сделаем как-то, а потом хорошо».
Здесь наш подход идеально вписывается в принятые в индустрии hardware-разработки этапы:
MVP (Minimum Viable Product) — железяка из говна и палок, которая как-то реализует нужные функции. Это как раз, то что у нас получилось выше — устройство, которое работает по радиоканалу с гитарой, делает звук крутым и генерирует треки. Его сильно весело использовать, но только мне
EVT (Engineering Validation Test) — здесь наша железка должна не просто как-тореализовать нужные функции, а делать это хорошо. Должны заработать все ключевые компоненты во всех нужных режимах.
Устройство должно как-то начать принимать свои финальные очертания. Такую железку можно дать самым преданным пользователям и они получат от него кайф. Мы вот как раз его прошли
DVT (Design Validation Test) — железку выше мы пихаем в полностью продакшен-корпус, для которого подбираем материалы. На этом этапе устройство должно выглядеть вот именно так, как его нарисовали, но при этом ещё и собираться, работать, и стоить примерно тех денег, которые заложены в его экономику
PVT (Production Validation Test) — железку выше мы приносим на фабрику нашим друзьям-китайцам и просим поколдовать, чтобы устройство можно было оптимально и с минимальными изменениями производить на конвейере. К этому этапу мы готовимся уже сейчас, заранее консультируясь с фабрикой
Как вы догадались, мы на этапе EVT. Сделаны первые 90% работы, но впереди нас ждут вторые 90% работы, ну а там и третьи :)
Параллельно с инженеркой делается ещё куча операционной работы — проработка запуска (планируем запуститься на Кикстартере, а для этого нужно неплохо так подготовиться).
Проработка необходимой структуры юр лиц (мы же говорим о музыкальной генеративке, там нужно подложить соломки, а ещё компаниям из России не то чтобы сейчас рады на мировом рынке, но всё решается).
Ну и ещё куча всего интересного, ради чего хочется не спать ночами, тратить туда всё свободное время и деньги.
Заключение
В общем, получается реально мощный девайс, который жутко интересно делать. Я невероятно счастлив, что удалось собрать лютую команду мега-спецов, щёлкающих сложные инженерные задачи, как орешки.
И, если честно, уверен, что даже если снова что-то пойдёт не так (а оно точно пойдёт!) и мы вот прям не найдём решение, и снова история закончится фейлом — это будет один из самых крутых и приятных фейлов, в которых я участвовал.




Это. Просто. Ох#енно!
А пока мы работаем, чтобы устройство, созданное в наших головах, мы же и смогли пощупать.
Спасибо, что дочитали. Надеюсь, удалось рассказать что-то полезное, ну или просто повеселить. Пишите вопросы, с удовольствием на них отвечу!
\m/ Make guitar fun again! All you need is Neko!
—
Vadim Smirnov, Founder and CEO of Neko Engineering





































