В Новосибирском государственном университете создали единую онлайн-платформу для распознавания объектов⁠⁠

Облачные сервисы, размещенные на платформе iOk, избавят исследователей в сфере микроскопии, материаловедения, фармакологии от рутинной работы по подсчету и определению параметров объектов на изображениях. Также они найдут применение в промышленности и строительстве.

Платформа iOk включает набор облачных цифровых сервисов для автоматического анализа изображений с применением методов глубокого машинного обучения и искусственного интеллекта. На платформе размещены три сервиса. Универсальный телеграмм-сервис No Code ML предназначен для классического обучения нейронной сети на датасетах пользователя. Другой сервис — DLgram — разработан для распознавания многочисленных однородных объектов различного характера. Включает обучение нейронной сети пользователем по размеченному участку с этого же изображения. Онлайн-сервис ParticlesNN разработан для автоматического распознавания наночастиц на изображениях сканирующей зондовой микроскопии (СЗМ) и электронной микроскопии (ЭМ) обученной нейронной сетью.

Все сервисы предусматривают обучение нейронной сети на объектах пользователя, автоматическое распознавание объектов на изображениях и возможность корректировки результатов распознавания пользователем. Также они производят анализ обнаруженных объектов и определение их параметров, таких как количество, размеры, площадь и концентрация. Сервисы способны работать с различными изображениями — снимками с электронных микроскопов, фотоснимками с цифровых камер (в том числе со смартфонов), видеозаписями. Они распознают различные объекты: наночастицы, микроорганизмы, клетки, семена растений, а также более крупные объекты — животных, растения, различные детали, транспортные средства и многое другое. При этом для работы с сервисами от пользователя не требуется владеть никакими специальными навыками программирования или разбираться в нейронных сетях. Не нужна и предварительная обработка изображения. Результаты предоставляются в виде информации обо всех обнаруженных объектах, и при необходимости пользователь может их корректировать.

— Идея создания первого онлайн-сервиса ParticlesNN поступила к нам от нашего преподавателя из Института катализа им. Г.К. Борескова СО РАН Анны Нартовой в 2019 году. Преследовалось две цели — избавить научных работников от рутинной работы и сэкономить их время. Мы начали с изображений сканирующей зондовой микроскопии, которая в настоящее время является золотым стандартом при изучении и создании новых материалов. При этом довольно часто стоит задача характеризации изображений, полученных с микроскопа: необходимо определить, например, средний размер объектов или их количество. Ученым приходилось производить эти манипуляции вручную, затрачивая массу усилий и времени. Существовали автоматические методы обработки изображений, основанные на так называемых пороговых подходах, но они давали хорошие результаты только на изображениях высокого качества, а шумы и области засветки воспринимались как отдельные объекты и результаты оказывались недостоверными. В создании наших сервисов мы решили использовать современные методы компьютерного зрения, основанные на методах искусственного интеллекта, — рассказал заведующий лабораторией глубокого машинного обучения в физических методах Института интеллектуальной робототехники НГУ Андрей Матвеев.

Ученые пошли стандартным для глубокого машинного обучения путем — разметили более 5 тысяч объектов и на них обучили нейронную сеть Cascade Mask-RCNN, работающую на сервере Института интеллектуальной робототехники НГУ. Программа выдавала некоторые погрешности, но в целом результаты оказались неплохими: в количестве объектов встречались ошибки, но средний размер объектов определялся довольно точно. Подход был распространен и на анализ данных электронной микроскопии — самого распространенного семейства методов в современном материаловедении. Результаты работы были опубликованы в научных журналах и получили позитивные оценки.

— Мы решили сделать эту нейронную сеть доступной для пользователей других лабораторий и научных институтов и создали веб-сервис ParticlesNN. Пользователь может загрузить свое изображение, получать статистические результаты его обработки и корректировать их. Но у этого сервиса имеются и недостатки — он может работать только с теми типами объектов, на которых обучалась нейросеть. Мы поняли, что каждый раз обучать ее работе с новыми типами объектов — задача довольно трудоемкая, поэтому решили разработать сервис, который позволял бы пользователю самому обучать нейронную сеть на нужных ему объектах. Так возник онлайн-сервис DLgram, а вскоре и No Code ML. Теперь же для удобства пользователей мы объединили их на одной платформе iOk. Уже сейчас суммарное количество ее пользователей составляет более 500 специалистов, — пояснил Андрей Матвеев.

Источник