Челябинские школьники написали приложение, которое распознает растения по фотографии
Привет народ!
Сегодня увидел себя на Пикабу и решил немного поведать вам об этой истории с моей точки зрения. Кстати, автор поста просто скопировал новость отсюда.
Меня зовут Женя. Я и @alxmamaev - разработчики проекта «Botanic». Я написал android-приложение, а мой друг создал нейросеть.
- "Мальчик, ты кто? Где пруфы?"
Начну с того, что пакет android приложения (com.hackerzhenya.flower), содержит мой ник.
Мало? Вот скрин из Google Developer Console
Хорошо, разобрались, мы - настоящие!
Собственно, сама история.
Год мы учились в IT школе Samsung. В конце года каждый должен был показать какой-либо финальный проект. Собственно, наше приложение таковым и является. Писать нужно было на java (это обязательное условие).
Вначале нейросеть умела распознавать только 5 цветков.
Мы выступили на региональном этапе и стали ждать вестей из samsung'а. Они прислали нам письмо, в котором говорилось, что мы прошли в финал. Еще там было это:
До финала оставалось пол месяца.
Мы подумали: "Грибочки? Ну, можно и грибочки!", и добавили их. Также увеличили количество цветов с 5-ти до 9-ти. Я добавил несколько UI фич в приложение. К этому моменту время закончилось. Я сделал сборку, выложил в маркет, отправил жюри и начал медленно собирать чемодан: впереди - Москва!
Вот мы на сцене (Я слева, Саша справа)
Тут жюри оценивает приложение. Для этого мы раздали им брошюры с фотографиями цветов и грибов.
Да, были и интересные и сложные работы. Вот список всех финалистов с их проектами.
Всего было 3 номинации: «Социальное приложение», «Игровое приложение» и «Программирование».
Вот результат наших стараний:
Отвечу на популярные вопросы:
- "Почему так плохо распознает?!"
- Потому что нейросеть не глубокая. Она состоит из четырех слоев свертки и трех слоев пуллинга. Если бы мы использовали более глубокую нейронную сеть, на ее тренировку с имеющимся у нас железом ушла бы не одна тысяча лет!
- "Почему так мало растений?!"
- На каждое растение Саша вручную отбирал по 1-1,5k картинок, ибо было много мусора в выдаче по запросу. Источником были Google и Flickr.
Вот пример: мы ищем ромашку (daisy). Но если опуститься ниже, то можно увидеть совсем не то, что нам нужно. К примеру такое:
Не очень похоже на ромашку, правда? :)
- "Почему не сделать ошибку при низкой вероятности?"
- Мы пытались. Все дело в особенности работы сервера. Картинка сжимается до 32x32 пикселей. Это равносильно тому, что смотреть на растение с расстояния 200м. При таком низком разрешении нейросеть не может точно определить, что находится на картинке. Поэтому она высказывает свое предположение, наиболее похожее на те материалы, которые участвовали в обучении.
Не забывайте, что проект дипломный, про продакшен на данном этапе никто не говорил!
Кстати, ничто не стоит на месте и теперь у нас есть железо для новых свершений!
На все вопросы я и Саша постараемся ответить в комментариях.
Спасибо за внимание!