1062

Челябинские школьники написали приложение, которое распознает растения по фотографии

Привет народ!
Сегодня увидел себя на Пикабу и решил немного поведать вам об этой истории с моей точки зрения. Кстати, автор поста просто скопировал новость отсюда.
Меня зовут Женя. Я и @alxmamaev - разработчики проекта «Botanic». Я написал android-приложение, а мой друг создал нейросеть.


- "Мальчик, ты кто? Где пруфы?"
Начну с того, что пакет android приложения (com.hackerzhenya.flower), содержит мой ник.
Мало? Вот скрин из Google Developer Console

Челябинские школьники написали приложение, которое распознает растения по фотографии Botanic, Приложение, Конкурс, Челябинск, Приложение на Android, Нейронные сети, Цветы, Грибы, Длиннопост

Хорошо, разобрались, мы - настоящие!


Собственно, сама история.
Год мы учились в IT школе Samsung. В конце года каждый должен был показать какой-либо финальный проект. Собственно, наше приложение таковым и является. Писать нужно было на java (это обязательное условие).
Вначале нейросеть умела распознавать только 5 цветков.
Мы выступили на региональном этапе и стали ждать вестей из samsung'а. Они прислали нам письмо, в котором говорилось, что мы прошли в финал. Еще там было это:

Челябинские школьники написали приложение, которое распознает растения по фотографии Botanic, Приложение, Конкурс, Челябинск, Приложение на Android, Нейронные сети, Цветы, Грибы, Длиннопост

До финала оставалось пол месяца.
Мы подумали: "Грибочки? Ну, можно и грибочки!", и добавили их. Также увеличили количество цветов с 5-ти до 9-ти. Я добавил несколько UI фич в приложение. К этому моменту время закончилось. Я сделал сборку, выложил в маркет, отправил жюри и начал медленно собирать чемодан: впереди - Москва!

Вот мы на сцене (Я слева, Саша справа)

Челябинские школьники написали приложение, которое распознает растения по фотографии Botanic, Приложение, Конкурс, Челябинск, Приложение на Android, Нейронные сети, Цветы, Грибы, Длиннопост

Тут жюри оценивает приложение. Для этого мы раздали им брошюры с фотографиями цветов и грибов.

Челябинские школьники написали приложение, которое распознает растения по фотографии Botanic, Приложение, Конкурс, Челябинск, Приложение на Android, Нейронные сети, Цветы, Грибы, Длиннопост

Да, были и интересные и сложные работы. Вот список всех финалистов с их проектами.

Всего было 3 номинации: «Социальное приложение», «Игровое приложение» и «Программирование».

Вот результат наших стараний:

Челябинские школьники написали приложение, которое распознает растения по фотографии Botanic, Приложение, Конкурс, Челябинск, Приложение на Android, Нейронные сети, Цветы, Грибы, Длиннопост

Отвечу на популярные вопросы:

- "Почему так плохо распознает?!"
- Потому что нейросеть не глубокая. Она состоит из четырех слоев свертки и трех слоев пуллинга. Если бы мы использовали более глубокую нейронную сеть, на ее тренировку с имеющимся у нас железом ушла бы не одна тысяча лет!

- "Почему так мало растений?!"
- На каждое растение Саша вручную отбирал по 1-1,5k картинок, ибо было много мусора в выдаче по запросу. Источником были Google и Flickr.
Вот пример: мы ищем ромашку (daisy). Но если опуститься ниже, то можно увидеть совсем не то, что нам нужно. К примеру такое:

Челябинские школьники написали приложение, которое распознает растения по фотографии Botanic, Приложение, Конкурс, Челябинск, Приложение на Android, Нейронные сети, Цветы, Грибы, Длиннопост

Не очень похоже на ромашку, правда? :)


- "Почему не сделать ошибку при низкой вероятности?"
- Мы пытались. Все дело в особенности работы сервера. Картинка сжимается до 32x32 пикселей. Это равносильно тому, что смотреть на растение с расстояния 200м. При таком низком разрешении нейросеть не может точно определить, что находится на картинке. Поэтому она высказывает свое предположение, наиболее похожее на те материалы, которые участвовали в обучении.

Не забывайте, что проект дипломный, про продакшен на данном этапе никто не говорил!
Кстати, ничто не стоит на месте и теперь у нас есть железо для новых свершений!

На все вопросы я и Саша постараемся ответить в комментариях.

Спасибо за внимание!

Лучшие посты за сегодня
9452

Пикабушник пошёл!

6475

Там просто время замедляется, вот в чём дело

5351

Все дети разные

Показать полностью
5235

Мысли про мобилизацию

4839

Как меня мобилизуют..))

4831

Обидно((

Обидно((
4780

А может я и Брайан...

А может я и Брайан... Картинка с текстом, Сходство, Универ, Имена
4655

Освобождение мобилизованных с отсрочкой IT

Показать полностью
4551

Кто поспорит?

Кто поспорит?
4229

Не растерялась

Не растерялась Неловкий момент, Неловкость, Гифка
4188

Вот такая библиотека

Вот такая библиотека Санкт-Петербург, Фотография, Библиотека, Длиннопост
Вот такая библиотека Санкт-Петербург, Фотография, Библиотека, Длиннопост
Вот такая библиотека Санкт-Петербург, Фотография, Библиотека, Длиннопост
Вот такая библиотека Санкт-Петербург, Фотография, Библиотека, Длиннопост
Вот такая библиотека Санкт-Петербург, Фотография, Библиотека, Длиннопост
Вот такая библиотека Санкт-Петербург, Фотография, Библиотека, Длиннопост
Вот такая библиотека Санкт-Петербург, Фотография, Библиотека, Длиннопост
Вот такая библиотека Санкт-Петербург, Фотография, Библиотека, Длиннопост
Вот такая библиотека Санкт-Петербург, Фотография, Библиотека, Длиннопост
Вот такая библиотека Санкт-Петербург, Фотография, Библиотека, Длиннопост
Вот такая библиотека Санкт-Петербург, Фотография, Библиотека, Длиннопост
Вот такая библиотека Санкт-Петербург, Фотография, Библиотека, Длиннопост
Вот такая библиотека Санкт-Петербург, Фотография, Библиотека, Длиннопост
Вот такая библиотека Санкт-Петербург, Фотография, Библиотека, Длиннопост
Вот такая библиотека Санкт-Петербург, Фотография, Библиотека, Длиннопост
Показать полностью 15
4046

Взлетая выше неба

Взлетая выше неба Фотография, Лобовое стекло, Скол, Показалось, Парейдолия, Птицы
Показать полностью 1
4020

Лучший логотип

Лучший логотип Парейдолия, Логотип, Повтор, Картинка с текстом
Показать полностью 1
3818

Ответ на пост «Спасибо шлюхопатруль, за пояснения»

Ответ на пост «Спасибо шлюхопатруль, за пояснения» Мобилизация, Реклама, Частичная мобилизация, Политика, Ответ на пост, Скриншот
Показать полностью 1
3782

Шутки про Китай!

Шутки про Китай!
3599

Для отмобилизованных, про связь

Для отмобилизованных, про связь Частичная мобилизация, Совет, Сотовая связь, Поляк с поплавками, Длиннопост, Мобилизация
Показать полностью 1
3586

Дaгестанские торговцы розами, 1960-е

Дaгестанские торговцы розами, 1960-е
3482

Не забываем про важное

Не забываем про важное Донорство, Кровь, Длиннопост
Показать полностью 1
3433

Чернуха получилась...

Чернуха получилась... Черный юмор, Работа, Рука
3364

Ответ на пост «Бизнес по детски»

Похожие посты закончились. Возможно, вас заинтересуют другие посты по тегам: