Карта инфраструктурных стартапов по работе с данными
Настало время для 2-ой карты, посвященной частным компаниям, стоящим в основе восхода ИИ.
Для большинства они темные лошадки, поэтому предлагаю посмотреть на них через призму жизненного цикла данных и какую роль они в этом играют. Ниже выделяю 6 основных ступеней (и ведущих игроков):
1. Маркировка данных — около 90% данных не структурированы (картинки, видео, аудио) и не могут быть считаны компьютером. ScaleAI и Labelbox помогают машине правильно интерпретировать такие данные, привлекая сотни людей, которые сначала вручную помечают данные для конкретных use cases.
2. ELT — данные из различных источников нужно загрузить в единую базу данных и трансформировать в необходимый формат под нужды аналитики благодаря Dbt и Fivetran.
3. Базы данных — единое место хранения данных и отправная точка для подготовки к анализу. Могут быть самых разных архитектур, от простых хранилищ, распределенных SQL (Cockroach) и графовых (TigerGraph) до озер данных (Databricks).
4. Управление и мониторинг — инструменты для полного контроля за движением данных и оптимизацией их качества, доступа и безопасности. Среди ведущих решений выделяются Databricks, Grafana и Alation.
5. Бизнес аналитика (BI) — для обработки SQL запросов по нахождению конкретных табличных данных из общего массива, проведения анализа с визуализацией результатов. Для нужд BI отлично подходят Databricks, Starburst, Dremio или ThoughtSpot.
6. Машинное обучение (ML) — вершина текущего ИИ, где производится работа по построению, настраиванию и размещению нейросетей с оптимизацией параметров и весов. Такие платформы, как Databricks, Hugging Face и Dataiku служат для автоматизации и масштабирования предсказательной аналитики бизнесами.
Дальше круг начинается по новой. При правильном обращении, данные сегодня становятся определяющим фактором успеха бизнеса, а такие универсальные платформы, как Databricks, упрощают задачу по извлечению ценности и созданию конкурентного преимущества на рынке.
🔥 Надеюсь, карта окажется полезной для Вас. Следить за выходом новых материалов приглашаю Вас в тг канал Венчурная Прожарка. Подписывайтесь и делитесь с друзьями, а пока что до скорого!
