Microsoft выпустила Seeing AI — мобильное приложение, которое с помощью компьютерного зрения описывает окружающий мир для людей с проблемным зрением. Пользователю достаточно направить камеру на человека, чтобы приложение рассказало, кто это и что он чувствует. Если навести объектив на продукт, то программа предоставит информацию и о нём. Всё это — благодаря искусственному интеллекту, который работает прямо на смартфоне. Чтобы «видеть» мир вокруг, Seeing AI работает с нейронными сетями. Большинство базовых функций приложения выполняются прямо на мобильном устройстве — то есть достаточно быстро и без доступа к Интернету. Но некоторые экспериментальные возможности требуют подключения к облаку: например, описание целых сцен и распознавание почерка.

Приложение может быть полезно в целом ряде случаев. Оно узнаёт людей, которых «видело» раньше, и определяет возраст и эмоциональное состояние незнакомцев. Также программа идентифицирует продукты по штрих-кодам, сканирует документы и распознаёт американскую валюту.

"Я чаще всего использовал приложение для считывания знаков и меню. Программа не только осуществляет оптическое распознавание символов, но и направляет пользователя — просит переместить камеру правее или левее.Одна из вещей, которые мы хотели сделать — реализовать распознавание лиц на устройстве, и мы сделали так, что вы получите результат за несколько миллисекунд. Мы фокусируемся на скорости и стараемся делать как можно больше вещей прямо на устройстве " - говорит технический руководитель Seeing AI Сакиб Шейх (Saqib Shaikh).

Прототип Seeing AI компания показала ещё в марте прошлого года на конференции Build. Но теперь приложение можно скачать на iOS — бесплатно, но пока только в США. Когда программа выйдет на Android и станет доступна в других странах, не сообщается.