Исследовательский проект Microsoft сможет делать подписи к фотографиям

0
164

Исследователи Microsoft работают над технологией, позволяющей автоматически идентифицировать объекты на снимках, интерпретировать фотографии и делать точные подписи.

Данный инструмент важен сам по себе. Но способность машины правильно описывать то, что происходит на фотографиях, имеет более широкое применение. Проект поможет Microsoft продвинуться в области искусственного интеллекта и разработке систем, которые могут видеть, слышать, говорить и даже понимать.

В течение многих десятилетий исследователи искали решения данной проблемы, но большинство из разработанных систем неправильно выполняли свои функции. Все изменилось, когда исследователи додумались использовать нейронные сети, представляющие собой компьютерные вычислительные элементы. Данная технология позволила значительно уменьшить количество ошибок.

Соревнование в области создания наиболее информативных и точных подписей MS COCO Captioning Challenge заканчивается в эту пятницу.

Все конкурсанты использовали базу изображений, называемую Microsoft COCO. Цель конкурса — придумать лучший алгоритм создания подписи на основе этого набора данных.

Алгоритм от Microsoft делает автоматические заголовки в несколько шагов. Во-первых, он предсказывает слова, которые, вероятно, появятся в надписях, используя то, что называется сверточной нейронной сетью для определения содержания изображений. Сверточная нейронная сеть обучается на многих примерах изображений и подписей, и автоматически узнает такие функции, как цветовые пятна, формы и другие особенности. Это подобно тому, как человеческий мозг идентифицирует объекты. Далее он использует языковую модель подбора слов для создания возможных подписей.  Затем проходит проверка, измеряющая общую семантическую близость между заголовком и изображением, чтобы выбрать лучшую подпись.

Так как технология постоянно совершенствуется, исследователи видят широкие возможности для использования подобных инструментов в области искусственного интеллекта.