Сначала алгоритм находит все, что может идентифицировать на изображении, а потом генерирует из получившихся слов предложения таким образом, чтобы описать взаимодействие предметов.

Например:
- Фиолетовая камера с женщиной
- Женщина держит камеру в толпе
- Женщина держит кота

После этого предложения анализируются на логичность и алгоритм выбирает наиболее вероятный вариант. В данном случае – женщина держит камеру в толпе.

Работая над этим проектом, в Microsoft хотят получить хотя бы частичные возможности искусственного интеллекта. В данном случае, возможность лингвистически интерпретировать визуальные образы.