Новый алгоритм достаточно эффективен, но неизвестно, как он работает с редкими языками

Компания Facebook анонсировала новый искусственный интеллект, который сможет выполнять прямые парные переводы между более чем 100 языками. Об этом сообщает Phone Mantra со ссылкой на Engadget, который общался с исследовательницей искусственного интеллекта Анджелой Фан. Система сможет переводить тексты без использования английского в качестве промежуточного языка, сообщает comments.ua.

Большинство переводчиков сначала переводят тексты из исходного текста на английский, а затем на другой иностранный язык. Из-за этого процесс усложняется и теряется точность некоторых элементов текста. По словам Фан, новый ИИ сможет производить двунаправленные переводы (например, с французского на китайский и наоборот) без использования английского. Согласно BLEU (алгоритм оценки качества переведенного текста) качество перевода на 10 баллов выше, чем при использовании англоязычной модели.

Чтобы создать новый ИИ, команда Facebook использовала службу CommonCrawl для сбора образцов текста со всего Интернета. После этого разработчики проанализировали весь материал с помощью системы FastText, которую компания создала несколько лет назад. В результате удалось сформировать базу данных из 7,5 миллиардов предложений, которые система использует для перевода.

Со сколькими языками система сможет работать в будущем, пока неясно. По словам Анджелы Фан, все зависит от ресурсов, которые будут в распоряжении системы. Основные языки, такие как индийский, китайский или немецкий, содержат много материала, потому что они публикуют много текстов в Интернете. Но есть еще много проблем с такими языками, как зулу, которые встречаются крайне редко.