Яндекс запустил новый переводчик текста на изображениях

Яндекс представил новую версию технологии перевода текста на фото и изображениях на базе нейросетей. Компания одной из первых в мире применила большую языковую модель, чтобы переводить картинки с учётом контекста.

Модель семейства YandexGPT понимает стиль оригинального текста и может сохранить игру слов, например, на фотографиях рекламных слоганов или газетных заголовков.

Технология стирает оригинальный текст с изображения и располагает новый, переведённый поверх него: алгоритмы подбирают шрифт, размер и цвет букв, убирают различные помарки таким образом, чтобы переведённые изображения выглядели максимально естественно. Новая модель способна распознавать стиль оригинального текста и может сохранить игру слов. Нейросеть распознаёт переносы слов и может понять их значение, даже если в кадр попала только часть текста.

Новая версия уже доступна в «Переводчике» и «Браузере». Позже обещают добавить в «Умную Камеру».