Как работают программы машинного перевода?
Машинный перевод, хоть и не любим большинством переводчиков, является инструментом, который часто используется для решения таких задач в интернете, как переписка с иностранными партнерами, быстрый перевод сайтов, не имеющих официальной локализованной версии на родном языке, перевод комментариев и моментальных сообщений.
На базе информации, добытой таким образом, можно понять, о чем идет речь в целом, и нужен ли более точный и подробный перевод.
Программы машинного перевода можно разделить на переводящие пословно, по предложениям, и потекстово; на онлайн-сервисы и программы для персональных компьютеров. При этом с машинным переводом чаще всего ассоциируются с онлайн-сервисами, переводящими пофразово.
Чтобы понять, насколько программе сложно перевести не то что статью на сайте, но даже короткую фразу, которая будет отправлена как комментарий или личное сообщение, рассмотрим как такие программы работают.
Программе, чтобы переводить, требуется «знать» не только базовые правила грамматики двух языков и исключения к ним, но и уметь определить класс каждого слова, и прочие его атрибуты, такие как одушевленность или неодушевленность существительных, переходность глаголов.
Когда дело доходит до перевода, то программы действуют по следующей схеме:
- Подготовительный этап: сначала предложение разбивается на слова, производится их морфологический анализ и поиск в словаре значений их лексем. Потом производится синтаксический анализ предложения, в ходе которого выделяются придаточные предложения и определяется функция каждого отдельного слова.
- Лексический трансфер — каждому слову присваивается перевод на основе выявленного контекста, грамматической формы оригинала, а также пометок, сделанных в словарных статьях.
- Затем производится структурный трансфер — на этом этапе каждому слову присваивается место в предложении, устанавливаются структурные связи и производятся необходимые перестановки.
- Наконец, выбранным переводам слов придаются нужные (по мнению программы) грамматические формы.
Также различия есть и в механизме выбора вариантов перевода. Здесь подразделение идет на машинный перевод на базе лингвистических правил и на статистический метод машинного перевода. Первый базируется на доскональном анализе всех существующих правил, которые имеют жесткую привязку к конкретной языковой паре. Второй метод — статистический — выбирает на основе вероятности того, что конкретный вариант будет верным. Эта вероятность высчитывается по итогам анализа параллельных текстов на заданную тематику.
Программы, работающие на основе первого механизма, имеют большую точность и стабильность результата, особенно, когда производится перевод между языками с сильно разнящейся структурой и порядком слов. Однако для их создания требуются большие усилия по оснащению программы арсеналом баз и словарей, что сказывается и на скорости перевода. Кроме того необходима тщательная настройка параметров под заданную тематику, и полученные тексты звучат неестественно. Статистический метод работает быстрее, но проигрывает по фактору «надежности»: перевод может получиться или неожиданно хорошим, или очень плохим.
В качестве примера программы, работающей на основе лингвистических правил можно привести GramTrans. По статистическому методу работают Asia Online и всем известный Google Translate.
В силу того, что у обоих методов есть свои недостатки, разработаны и гибридные системы, к которым относится, например, система Promt. Суть работы подобных программ такова: в соответствии с лингвистическими правилами формируется не один, а несколько вариантов перевода. Затем статистические механизмы выбирают из них наиболее вероятный. Хоть времени и оперативной памяти это и не экономит, но делает результат настолько гладким, насколько это возможно без вмешательства человека.
Если бы задача компьютера в машинном переводе ограничивалась только быстрым перебором большого количества вариантов, записанных в различных статьях специальных словарей, то результат был бы куда лучше, чем мы имеем сейчас. Сложность скорее заключается в выборе значения, которое говорящий придает своим словам. А в этом плане человеческий язык нестабилен и переменчив, что делает машинный перевод таким сложным процессом.
Системы машинного перевода
Вряд ли среди нас есть хоть один человек, который бы ни разу не пользовался Яндекс- или Google-переводчиком. Однако далеко не все осознают, что эти сервисы есть не что иное, как системы машинного перевода. Давайте разберёмся, что из себя представляет машинный перевод и как он появился.
Стоит отметить, что за последнее время технологии не только машинного перевода, но и искусственного интеллекта в целом сделали огромный шаг вперёд: никого уже не удивишь словосочетанием «нейронная сеть» или «самообучающаяся система». Однако так было далеко не всегда — долгое время учёные пытались создать механизм перевода с одного естественного (это важное условие в определении машинного перевода) языка на другой, но попытки были безуспешными.
Всё началось в 1930-е годы, когда советский учёный П.П. Смирнов-Троянский представил Академии наук СССР разработанную им «машину для подбора и печатания слов при переводе с одного языка на другой». Машина состояла из стола, перед которым был закреплён фотоаппарат, синхронизированный с печатной машинкой. На поверхности стола было расположено «глоссарное поле» — свободно двигающаяся пластина с напечатанными на ней словами на трёх и более языках.
Оператор фотографировал карточку, соответствующую определённому слову, а на печатной машинке набирал его морфологическую информацию — часть речи, число, падеж и т.д. Лента печатной машинки и плёнка камеры выходили одновременно. Таким образом получался набор кадров со словами и их морфологией.
Затем лингвисты превращали набор фотографий в связный литературный текст: чтобы переводить тексты, и оператору, и лингвистам достаточно было знать только свой родной язык.
К сожалению, изобретение было встречено скептически и на долгое время было забыто. Только в 1956 году уже другие советские ученые нашли патенты в архивах. И это произошло не случайно. Дело в том, что незадолго до этого, в 1954 году, в штаб-квартире IBM в Нью-Йорке был проведён так называемый «Джорджтаунский эксперимент», после которого Советский союз ощутил необходимость догонять США в разработке машинного перевода.
В ходе данного эксперимента компьютер IBM 701 впервые в мире автоматически перевёл 60 предложений с русского языка на английский. Впоследствии эксперимент не раз подвергался критике: примеры для перевода были тщательно подобраны и исключали любую неоднозначность. Для повсеместного использования эта система, безусловно, не подходила. Но интерес учёных и публики к машинному переводу заметно возрос, и с 1970-х годов его развитие стремительно набирало обороты. В настоящее время машинный перевод является одной из наиболее перспективных отраслей искусственного интеллекта.
Виды машинного перевода
Системы машинного перевода делятся на три категории: системы на основе грамматических правил (Rule-Based Machine Translation, RBMT), статистические системы (Statistical Machine Translation, SMT) и гибридные системы, сочетающие преимущества первых двух групп. Есть ещё один, относительно новый вид машинного перевода — нейронный. О нём подробнее будет рассказано далее, а пока давайте разберёмся в первых двух видах.
Системы RBMT анализируют текст и строят его перевод на базе встроенных словарей и набора грамматических правил для данной языковой пары. ПРОМТ и Systran — самые известные примеры RBMT-систем. Качество таких переводов оставляет желать лучшего, но они до сих пор используются (например, во всеми любимых переводах названий товаров на Aliexpress).
Среди плюсов RBMT можно отметить морфологическую точность (слова при переводе не путаются), воспроизводимость (всегда одинаковый результат) и возможность настроить систему под предметную область (обучить специальным терминам).
В системах SMT применяется принцип статистического анализа: в программу загружаются огромные объёмы текстов на исходном языке и их переводы, выполненные человеком. Программа анализирует статистику межъязыковых соответствий, синтаксических конструкций и т. п., затем опирается на неё при выборе вариантов перевода — это и есть самообучение.
Тут уже в дело вступает нейронный машинный перевод (англ. Neural Machine Translation, NMT), т.к. самообучение характерно, в первую очередь, для перевода на базе нейросетей. Данный вид перевода начал появляться в 1990-х годах и сейчас является основным видом машинного перевода.
Нейросеть — математическая модель, построенная по принципу сетей нервных клеток живого организма. Возможность обучения является одним из главных преимуществ нейронных сетей перед традиционными алгоритмами перевода. Систему может обучать и человек, корректируя результаты перевода. Именно так и работают онлайн-переводчики Яндекс и Google. Благодаря самообучению качество перевода у них повышается с каждым новым переведённым текстом.
В середине 2000-х годов популярность приобрело «глубинное обучение» (англ. Deep learning). Главное его отличие от классических нейросетей в том, что его сети обучаются находить характерные свойства объектов, не задаваясь вопросами об их происхождении. Таким образом, при таком виде перевода независимо друг от друга действуют два механизма: сначала одна нейросеть кодирует текст на основе каких-либо характеристик, затем вторая декодирует их в текст переводного языка. Студенты переводческого отделения наверняка сейчас вспомнили любимую фразу преподавателей: «Переводите смыслы, а не слова» J
За последние несколько лет нейросети превзошли всё, что было придумано в переводе за последние 20 лет. Они даже научались согласовывать роды и падежи в разных языках (сами!). Кроме того, впервые стало возможно напрямую переводить между языками, у которых не было ни одного общего словаря. Ранее методы статистического перевода всегда работали через английский язык. Нейронному переводу же это не нужно.
А теперь неожиданный вопрос — вы когда-нибудь задумывались, чем отличается Яндекс-переводчик от Google-переводчика? Ничем? А вот и нет, различия всё-таки есть, пусть они и незаметны на первый взгляд.
GOOGLE TRANSLATE
В 2016 году Google включил нейронный перевод девяти языков между собой, в 2017 был добавлен и русский. Google разработал собственную систему под названием Google Neural Machine Translation (GNMT). GNMT улучшает качество перевода, применяя метод машинного перевода на основе примеров (англ. Example-based machine translation, EBMT). Таким образом, система обучается на основе аналогии, используя базу примеров переводов, выполненных человеком.
ЯНДЕКС ПЕРЕВОДЧИК
Яндекс запустил свой нейросетевой перевод в 2017 году и среди своих главных отличий выделял гибридность. Яндекс переводит предложение сразу двумя методами — статистическим и нейросетевым, а потом с помощью специального алгоритма находит наиболее подходящий. Google пользуется только нейросетевым методом.
У гибридного метода есть ряд преимуществ. Например, нейронный перевод не всегда хорошо справляется с короткими фразами. Простой статистический перевод, как правило, лучше находит эквиваленты устойчивых словосочетаний. Получается, что в этом плане Яндекс продвинулся немного дальше.
При этом, когда дело касается перевода предложений целиком, лучше добавлять точку в конце предложения. Тогда система включает механизм нейронного перевода и работает лучше, чем через статистический перевод. С Google-переводчиком такое срабатывает не всегда. Выходит, и тут Яндекс впереди.
Можно ли однозначно утверждать, что один онлайн-переводчик лучше другого? Скорее всего нет, так как учтены далеко не все факторы. Но это уже тема для отдельного исследования, а пока решать вам, каким переводчиком пользоваться. Ну а если верить преподавателям нашего факультета, то лучше ими не пользоваться вовсе и выполнять переводы самим – если даже нейросеть учится, то и вы точно можете!
Источники:
- «Машинный перевод: от холодной войны до диплёрнинга» (блог Вастрик.ру, vas3k.ru/blog/machine_translation).
- Википедия (статьи «Машинный перевод», «Смирнов-Троянский, Пётр Петрович», «Джорджтаунский эксперимент», «Глубокое обучение», «Google Neural Machine Translation»).
Обложка статьи: From Bēhance by Penelope Mavromiti.
- Bio
- Latest Posts
8 «Лучших» программ и инструментов для перевода с использованием искусственного интеллекта (октябрь 2023 г.)
Искусственный интеллект (ИИ) трансформирует почти все отрасли, включая переводческие услуги. В то же время услуги перевода становятся все более важными, чем когда-либо, поскольку мы живем в глубоко взаимосвязанном мире с невероятным количеством языков. Инструменты перевода также важны для специалистов в этой области, которые полагаются на новейшие обучение с помощью машины технологии перевода для использования в повседневной жизни. Прежде чем мы углубимся в лучшее программное обеспечение и инструменты для ИИ-перевода, важно дать определение машинному переводу. Автоматическое преобразование одного языка в другой, машинный перевод работает путем преобразования текста с исходного языка и создания эквивалента на целевом языке. Многие переводческие службы сочетают машинный перевод с поддержкой человека, чтобы перевод соответствовал целевому местоположению. Это также позволяет контенту использовать определенные выражения, социальные ссылки и многое другое. Вот некоторые из лучших программ и инструментов для перевода на основе ИИ на рынке:
1. Google Переводчик
На сегодняшний день самым популярным программным обеспечением для перевода является Google Translate. Почти каждый использовал его в какой-то момент. Бесплатный онлайн-инструмент машинного перевода позволяет переводить текст, документы и веб-сайты с одного языка на целевой язык. Google Translate, возможно, является самым доступным инструментом перевода AI на рынке. Он предлагает простой дизайн, в котором все, что вам нужно сделать, это выбрать языки, ввести текст и нажать «перевести». Программное обеспечение обеспечивает перевод более чем на 100 языков по всему миру и использует носителей языка для обучения алгоритма ИИ. Некоторые из основных функций Google Translate включают в себя:
- Многоязычный перевод
- Простой в использовании и очень доступный
- Это Бесплатно
- Проверенные переводы
- Режим разговора для мобильного использования
2. DeepL
Одним из постоянно набирающих популярность инструментов перевода ИИ является DeepL, который используется как предприятиями, так и частными лицами. Программное обеспечение заработало отличную репутацию за точные переводы.
DeepL известен своим интуитивно понятным интерфейсом и полной интеграцией в Windows и iOS. Инструмент дает вам возможность настраивать переводы, и вы можете полностью контролировать автоматический перевод.
Еще одна замечательная особенность DeepL заключается в том, что он сохраняет форматирование исходного документа.
Некоторые из основных особенностей DeepL включают в себя:
- Переводит более 25 международных языков
- Без ограничения текста
- Расширение Windows
- Отлично подходит для бизнеса и частных лиц
- Сохраняет форматирование исходного документа
3. Машинный перевод
Это уникальный инструмент, предназначенный для анализа, сравнения и рекомендации лучшего машинного перевода для любой заданной пары текста и языка. Он опирается на возможности GPT-4 определять сильные и слабые стороны каждого результата перевода механизма, что, в свою очередь, обеспечивает индивидуальный подход к переводу для каждого пользователя.
Они также понимают, что каждое сообщение уникально, поэтому наш инструмент учитывает контекст и нюансы текста, чтобы повысить точность любого перевода. Таким образом, как частные лица, так и предприятия могут общаться уверенно и ясно.
Некоторые из функций включают выбор целевой аудитории перевода, например широкой публики, технических специалистов или академических исследователей.
- Переводит более 50 международных языков
- Сравните Google, DeepL, Amazon, ModernMT, Microsoft и ChatGPT.
- Отлично подходит для бизнеса и частных лиц
- Выберите целевую аудиторию
4. Алекса Переводы
Еще одно популярное программное обеспечение для перевода с использованием искусственного интеллекта — Alexa Translations, которое работает в сфере лингвистических услуг с 2002 года. Это один из лучших инструментов для перевода документов в юридическом, финансовом, техническом, маркетинговом и государственном секторах.
Alexa Translations предлагает пользователям индивидуальные и премиальные услуги машинного обучения, причем перевод с использованием ИИ является одним из самых быстрых на рынке. Инструмент часто интегрируется в услуги переводчика-человека.
Некоторые из основных особенностей Alexa Translations включают в себя:
- Переводит до 100 документов за секунды
- Лучший инструмент для юридической и финансовой индустрии
- Результаты для конкретного клиента
- Переводит веб-контент
- Интегрируется в услуги переводчика-человека
5. Переводчик Microsoft Bing
Bing Microsoft Translation — это облачный сервис машинного перевода, разработанный Microsoft. Это часть Microsoft Cognitive Services, которая интегрирована с такими платформами, как Bing, Microsoft Office, Microsoft Edge, Skype и Visual Studio.
Программное обеспечение предлагает перевод текста и речи через облако и поддерживает более 100 языков и 12 систем перевода речи, которые составляют функцию живого разговора Microsoft Translator.
Microsoft Translator отличается от других инструментов тем, что предлагает вам возможность переводить изображения, голос, параметры и ссылки.
Некоторые из основных функций Bing Microsoft Translator включают в себя:
- Память переводов
- Перевод текста, речи в реальном времени и изображений
- Контекстное редактирование
- Виджет перевода сайта
- 100 + языки
6. Тая
Еще одно замечательное программное обеспечение для перевода с искусственным интеллектом — Taia, которое обеспечивает точные переводы на 97 языков. Он сочетает в себе технологии искусственного интеллекта и опытных переводчиков для достижения наилучших результатов.
В процессе переводов Тайи участвуют люди, которые сначала завершают переводы, используя машинный перевод для ускорения процесса. Taia не требует от вас установки каких-либо программ и обеспечивает мгновенную оценку скорости.
Инструмент обещает высококачественные переводы в срок с уровнем удовлетворенности клиентов 99.4%. Компания также предлагает долгосрочную поддержку проекта для тех, кто нуждается в более чем одном переводе.
Некоторые из основных особенностей Taia включают в себя:
- Языки 97
- Сочетает в себе переводчиков-людей и технологию искусственного интеллекта
- Мгновенные оценки ставок
- 99.4% уровень удовлетворенности клиентов
- Долгосрочная поддержка проекта
7. Мирай Транслейт
Одним из программ и инструментов для перевода ИИ, часто используемым крупными корпорациями, является Mirai Translate, который представляет собой нейронный машинный перевод, работающий на нескольких языках. Инструмент помогает компаниям повысить производительность и скорость перевода, поскольку он совместим со многими форматами файлов.
Mirai – это облачный сервис поставщика API, который, помимо перевода текста, также поддерживает речь. По данным компании, инструмент обеспечивает высокий уровень безопасности и обеспечивает такой же уровень точности перевода, как и деловой человек с оценкой TOEIC 960.
Решение для автоматического перевода AI — отличный выбор для перевода корпоративных документов, и оно принесет пользу любой компании, занимающейся многоязычными проектами. Он также предлагает функцию пользовательского словаря для перевода текста и файлов по группам.
Некоторые из основных особенностей Mirai включают в себя:
- Отраслевой перевод
- Поддерживает различные форматы файлов
- Несколько языков
- Хорошо для крупных корпораций
- Поддерживает многоязычные проекты
8. Sonix
Немного отличаясь от других инструментов в этом списке, Sonix отлично подходит для создателей видеоконтента. Это впечатляющий автоматический аудиопереводчик, который предлагает встроенный в браузер редактор для поиска, редактирования, воспроизведения и организации файлов.
Языковые модели Sonix мирового класса быстро преобразуют аудио в текст, прежде чем переводить стенограммы на другие языки. У вас есть возможность настроить стенограмму до того, как системы переведут текст, и весь процесс происходит за считанные минуты.
С Sonix вы можете сделать свой текст более доступным и обеспечить высокую точность перевода. Он обеспечивает то же качество, что и профессиональные переводчики и расшифровщики, но гораздо более эффективен. Он также предлагает переводчик аудио в аудио, если вы хотите конвертировать видео, учебные пособия или подкасты на другие языки.
Некоторые из основных особенностей Sonix включают в себя:
- Хороший выбор для создателей видеоконтента
- Редактор в браузере
- Аудио-аудио переводы
- Преобразует аудио в текст перед переводом
- Корректируйте стенограммы перед переводом
Основы технологии перевода: CAT-инструменты, машинный перевод и постредактирование
Что такое CAT-инструмент? Что означает постредактирование? Существует множество различных технических терминов, используемых в языковой и переводческой отрасли. В этой статье мы приведем их краткий обзор и расскажем, что представляют собой эти ключевые элементы, как они используются и что следует знать при работе над переводческим проектом.
CAT-инструменты
Инструменты автоматизированного перевода (сomputer-assisted translation, CAT) используют программное обеспечение для помощи или содействия переводчикам при работе над переводческими проектами. Используя компьютерную обработку для автоматизации ряда задач, связанных с языковым переводом, CAT-инструменты помогают переводчикам работать более эффективно.
Как работают CAT-инструменты? При автоматизированном переводе часто используются памяти переводов (TМ), или базы данных, в которых хранятся ранее переведенные фрагменты соответствующего текста (текстов). Использование CAT-инструмента для хранения, извлечения и сравнения этих единиц текста с новым содержанием позволяет переводчику определить, где можно повторно использовать предыдущие переводы, а где требуется новый перевод. CAT-инструмент может быть настольной программой или облачным сервисом.
К другим компьютерным инструментам, служащим помощниками при переводе, относятся менеджеры-лексикографы, средства проверки орфографии и грамматики, электронные словари и многое другое.
CAT-инструменты помогают переводчикам экономить время, повышать производительность труда и точность, а также обеспечивать единообразие формулировок, особенно в долгосрочных или технически сложных проектах. С точки зрения заказчика использование инструментов CAT означает повышение экономической эффективности, сокращение времени исполнения заказа и упрощение управления – например, редакторам становится легче заниматься публикацией и поддержкой одного и того же веб-контента на разных языках.
Вот несколько примеров ведущих CAT-инструментов:
- Memsource (облачный сервис)
- SDL Trados Studio (настольная программа)
- Smartcat (облачный сервис)
- memoQ (настольная программа)
Машинный перевод
Так что, получается, что CAT-инструменты – то же самое, что машинный перевод? Это широко распространенное заблуждение. По сути дела, машинный перевод (machine translation, МТ) использует компьютерную программу для автоматического перевода текста с одного языка на другой без участия человека.
В широком смысле при машинном переводе используется машинное обучение и искусственный интеллект для получения входного текста, сравнения этого текста с базой данных и создания на выходе текста на языке перевода. Если говорить более конкретно, МТ может использовать три вида подхода к переводу:
- На основе правил: Машина использует правила языка, грамматические нормы и лексику для разбора и перевода текста.
- Статистический: Машина использует алгоритмы для изучения обширнейшей базы данных переводов, сделанных силами человека, в поисках наиболее статистически вероятного перевода данного текста.
- Нейронный: Искусственный интеллект и нейронные сети машины «учатся» в процессе перевода, предсказывая и генерируя наилучшую последовательность слов.
В большинстве современных систем машинного перевода используется один из этих подходов или их сочетание. К ведущим современным системам MT, в которых используется нейронный перевод, относятся такие крупные технологические продукты как Google Translate, Bing Translate и Amazon Translate, а также такие хорошо зарекомендовавшие себя сервисы как DeepL и SYSTRAN. Компания Trusted Translations тщательно оценивает каждый переводческий проект, чтобы определить, какая система лучше всего подходит для работы в каждом конкретном случае.
Переводчик может использовать машинный перевод для получения первоначального варианта (например, первого черновика) в некоторых ситуациях – например, на живом мероприятии, где требуется практически мгновенный результат; для ускорения некоторых процессов, таких как субтитрирование; или для начала работы над очень большими проектами. Однако машинный перевод не должен применяться как самостоятельная процедура. Хотя заказчиков перевода может привлекать возможность снижения затрат, увеличения скорости и доступа к разнообразным языкам мира, в идеале машинные переводы всегда должны редактироваться людьми, чтобы обеспечить их качество и точность.
Постредактирование
В процессе постредактирования живые люди-переводчики редактируют машинные переводы после их создания, чтобы получились пригодные для использования окончательные переводы. При этом переводчики используют CAT-инструменты для сравнения машинного перевода с исходным текстом и оценки его качества. Затем они либо вносят правки в машинный перевод, либо оставляют его как есть, либо переводят все заново с нуля.
Различные уровни постредактирования позволяют таким переводческим компаниям, как Trusted Translations, адаптировать услуги к потребностям клиента:
- Легкое и быстрое постредактирование: Редактор вносит минимальные правки, уделяя внимание критическим моментам (таким как вопиющие смысловые, грамматические и орфографические ошибки) и элементарной точности. В данном случае приоритет отдается стоимости работы и скорости; такой вид постредактирования также может применяться в том случае, когда полученный машинный перевод уже приличного качества.
- Полное постредактирование или постредактирование с целью получить готовый к публикации текст: При полном постредактировании текст доводится до уровня проекта, полностью переведенного живым человеком, при этом вносятся обширные правки, чтобы отшлифовать стилистические детали, единообразие и тональность повествования. Работа на этом уровне постредактирования занимает больше времени, но зато дает самые качественные результаты.
Независимо от выбранного уровня, постредактирование является абсолютно необходимым этапом в процессе перевода с использованием машинного перевода (МТ). Машинный перевод часто выдает неуклюжие фразы, использует неправильную или непоследовательную терминологию, и на выходе получаются неестественно звучащие результаты; все это должно быть проверено настоящими переводчиками, особенно если тон, эмоции и контекст имеют решающее значение для понимания. Заказчики переводов должны привлекать к работе авторитетных постредакторов, которые гарантируют неизменное качество перевода, без машинных ошибок, которые в конечном итоге могут оказаться чрезвычайно дорогостоящими, досадными или отнимающими время.
Фото: Miguel Á. Padriñán, pexels.com