Google Translate срещу ChatGPT: Кой е най-добрият езиков преводач?

Източник: https://www.pcmag.com/news/google-translate-vs-chatgpt-which-one-is-the-best-language-translator

Тествахме ChatGPT, Bing AI и Google Bard, като помолихме хора, които владеят свободно седем езика, различни от английски, да оценят как резултатите от AI chatbot се сравняват с отговорите от Google Translate.

С Google Translate конвертирането на всяко изречение на над 100 езика е лесно, но всеки, който го използва редовно, знае, че има място за подобрение.

На теория големи езикови модели (LLM) като ChatGPT трябва да поставят началото на следващата ера на езиков превод. Те консумират огромни обеми текстови данни за обучение, плюс обратна връзка в реално време от милиони потребители по целия свят и бързо се научават как да „говорят“ широк набор от езици с последователни, човешки изречения.

Но и преди сме чували рефрена „ChatGPT ще замени всичко“, само за да открием, че често е неточен – най-лошият сценарий за превод. „Понастоящем нямаме емпирични резултати, подкрепящи твърденията, че разговорливите LLM работят по-добре за превод“, казва Назнийн Раджани, ръководител на изследването в Hugging Face (Отваря се в нов прозорец), производител на Hugging Chat, базиран на AI.

И така, решихме да подложим ChatGPT на тест. Има ли възможностите да замени Google Translate като основна услуга за превод за пътуване, работа, трансгранична романтика и всякакви други езикови нужди? И как се сравнява със своите сестри чатботове, Microsoft Bing и Google Bard?

Методология и тествани езици

Помолихме двуезичните говорещи седем езика да направят сляп тест. Всички те са израснали, говорейки неанглийски езици, и сега живеят в САЩ и/или работят за американски компании.

Като се има предвид параграф на английски, те класираха преведената версия за техния език от Google Translate, ChatGPT и Microsoft Bing. След като завършиха упражнението, ние разкрихме коя услуга е произвела всеки от тях.

  • Тествани езици: полски, френски, корейски, испански, арабски, тагалог, амхарски
  • Преводачески услуги: Google Translate, Google Bard, ChatGPT, Microsoft Bing

Това в никакъв случай не е цялостно изследване. „Моля, имайте предвид, че малките слепи тестове са недостатъчни; необходимо е по-стриктно тестване, за да се оценят правилно и сравнят тези инструменти със статистическа значимост“, казва Федерико Паскуал, ветеран в AI индустрията. Все пак резултатите са изненадващо последователни, предоставяйки завладяващ поглед върху това как работят моделите на AI.

Създаване на абзац за превод

С избраните езици и AI модели създадохме някои параграфи на английски, които ще разкрият границите на възможностите за превод на всяка услуга. Първият включва два трудни разговорни израза: „Издухайте парата“, което означава да се отпуснете след напрегнат ден, и „Наздраве!“ което означава „Благодаря!“ Освен това имаше две измервания, които трябваше да бъдат преобразувани в сценарий от реалния живот: USD ($) и мили (за разлика от километри).

  • Параграф 1 – „Здравейте! Говорите ли английски? Имам нужда от помощ с указанията. Опитвам се да намеря вегетариански ресторант, защото сестра ми не яде месо. Какво препоръчвате? Ние също искаме да останем на няколко мили оттук , и не искате да похарчите повече от $50. Ако имат коктейли, това би било бонус. Имахме дълъг ден на пътуване и трябва да се издухаме! Добре дошли сте да се присъедините към нас. Наздраве! „

Вторият параграф беше по-ясен, без фрази или мерни единици, но имаше повече жаргон („хулигани“ и „поп шампанско“). Изпратихме това само на втората половина от участниците в опит да разширим събирането на данни, докато усъвършенствахме подхода.

  • Параграф 2 – „Как да купя билети за партито с лодка? Трябва ли да платим предварително или можем да ги купим на пристана, когато пристигнем? Трябва да съм на горната палуба, защото понякога получавам морска болест, когато m твърде близо до водата. Освен това искам да бъда възможно най-далеч от младите хулигани, които искат да пръскат шампанско непрекъснато по време на пътуването. Това е опасно и не е моето забавление!“

Резултати: AI Chatbots победиха Google Translate

От 12-те примера, които изпратихме на нашите участници, те предпочетоха чатботовете с изкуствен интелект – ChatGPT, Google Bard или Microsoft Bing – пред Google Translate. ChatGPT надмина всички тях.

Таблицата по-долу съдържа класирането на нашите участници за всяка услуга. Тези, които са получили и двата примера за параграфи, са отбелязани с (1) и (2). Останалите получиха само първото.

„Според мен [ChatGPT] е най-близо до нормален разговор“, казва Ана Ромеро, която класира испанските преводи. „Нивото на формалност между двата ключови въпроса е последователно (неофициално) и се използва правилният превод на „издухване“.“

Ромеро оцени също така, че преводът на ChatGPT дава възможност за завършване на определени думи в мъжки или женски род, вместо да изберете една за вас. Например пишеше: eres bienvenido/a unirte a nosotros—„вие сте добре дошли да се присъедините към нас“—което ще варира в зависимост от пола на поканения от говорещия.

Google Bard рядко работеше и дори ни каза: „Не мога да превеждам езици“. Вместо това препоръчва използването на Google Translate, вероятно опит на Google да не канибализира собствените си продукти. Но все пак го тествахме и трите пъти, когато работи (корейски, френски, испански), нашите участници класираха резултатите му по-високо от Google Translate.

Всички чатботове не оправдаха високите ни очаквания за валутата и измерванията на разстоянието в първия параграф. Предвид техния разговорен характер и способността им да задават последващи въпроси, надявахме се, че ще попитат в каква валута да конвертират и дали предпочитаме мили или километри.

Вместо това те ги третираха по същия начин като Google Translate; правене на малки корекции, понякога добавяне на „USD“ след $50 или продължаване на преобразуване на мили в километри. Беше непоследователен между езиците и услугите и като цяло несъвършен.

Ако говорите тези 2 езика, използвайте Google Translate

В нашия тест два езика класираха Google Translate на върха: тагалог (Филипините) и амхарски (Етиопия). Те имат най-малката глобална популация от говорещи: тагалог има 33 милиона говорещи в световен мащаб, които го обявяват за свой майчин език, а амхарски има 25 милиона, според WorldData.info. (Испанският има 450 милиона за испански, а корейският е 80 милиона.)

„[ИИ моделите] не биха се обобщили добре за езици с ниски ресурси или за които не са събрани достатъчно човешки предпочитания“, казва Раджани. За амхарски и тагалог подозираме, че на чатботовете липсват достатъчно данни, за да направят нюансиран отговор, който отговаря на контекста на параграфа. Вместо това изглеждаха по-буквални от Google Translate, обратното на това, което видяхме за другите езици.

Колин Салао, който класира преводите на тагалог, отбеляза, че ChatGPT използва думи, които са „супер официални“ и запазени за публични съобщения. Той намери Bing за „най-буквалния превод“ и го класира по-ниско в сравнение с ChatGPT и Google Translate.

AI ще повиши нивото на уеб превода

За всякакви летни пътувания или други езикови нужди, ChatGPT може да бъде по-добър избор от Google Translate. Освен това новото приложение за iOS го прави още по-достъпен. Но както видяхме с амхарски и тагалог, чатботовете все още не са пълна замяна на старите режими на готовност.

Google също тества нова страница с резултати от търсенето, наречена search generative experience (SGE). Предвидено е да стартира в Google.com на неразкрита дата и ще предлага базиран на абзац отговор на запитвания в стил ChatGPT. Но Google подчертава, че Bard и SGE са експериментални и не коментира дали те могат да заменят Google Translate в бъдеще.