Източник: https://www.pcmag.com/news/google-translate-vs-chatgpt-which-one-is-the-best-language-translator
Тествахме ChatGPT, Bing AI и Google Bard, като помолихме хора, които владеят свободно седем езика, различни от английски, да оценят как резултатите от AI chatbot се сравняват с отговорите от Google Translate.
С Google Translate конвертирането на всяко изречение на над 100 езика е лесно, но всеки, който го използва редовно, знае, че има място за подобрение.
На теория големи езикови модели (LLM) като ChatGPT трябва да поставят началото на следващата ера на езиков превод. Те консумират огромни обеми текстови данни за обучение, плюс обратна връзка в реално време от милиони потребители по целия свят и бързо се научават как да „говорят“ широк набор от езици с последователни, човешки изречения.
Но и преди сме чували рефрена „ChatGPT ще замени всичко“, само за да открием, че често е неточен – най-лошият сценарий за превод. „Понастоящем нямаме емпирични резултати, подкрепящи твърденията, че разговорливите LLM работят по-добре за превод“, казва Назнийн Раджани, ръководител на изследването в Hugging Face (Отваря се в нов прозорец), производител на Hugging Chat, базиран на AI.
И така, решихме да подложим ChatGPT на тест. Има ли възможностите да замени Google Translate като основна услуга за превод за пътуване, работа, трансгранична романтика и всякакви други езикови нужди? И как се сравнява със своите сестри чатботове, Microsoft Bing и Google Bard?
Помолихме двуезичните говорещи седем езика да направят сляп тест. Всички те са израснали, говорейки неанглийски езици, и сега живеят в САЩ и/или работят за американски компании.
Като се има предвид параграф на английски, те класираха преведената версия за техния език от Google Translate, ChatGPT и Microsoft Bing. След като завършиха упражнението, ние разкрихме коя услуга е произвела всеки от тях.
Това в никакъв случай не е цялостно изследване. „Моля, имайте предвид, че малките слепи тестове са недостатъчни; необходимо е по-стриктно тестване, за да се оценят правилно и сравнят тези инструменти със статистическа значимост“, казва Федерико Паскуал, ветеран в AI индустрията. Все пак резултатите са изненадващо последователни, предоставяйки завладяващ поглед върху това как работят моделите на AI.
С избраните езици и AI модели създадохме някои параграфи на английски, които ще разкрият границите на възможностите за превод на всяка услуга. Първият включва два трудни разговорни израза: „Издухайте парата“, което означава да се отпуснете след напрегнат ден, и „Наздраве!“ което означава „Благодаря!“ Освен това имаше две измервания, които трябваше да бъдат преобразувани в сценарий от реалния живот: USD ($) и мили (за разлика от километри).
Вторият параграф беше по-ясен, без фрази или мерни единици, но имаше повече жаргон („хулигани“ и „поп шампанско“). Изпратихме това само на втората половина от участниците в опит да разширим събирането на данни, докато усъвършенствахме подхода.
От 12-те примера, които изпратихме на нашите участници, те предпочетоха чатботовете с изкуствен интелект – ChatGPT, Google Bard или Microsoft Bing – пред Google Translate. ChatGPT надмина всички тях.
Таблицата по-долу съдържа класирането на нашите участници за всяка услуга. Тези, които са получили и двата примера за параграфи, са отбелязани с (1) и (2). Останалите получиха само първото.
„Според мен [ChatGPT] е най-близо до нормален разговор“, казва Ана Ромеро, която класира испанските преводи. „Нивото на формалност между двата ключови въпроса е последователно (неофициално) и се използва правилният превод на „издухване“.“
Ромеро оцени също така, че преводът на ChatGPT дава възможност за завършване на определени думи в мъжки или женски род, вместо да изберете една за вас. Например пишеше: eres bienvenido/a unirte a nosotros—„вие сте добре дошли да се присъедините към нас“—което ще варира в зависимост от пола на поканения от говорещия.
Google Bard рядко работеше и дори ни каза: „Не мога да превеждам езици“. Вместо това препоръчва използването на Google Translate, вероятно опит на Google да не канибализира собствените си продукти. Но все пак го тествахме и трите пъти, когато работи (корейски, френски, испански), нашите участници класираха резултатите му по-високо от Google Translate.
Всички чатботове не оправдаха високите ни очаквания за валутата и измерванията на разстоянието в първия параграф. Предвид техния разговорен характер и способността им да задават последващи въпроси, надявахме се, че ще попитат в каква валута да конвертират и дали предпочитаме мили или километри.
Вместо това те ги третираха по същия начин като Google Translate; правене на малки корекции, понякога добавяне на „USD“ след $50 или продължаване на преобразуване на мили в километри. Беше непоследователен между езиците и услугите и като цяло несъвършен.
В нашия тест два езика класираха Google Translate на върха: тагалог (Филипините) и амхарски (Етиопия). Те имат най-малката глобална популация от говорещи: тагалог има 33 милиона говорещи в световен мащаб, които го обявяват за свой майчин език, а амхарски има 25 милиона, според WorldData.info. (Испанският има 450 милиона за испански, а корейският е 80 милиона.)
„[ИИ моделите] не биха се обобщили добре за езици с ниски ресурси или за които не са събрани достатъчно човешки предпочитания“, казва Раджани. За амхарски и тагалог подозираме, че на чатботовете липсват достатъчно данни, за да направят нюансиран отговор, който отговаря на контекста на параграфа. Вместо това изглеждаха по-буквални от Google Translate, обратното на това, което видяхме за другите езици.
Колин Салао, който класира преводите на тагалог, отбеляза, че ChatGPT използва думи, които са „супер официални“ и запазени за публични съобщения. Той намери Bing за „най-буквалния превод“ и го класира по-ниско в сравнение с ChatGPT и Google Translate.
За всякакви летни пътувания или други езикови нужди, ChatGPT може да бъде по-добър избор от Google Translate. Освен това новото приложение за iOS го прави още по-достъпен. Но както видяхме с амхарски и тагалог, чатботовете все още не са пълна замяна на старите режими на готовност.
Google също тества нова страница с резултати от търсенето, наречена search generative experience (SGE). Предвидено е да стартира в Google.com на неразкрита дата и ще предлага базиран на абзац отговор на запитвания в стил ChatGPT. Но Google подчертава, че Bard и SGE са експериментални и не коментира дали те могат да заменят Google Translate в бъдеще.