作為一個科技從業者,閱讀AI頂會的最新論文、瀏覽國內外創新的最新動向,是我工作的重要部分。平時接觸的開發者、科學家、企業研究人員等,工作生活中也涉及大量專業閱讀。
于是乎,我就會經常聽到這樣的抱怨:
PDF格式的論文,很多翻譯軟件需要手動復制粘貼,效率還不如直接查字典;
不動腦子按段落甚至句子直譯,信達雅一個都沒有,機翻完我還要花時間二次review;
海外開發社區的技術文檔專業詞匯太多,翻譯得不準,好幾天的代碼都白寫了……
這可能是AI技術里非常容易讓人迷惑的地方。近幾年隨著AI技術快速進步,機器翻譯水平也大幅提升,結果一遇到外文文獻、外刊投稿、辦公文檔、商業報告、海外網站技術文檔之類的專業翻譯需求,很多產品還是不能滿足。
這些問題說明,總體可讀可懂,滿足出國旅游、購物娛樂等日常溝通的場景,只是機器翻譯的基本功能。進一步的市場需求,是深度專業內容的跨語言交流,讓商業、科研、技術等專業信息可以實現無縫對接。
跨越這堵語言之墻,也成為一場NLP領域的全球競賽。一直深耕機器翻譯的百度翻譯團隊,從來沒有停止過攀登的腳步。
我們從機器翻譯的新技術動向說起,聊聊百度給機器翻譯帶來的新可能。
機器翻譯的技術攀登:百度引領NMT革新
跨越語言之墻還需要哪些技術突破?想要回答這個問題,有必要先回答:機器翻譯今天發展到哪一步了。
過去幾十年間,人們一直在探索如何使得機器翻譯達到人類的翻譯水平,翻譯方法不斷迭代。基于規則的機器翻譯,依靠人工編纂的雙語詞典和專家總結的規則進行翻譯;基于實例的機器翻譯,從雙語對照的實例庫中選擇與原文相似度高的實例,通過模仿和修改進行翻譯;基于統計的機器翻譯,對翻譯過程進行數學建模,并從大量的訓練數據中自動學習翻譯知識。
變革發生在2014年,通過循環神經網絡(RNN)來對語言向量進行編碼解碼,并且使用長短期記憶網絡(LSTM)來增強長句翻譯能力的神經機器翻譯(NMT),為機器翻譯領域帶來新的研發范式。百度、谷歌、微軟等一批NLP領域的優等生推進深度學習在機器翻譯領域的研發和應用,百度翻譯在2015年發布了全球首個互聯網NMT系統,領先谷歌1年多。現在,大家用翻譯軟件進行日常交流、旅游商務等活動,已經基本沒有問題了。
而專業領域的翻譯想要令人驚喜的進展,總的來說需要做到兩件事:
一是技術突破。推動機器翻譯不斷接近專業翻譯能力。頭部廠商主要從幾個方面努力:1. 預訓練大模型,例如文心、GPT-3、BERT;2. 多語言統一建模和翻譯;3. 面向垂直領域的高精度翻譯模型。其中,百度作為更早進入NMT時代的科技企業,就在機器翻譯技術上取得了國際領先的成果。2020 年,咨詢機構Gartner在 《Hype Cycle for Natural Language Technologies》報告中,就將百度翻譯列為神經網絡機器翻譯標桿機構。
二是產品設計。技術有所突破,還要通過成熟的產品設計和應用體驗,讓用戶感知到專業機器翻譯的價值。一些機器翻譯產品可能技術很強,但由技術人員來主導產品設計,導致用戶體驗很糟糕。在這方面,具備互聯網產品設計相關經驗的廠商,自然能夠更好地實現技術落地。比如百度翻譯就打造了非常豐富的產品矩陣,支持PC端、移動端等各類終端設備,面向C端、B端的多種應用;支持文本、文檔、圖片、語音等多模態翻譯,全方位滿足各種翻譯需求。百度翻譯的產品優勢,讓普通用戶可以低門檻、更便捷地用上專業機器翻譯能力,目前日均響應的翻譯請求已達千億字符。
從這個角度來看,百度翻譯是國內少有的,能夠同時占據技術和產品兩個機器翻譯高地的科技企業。那么,百度翻譯究竟是如何翻越專業翻譯的語言之墻?
聳立的語言墻:機器翻譯進入專業領域的三道門檻
你可能會問,機器翻譯都搞了快七十年,怎么專業領域的語言之墻依舊沒有被攻克?
專業信息、學術資源、商業文件等翻譯需求,是一塊巨大的商業蛋糕,同時也是從未被徹底解決的痛點。這是因為專業領域的翻譯,存在“三高”的要求:內容安全要求高、翻譯準確率要求高、翻譯效率與體驗要求高。
內容安全要求高:專業文檔往往涉及到科研創新、商業往來等信息,翻譯過程中需要上傳到云端或軟件服務商的服務器進行操作,一旦硬件來源或軟件使用權受限,或者服務不穩定,都會給專業用戶帶來麻煩和風險。
翻譯準確率要求高:信達雅,信(即翻譯準確率)排在第一位,專業翻譯中存在大量專業單詞、復雜長句子,容易出現歧義,軟件翻譯失之毫厘,內容準確度就謬以千里。
翻譯效率與體驗要求高:翻譯軟件的效率、易用性,直接影響到用戶體驗。很多人可能有這樣的經歷,有的軟件不支持整篇文檔翻譯,手動復制粘貼連分段都不準確,翻譯效果難以直視;有的PDF文檔翻譯成word后,原本的排版被打亂,還需要自己手動調整……這些都給用戶帶來了額外的負擔。
所以,我們就從安全可靠、效果、效率這三個方面,來評測一下百度翻譯的解決思路。
首先,安全可靠。
作為一名知識內容生產者,文檔承載的是我安身立命之本,所以,數據安全幾乎是我是否使用一款翻譯工具的首要考量因素。同理,論文數據之于科研工作者、商業報告之于企業從業者、技術文檔之于工程人員,安全隱私都是至關重要的。
深度學習平臺是每個神經網絡機器翻譯模型的底層技術框架,市面上相當一部分翻譯廠商的底層技術框架仍然使用TensorFlow(美國谷歌)和PyTorch(美國臉書)為代表的海外框架。非國產自研,可能在未來遭遇無硬件可搭載和無框架使用的窘境。
比如在使用海外平臺DeepL的過程中,我就會經常遇到加載緩慢、連接不上的問題。海外翻譯軟件往往需要上傳到海外企業的服務器,比如DeepL上傳的文檔會被發送到美國的Adobe公司。
與之相比,國內翻譯產品就不會遇到這個困擾。以百度翻譯為例,產品基于全面自研的飛槳深度學習框架,同時采用多種措施來保障數據安全,獲得ISO27001等多項國內外權威信息安全管理認證。存儲前,會先進行安全的加密操作;數據傳輸中,采用安全傳輸層協議(TLS),保障保密性和數據完整性,并提供完備的密鑰管理機制和加密措施;用戶刪除數據后,后臺將同步刪除相關內容,不會留存。總體來說,在可靠性和安全性上更有保障。
第二,翻譯效果。
專業翻譯最終要靠結果的“信、達、雅”說話。包括專業術語翻譯是否準確,語序是否流暢連貫,一些特定文化背景的表達是否地道……
可以看到,百度翻譯通過多個專業領域模型,有效增強翻譯準確度。我們隨機選取了《自然》雜志的一篇生物領域論文《A pan-cancer compendium of chromosomal instability染色體不穩定性的泛癌癥綱要》,選擇百度翻譯的“生物醫藥“模型后,結合上下文語義給出了準確的翻譯。可以看到,生物醫藥這類充滿大量專業術語的領域,百度翻譯的結果并沒有讓人失望。
對于學術文章中復雜的長句子和特定格式,百度翻譯能夠識別論文格式中的各種基本要素,如正文、引用、尾注等,避免錯譯、漏譯。以這篇AAAI 2022的頂會論文《Meta-Learning for Online Update of Recommender Systems》為例,百度翻譯就準確保留了參考文獻引用信息,這對閱讀專業文獻非常有幫助。
第三,翻譯效率。
專業領域的機器翻譯,用戶的一個關鍵痛點是:很多地方需要用戶“不厭其煩”地手動操作或反復修改。而擁有十多年翻譯產品經驗的百度,自然也在應用能力上游刃有余。百度翻譯將這些“煩點”一一消解,提升翻譯效率和文檔的可讀性、易讀性,從而減少用戶手動調整、修改的麻煩,將時間精力放在更有創造力的事情上。
首先,百度翻譯支持多種格式文檔,一鍵上傳就能進行全篇翻譯。像PDF這種不能編輯的文檔,可以完整地保留樣式和排版,不需要用戶手動將文字復制粘貼到翻譯軟件中,并且提供整頁預覽模式、逐句對照模式等,不同需求的用戶可以自主選擇來提升效率。
比如下面這份《英國人工智能研發商業化和標準》,這類咨詢機構的商業報告,是很多產業研究者、高校師生、政策制定者等工作學習中的參考讀物,快捷、高效地閱讀體驗,能夠幫大家節省不少時間。將PDF文件一鍵上傳到百度翻譯,就能快速得到準確地譯文,排版格式也與原文保持高度一致,大大方便了閱讀。
輸入數據的準確性對翻譯結果起到至關重要的影響,文本糾錯是機器翻譯的關鍵能力之一。專業領域容易遇到一些佶屈聱牙、拼寫復雜的專用術語、學術名詞等,百度翻譯的智能糾錯,可以對語句自動檢查、實時提示、自動糾錯,減少人工校驗成本。
此外,百度翻譯通過人機共譯智能增強,語料自動沉淀,機器自動學習,翻譯模型實時增強,逐漸縮小機器翻譯與理想譯文之間的差距,實現越翻越省力,真正提升效率。
英國詩人塞繆爾·約翰遜曾說過,語言是科學的唯一工具。整體來看,百度翻譯已經在專業論文、學術文獻等領域,展現出了強大的翻譯能力,幫專業人士翻越了語言這堵高墻,把語言這個工具交到了每一個需要在專業領域跨語言協作的人手中。
翻山越嶺之后,語言墻背后的宏大場景
從百度翻譯的技術體系和產品設計中,可以看到,機器翻譯要進入專業領域,不光要有技術,還要有較強的產品設計能力,考驗的是企業的綜合實力。機器翻譯進入專業領域,也推動翻譯應用來到了新的賽點。
重建巴別塔。專業領域的語言壁壘,為知識、信息、資源的流動樹立起極高的門檻,比如目前全球有六成以上各類文獻資料和科研論文都是用英文撰寫,其他語種也蘊含著大量的知識寶藏。越來越多的人使用百度翻譯來突破語言的阻礙,讓專業領域的協作沒有障礙,將大大促進全球的知識交流與傳播,支撐科技創新、實現知識公平。
重塑機翻格局。專業領域的機器翻譯,相比生活化場景,有著更高的壁壘與更強勁的需求,無論市場容量、付費意愿、付費潛力,以及用戶忠誠度,都是非常高的。百度翻譯憑借優秀的專業翻譯能力,可以建立起差異化優勢,進入商業化的良性循環,在機器翻譯市場格局中進一步領先。
借助翻譯,人類社會從相互阻隔走向了相互交往。今天,世界科技、經濟與文化更為頻繁地展開交流,面對浩如煙海的信息與知識,僅靠數量有限的專業翻譯人士,很難滿足大眾對專業翻譯的需求。幸好,機器翻譯開辟了一條新的跨語言溝通之路。七十年來,機器翻譯技術不斷迭代,有著旺盛的生命力,那是一代又一代技術人,在為重建巴別塔的理想而不斷努力。
隨著百度翻譯等產品推動機器翻譯向專業領域不斷深入,人們可以展開更專業、更精深的跨語言交流,機器翻譯正成為助力全球交流的一股重要力量。
-
AI
+關注
關注
87文章
31518瀏覽量
270333 -
百度
+關注
關注
9文章
2280瀏覽量
90754 -
機器翻譯
+關注
關注
0文章
139瀏覽量
14947 -
NMT
+關注
關注
0文章
7瀏覽量
3654 -
rnn
+關注
關注
0文章
89瀏覽量
6914
發布評論請先 登錄
相關推薦
評論