10月19日，在美國(guó)Meta公司公布閩南話翻譯系統(tǒng)，Meta首席執(zhí)行官馬克·扎克伯格親自演示系統(tǒng)把閩南話翻譯成英語(yǔ)時(shí)，萬(wàn)里之外的廈門大學(xué)信息學(xué)院副教授、智能語(yǔ)音實(shí)驗(yàn)室負(fù)責(zé)人洪青陽(yáng)收到一大堆朋友的簡(jiǎn)訊，他們迫不及待地想告訴他：小扎對(duì)閩南話下手了！但是，你們兩年前不是已經(jīng)推出閩南話翻譯系統(tǒng)了嗎？
是的！洪青陽(yáng)科研團(tuán)隊(duì)和廈大人文學(xué)院許彬彬科研團(tuán)隊(duì)，在2019年推出閩南方言人工智能語(yǔ)音系統(tǒng)，這是一個(gè)聽得懂閩南話、會(huì)說(shuō)閩南話、也可以寫的AI（人工智能）驅(qū)動(dòng)的閩南話語(yǔ)音翻譯系統(tǒng)，幫助許多人體會(huì)用“中國(guó)最難學(xué)方言之一”交流的樂(lè)趣和便利。
它能做什么？
(資料圖片)
可實(shí)時(shí)翻譯還能識(shí)別文本
10月22日，洪青陽(yáng)在實(shí)驗(yàn)室演示廈大版的閩南話翻譯系統(tǒng)。系統(tǒng)的小助手用閩南話說(shuō)：聽說(shuō)現(xiàn)在可以將閩南話翻譯成英語(yǔ)，真巧，我們也有閩南話AI……小助手一邊說(shuō)，系統(tǒng)實(shí)時(shí)把它的閩南話翻譯成中文文字。
不僅聽得懂，系統(tǒng)還會(huì)說(shuō)。洪青陽(yáng)隨后示范實(shí)時(shí)翻譯，他用閩南話說(shuō)：即陣仔有閑無(wú)？系統(tǒng)可以立刻翻譯為普通話“現(xiàn)在有空嗎？”當(dāng)然，用普通話說(shuō)，系統(tǒng)也會(huì)翻譯成閩南話，而且是有腔調(diào)的閩南話。小助手說(shuō)，翻譯不限短句，理論上說(shuō)多長(zhǎng)就可以翻譯多長(zhǎng)。
此外，系統(tǒng)還可以識(shí)別不同地區(qū)不同口音閩南話，包括廈門、泉州、漳州、潮汕等地。
洪青陽(yáng)團(tuán)隊(duì)認(rèn)為，從現(xiàn)有資料看，Meta是語(yǔ)音到語(yǔ)音的翻譯，沒(méi)有產(chǎn)生文字，技術(shù)方案是從端到端，研究具有開創(chuàng)性，但還不夠靈活，比如不能形成識(shí)別文本，要延伸到其他應(yīng)用較難。
在這方面，廈大版閩南話翻譯系統(tǒng)，有其先進(jìn)性——廈大版還涉及文字，可以將漢字轉(zhuǎn)換合成閩南話發(fā)音，還有語(yǔ)音識(shí)別、合成工具，可以將閩南話翻譯成普通話，普通話翻譯成閩南話。
美國(guó)版閩南話翻譯系統(tǒng)是把閩南話翻譯為英語(yǔ)，洪青陽(yáng)說(shuō)，對(duì)于廈大版閩南話翻譯系統(tǒng)來(lái)說(shuō)，這毫無(wú)問(wèn)題，最難的部分是將閩南話翻譯并顯示為普通話，而這已經(jīng)解決了。
目前，廈大團(tuán)隊(duì)的閩南話翻譯系統(tǒng)已經(jīng)上線，在微信的小程序搜索“閩南話識(shí)別”和“AI語(yǔ)音合成”，就可以實(shí)現(xiàn)閩南話和普通話的無(wú)障礙溝通。
洪青陽(yáng)說(shuō)，2019年推出系統(tǒng)后，依舊在不斷完善升級(jí)——當(dāng)發(fā)音速度不一、吞音等情況出現(xiàn)時(shí)，系統(tǒng)的背后還有一位“把關(guān)人”。當(dāng)遇上系統(tǒng)無(wú)法識(shí)別的語(yǔ)音時(shí)，許彬彬團(tuán)隊(duì)就會(huì)進(jìn)行分析，把新的表達(dá)整理成文檔，擴(kuò)充詞典和句子語(yǔ)料。與此同時(shí)，洪青陽(yáng)團(tuán)隊(duì)在系統(tǒng)后臺(tái)不斷完善算法，以學(xué)習(xí)到更多口音和生僻詞匯。
廈大團(tuán)隊(duì)表示，他們?cè)趯?shí)驗(yàn)室完成0到1的研發(fā)，希望有更多人和社會(huì)資源參與進(jìn)來(lái)，完成1到100的產(chǎn)業(yè)化，助力于閩南話學(xué)習(xí)和人際交往等等。
它牛在哪里？
聽得懂不同口音的“豬”
閩南話的AI翻譯，難度不小。閩南話存在非常多的多音字，復(fù)雜的文白現(xiàn)象，有音無(wú)字的問(wèn)題等，洪青陽(yáng)說(shuō)，這對(duì)訓(xùn)練模型中語(yǔ)音數(shù)據(jù)與其對(duì)應(yīng)音素的正確映射，帶去較大的麻煩。
舉個(gè)例子大家或許就會(huì)明白，廈門人經(jīng)常說(shuō)，“豬”牽出廈門島就不叫“豬”了，意思是說(shuō)，單是“豬”，島內(nèi)和島外發(fā)音就不一樣，更不用說(shuō)廈漳泉地區(qū)了。廈大版的閩南話翻譯系統(tǒng)解決了這類難題，從目前看，有三大亮點(diǎn)。
有地基
重新建立閩南話發(fā)音詞典
洪青陽(yáng)介紹，翻譯的最大難題是要如何把閩南話發(fā)音拆分為聲母和韻母，它不同于普通話的聲母韻母，盡管之前也有一些閩南話的標(biāo)音方法，但是，廈大團(tuán)隊(duì)發(fā)現(xiàn)，這種自創(chuàng)的閩南話發(fā)音難以和AI有機(jī)結(jié)合起來(lái)，因此廈大研究人員自己建立一套兼容各地不同口音閩南話發(fā)音的體系，等于是為各種口音的閩南話建立一個(gè)基本的“地基”，當(dāng)然，它不同于普通話發(fā)音，它是有九個(gè)聲調(diào)的。
有資料庫(kù)
囊括廈漳泉多地的語(yǔ)音資料
建立語(yǔ)音資料庫(kù)，用大白話說(shuō)，這個(gè)語(yǔ)音資料庫(kù)要有足夠多人的語(yǔ)音，口音要不同，還要有男女老少語(yǔ)音，這樣，AI才會(huì)通過(guò)語(yǔ)音資料庫(kù)去識(shí)別不同地區(qū)不同口音的閩南話。
這是基于許彬彬近十年來(lái)的研究成果。許彬彬帶領(lǐng)團(tuán)隊(duì)借鑒整理了大量語(yǔ)音資料——囊括省內(nèi)廈漳泉多地的閩南方言、文本，甚至收集境外多處講閩南話的地點(diǎn)的語(yǔ)音材料。
此外，每到寒暑假，許彬彬團(tuán)隊(duì)還會(huì)去各地進(jìn)行田野調(diào)查。許彬彬早前接受本報(bào)采訪時(shí)曾介紹：“省內(nèi)的德化、漳浦、南靖、東山等，以及菲律賓北部城市、美國(guó)東部地區(qū)，每一個(gè)地點(diǎn)至少要停留5天，盡可能全面地收集該地區(qū)語(yǔ)音資料。”
有模型
設(shè)計(jì)聲學(xué)模型和語(yǔ)言模型
洪青陽(yáng)團(tuán)隊(duì)設(shè)計(jì)了閩南話的聲學(xué)模型和語(yǔ)言模型，其中聲學(xué)模型與發(fā)音詞典關(guān)聯(lián)，盡可能學(xué)習(xí)到各地的口音，以不斷提升系統(tǒng)的魯棒性（控制系統(tǒng)的穩(wěn)定性），語(yǔ)言模型則采用具有豐富語(yǔ)料的普通話文本訓(xùn)練，對(duì)用戶上下文內(nèi)容進(jìn)行有效約束。
洪青陽(yáng)說(shuō)，這里的難點(diǎn)是閩南話拼音和普通話詞匯的對(duì)應(yīng)，團(tuán)隊(duì)因此又設(shè)計(jì)了識(shí)別詞典，并整合到解碼系統(tǒng)里，最終能直接用普通話文字顯示識(shí)別內(nèi)容。對(duì)于語(yǔ)音合成，洪青陽(yáng)團(tuán)隊(duì)采用端到端建模框架，并做了前端的大量?jī)?yōu)化，使閩南話合成更加自然，更加逼真，也更快捷。
除了許彬彬所提供的語(yǔ)音資料外，他們還邀請(qǐng)了眾多志愿者參與識(shí)別測(cè)試，讓系統(tǒng)“學(xué)習(xí)”不同口音的閩南話。待系統(tǒng)基本“學(xué)會(huì)”不同口音的閩南話后，洪青陽(yáng)又給系統(tǒng)加大了難度——文讀（讀書認(rèn)字時(shí)教的語(yǔ)音）和白讀（日常生活中廣泛使用的語(yǔ)音）都要會(huì)。
閩南話中存在大量多音字，有著復(fù)雜的文讀白讀現(xiàn)象，以“大學(xué)”這一詞為例，就有文讀和白讀兩種讀法。研究人員對(duì)閩南話語(yǔ)音識(shí)別采取了特定規(guī)則的發(fā)音詞典標(biāo)注，并用革新后的算法建立了閩南話語(yǔ)音識(shí)別模型。
為什么選它？
全球約七千萬(wàn)人說(shuō)閩南話
在美國(guó)Meta公司公布閩南話翻譯系統(tǒng)后，很多人很吃驚：為什么是閩南話？
原因也很簡(jiǎn)單，目前，全世界大約有7000萬(wàn)人在說(shuō)閩南話，分布在福建的廈、漳、泉地區(qū)，臺(tái)灣地區(qū)，廣東潮汕，雷州半島，海南島部分地區(qū)以及浙江溫州部分鄉(xiāng)鎮(zhèn)等，此外還有廣闊的東南亞。與此同時(shí)，閩南話被稱為“中國(guó)最難學(xué)方言之一”。
2013年，洪青陽(yáng)和許彬彬團(tuán)隊(duì)開始閩南話翻譯系統(tǒng)研究，洪青陽(yáng)說(shuō)，這源于團(tuán)隊(duì)中不少人都是閩南人，有閩南情懷。而且，閩南話是我國(guó)重要方言之一。與此同時(shí)，許彬彬深耕閩南方言等漢語(yǔ)方言研究多年。
當(dāng)然，Meta公司認(rèn)為，之所以選擇閩南話，還有一個(gè)原因：為了解決缺乏文字語(yǔ)種的語(yǔ)言翻譯難題。但是，洪青陽(yáng)說(shuō)，其實(shí)閩南話是有用于書面記載的文字和發(fā)音詞典。