江溪中文 > 重生之AI教父 > 第222章 224. 范式一統(tǒng)

      第222章 224. 范式一統(tǒng)

          “我之前所說(shuō)的驚喜,一是一款新的模型結(jié)構(gòu),它將會(huì)終結(jié)目前序列相關(guān)的問(wèn)題領(lǐng)域的混亂現(xiàn)象。另一個(gè)我們放到最后再揭曉。”孟繁岐開(kāi)門(mén)見(jiàn)山,這是寫(xiě)論文摘要的習(xí)慣,先說(shuō)領(lǐng)域有什么不足有什么問(wèn)題,自己通過(guò)了什么辦法解決了什么難題。

          這樣有助于受眾快速理解三要素,缺陷,方法和結(jié)果。

          “序列問(wèn)題,這個(gè)詞可能對(duì)不少人來(lái)說(shuō),顯得稍微有些晦澀。我把事情說(shuō)得直白一點(diǎn),在這里主要指的就是像自然語(yǔ)言和語(yǔ)音聲音那一系列問(wèn)題,當(dāng)然了,如同基因序列這樣一維的問(wèn)題也可以歸在其中。”

          “最近一年多的時(shí)間,深度學(xué)習(xí)在圖像領(lǐng)域一枝獨(dú)秀,爆發(fā)性地突破了很多任務(wù)的極限水平。但在自然語(yǔ)言領(lǐng)域,目前的局面仍舊顯得比較混亂。”

          孟繁岐說(shuō)到這里,不少稍微懂得一些領(lǐng)域內(nèi)幕的人心中免不了有些腹誹,“什么叫深度學(xué)習(xí)在圖像領(lǐng)域一枝獨(dú)秀,整個(gè)兒就是你一個(gè)人在秀。”

          “在目前的序列問(wèn)題領(lǐng)域,傳統(tǒng)的語(yǔ)言技術(shù),效果也還不錯(cuò),有著不少的應(yīng)用。基于深度學(xué)習(xí)的卷積網(wǎng)絡(luò)和循環(huán)網(wǎng)絡(luò),相互之間各有千秋。我個(gè)人的感覺(jué)是,我們學(xué)界總體還是非常迷茫,不知道未來(lái)應(yīng)該主要發(fā)展哪個(gè)方向,不知道哪個(gè)方向才是正確的。”

          “對(duì)于這個(gè)現(xiàn)象,這個(gè)問(wèn)題,我給出的答案是,它們都是不夠好的。目前序列問(wèn)題發(fā)展的最好方向既不是卷積網(wǎng)絡(luò),也不是循環(huán)網(wǎng)絡(luò),而應(yīng)該是注意力機(jī)制。”

          “基于這種機(jī)制,我們放棄了卷積和循環(huán)的模式,提供了一種全新的建模方式,它的名字叫做Transformer,T方法。”

          孟繁岐說(shuō)到這里,就沒(méi)有再繼續(xù)詳細(xì)解釋T方法的結(jié)構(gòu)和原理了,這一次的宣布,主要目的還是為了流量和關(guān)注度,大部分民眾,以及現(xiàn)在現(xiàn)場(chǎng)的人員,都是不大可能能夠理解其中原理的。

          繼續(xù)往下說(shuō),只會(huì)是對(duì)牛彈琴,多說(shuō)無(wú)益。

          只有少部分在現(xiàn)場(chǎng)的人懂得這個(gè)新范式的意義,比如DeepMind的同事們。

          不過(guò)他們?cè)缇鸵呀?jīng)接觸到代碼了,此刻并不會(huì)感到驚訝,也不需要孟繁岐過(guò)多的解釋。

          “具體的原理和推導(dǎo),我們很快會(huì)有論文公布出來(lái),在這里就不耽誤大家的時(shí)間了。”孟繁岐非常清楚,這次最核心的地方還是要展現(xiàn)這種方法在海量問(wèn)題和數(shù)據(jù)上的強(qiáng)大能力,應(yīng)該抓著實(shí)驗(yàn)結(jié)果多吹一吹,如果盡量能用普通人可以感受到的方式,那就更好了。

          “Transformer模型是一種先進(jìn)的深度學(xué)習(xí)模型,既可以用于語(yǔ)音處理任務(wù),也可以用于自然語(yǔ)言處理任務(wù)。我們已經(jīng)在諸多領(lǐng)域使用它取得了巨大的進(jìn)展,我在這里借用大家?guī)追昼姡鲆粋€(gè)快速的展示。”

          所有的觀眾們剛剛消化了阿爾法圍棋這個(gè)圍棋神明的事實(shí),正是對(duì)人工智能有濾鏡的時(shí)候。

          “首先,機(jī)器翻譯。我大量采用了注意力機(jī)制來(lái)捕獲輸入句子和輸出句子之間的關(guān)聯(lián),從而使翻譯質(zhì)量得到了很大的提升。”

          說(shuō)著,孟繁岐的背后顯示出了一個(gè)表格,旁邊是不同大小的T方法對(duì)傳統(tǒng)最佳辦法的對(duì)比柱狀圖圖。

          列舉了幾種常見(jiàn)語(yǔ)言之間,翻譯效果的指標(biāo)。