每個(gè)人在語言的產(chǎn)出和理解中感受最真切的語義其背后是由什么組成的呢?語言學(xué)中一直強(qiáng)調(diào)的句法,它和語義的統(tǒng)一是如何實(shí)現(xiàn)的呢?二者的組合在人腦中是如何表征的呢?目前,我們對于這些問題的答案其實(shí)是比較模糊的。來自紐約大學(xué)的研究者在Science雜志發(fā)文對這一問題的相關(guān)研究進(jìn)行了闡述,并提出了一些新的觀點(diǎn)。今天,我們就趁熱打鐵,來和大家一起對這些觀點(diǎn)進(jìn)行深入了解。
人類語言使我們可以用一系列有限的基礎(chǔ)結(jié)構(gòu)創(chuàng)造出無限的表達(dá)意圖。這個(gè)組合系統(tǒng)的神經(jīng)基礎(chǔ)是什么?已有許多研究者們通過分析兩詞短語這種最基本的句法語義結(jié)構(gòu)從而剖析自然語言中句法和語義的神經(jīng)基礎(chǔ)。作者在文章中闡述的主要是一些基于兩次短語結(jié)構(gòu)的研究,這些研究揭示了一個(gè)語義處理的建構(gòu)系統(tǒng),該系統(tǒng)包括左前顳葉的活動(dòng)以及左腹內(nèi)側(cè)前額葉皮層的參與。這兩個(gè)腦區(qū)不僅在語言的理解和產(chǎn)生時(shí)會(huì)激活,而且在口語和手語的加工時(shí)也會(huì)激活,并且都顯示出語義加工,而不是句法結(jié)構(gòu)。本文論述了語言是如何建構(gòu)意義的,并在組合系統(tǒng)的基礎(chǔ)上為未來的神經(jīng)生物學(xué)研究提出了一些意見。
正文:
當(dāng)處于一種熟悉的語言環(huán)境時(shí),我們的大腦會(huì)自動(dòng)將單個(gè)詞匯結(jié)合成連貫的語義。即使沒有接收語言時(shí),我們的大腦也會(huì)做類似的事情:在自己的腦海中創(chuàng)造新的意義,并且理解自己所創(chuàng)造的。這就是內(nèi)心的“喋喋不休”,對大多數(shù)人來說是很難停止的。盡管結(jié)合語義是本能和自動(dòng)的,但是語義加工與復(fù)雜的心理活動(dòng)相比,我們的大腦會(huì)參與更多。我們先來看一些簡單的句子:
Sally baked the black beans. (Sally烘烤黑豆。)
Sally baked thebeans black. (Sally把豆子烤黑了。)在第一句,black(黑色)描述烘烤前豆子的一個(gè)特征,即修飾詞。在第二句,豆子變黑是由烘烤引起的,這是一種結(jié)果性。我們甚至可以給形容詞加修飾語產(chǎn)生歧義:
Sally baked some beans black enough to look like licorice.
在這句,Sally可以烘焙外觀類似于甘草的豆子(修飾語閱讀),或者她可以烘焙豆子,直到豆子變成像甘草一樣黑(結(jié)果閱讀)。我們的大腦是根據(jù)句法來區(qū)分語義的,這個(gè)例句闡述了符合英語句法的三種結(jié)構(gòu):名詞前修飾語(名詞前的形容詞)、動(dòng)結(jié)式謂語(形容詞在名詞后,描述主要的“主”謂語動(dòng)詞的結(jié)果)和名詞后修飾,它在語義上等同于名詞前修飾語,但只有當(dāng)修飾語滿足一定的長度或權(quán)重要求時(shí)才會(huì)在語法上等同。你的大腦有與這些結(jié)構(gòu)相對應(yīng)的長期記憶痕跡,因此能夠根據(jù)這些知識來評估傳入的語言。這是毫無爭議的(句法結(jié)構(gòu)造成的歧義基本都如此,漢語里也有類似的,如“咬死獵人的狗”,你品品,是不是有兩種意思)。但是在語言加工過程中,什么是用于詞匯組合或合并即時(shí)加工的?如何評估我們的創(chuàng)作表現(xiàn)和句法知識?本文主要集中在作者對這個(gè)問題的現(xiàn)有理解上。
理解:左前顳葉皮層的快速概念合成
事實(shí)證明,在意義構(gòu)成的神經(jīng)生物學(xué)研究中,從簡單的對象開始考察是更有效的。簡短的兩詞短語是更簡易的代表單元,因此研究者們開始對這些小短語的特點(diǎn)進(jìn)行考察。其目標(biāo)是在功能上分解一個(gè)參與完整句子加工的大腦神經(jīng)網(wǎng)絡(luò)。
本文主要回顧關(guān)于采用腦磁圖(magnetoencephalography, MEG)方法的研究,MEG是唯一一種既能提供描述語言快速加工所需的毫秒分辨率,又能對產(chǎn)生測量信號的神經(jīng)電流進(jìn)行合理精確的空間定位的無創(chuàng)技術(shù)。
首先,當(dāng)一個(gè)人在較少語境聽或讀一個(gè)詞匯時(shí),我們可以描述大腦的神經(jīng)過程。大多數(shù)關(guān)于最小短語的研究都使用形容詞和名詞的組合。結(jié)果表明,在英語中,符合形容詞加名詞的正常句序(如red boat)相比于不符合的(如 xtp boat及下面的那些例子),符合句法結(jié)構(gòu)的在名詞出現(xiàn)后的200-250毫秒增加了左前顳葉(LATL)的活動(dòng)。如果句法結(jié)構(gòu)符合,大約在LATL反應(yīng)的200毫秒后,腹內(nèi)側(cè)前額葉皮層(vmPFC)的活動(dòng)增加(如圖1)。同時(shí),如果把名詞放在形容詞前時(shí)(也就是語序倒置),會(huì)發(fā)現(xiàn)類似的結(jié)果。這些結(jié)果代表了什么呢?
圖1:理解和產(chǎn)生中的短語構(gòu)建。
LATL(左前顳葉)和vmPFC(腹內(nèi)側(cè)前額葉)會(huì)參與單一的組合步驟。在理解過程中,LATL早于vmPFC的參與,但在產(chǎn)出過程中,兩者是同時(shí)參與的。在產(chǎn)出中,圖片命名范式允許研究不同的語言,同時(shí)完美地控制物理刺激。你可以簡單地讓參與者用不同的語言說出圖片的名字。在這里,類似的LATL和vmPFC效果被發(fā)現(xiàn)在在英語和美國手語(ASL)的短語規(guī)劃中
我們知道,句法是很難分離出來的,這是由于無論是什么樣的句子閱讀(包括文中所說的簡單的二詞短語),在加工過程中不可避免的就會(huì)產(chǎn)生語義的理解。常用的違反范式其實(shí)就充滿了這樣的問題,因?yàn)榫浞ǖ倪`反會(huì)不可避免的導(dǎo)致語義理解的困難。在上面的例子中可以看出,只要是一個(gè)名詞和形容詞的組合,無論其句法位置是否符合,即無論短語結(jié)構(gòu)違反還是不違反,都產(chǎn)生了類似的對LATL和vmPFC的激活響應(yīng)。那么該如何解釋呢?
有進(jìn)一步的MEG研究發(fā)現(xiàn),被試在面對“Indian food”和“Asian food”時(shí),LATL的激活是不一樣的,在面對印度食物這個(gè)具體的短語義時(shí),LATL的激活是顯著較強(qiáng)的,而在加工亞洲食物時(shí),其激活是比較弱的,我們分析一下會(huì)發(fā)現(xiàn),亞洲食物的語義指向是更模糊的,它可以是日本食物,可以是韓國食物,也可以是中國食物,可以是亞洲任何一個(gè)國家的食物(同時(shí),不同被試平時(shí)接觸的亞洲國家可能頻率上相差是很大的,很難確定誰會(huì)聯(lián)想到哪個(gè)國家)。這就和圖2中的例子一樣,在tomato dish和vegetable dish中,tomato dish是語義明確的,而vegetable dish則很不明確,產(chǎn)生的激活可以看出,明確語義的tomato dish誘發(fā)了LATL更強(qiáng)的激活。作者測試了符合句法的短語結(jié)構(gòu)、邏輯語義結(jié)構(gòu)和概念結(jié)構(gòu)的結(jié)構(gòu),發(fā)現(xiàn)了類似的結(jié)果。這說明,LATL很可能是對具體概念敏感,而不是對句法敏感的。
圖2 對句法組合、語義組合和具體性高的短語組合的激活情況
那么vmPFC呢?
盡管我們知道vmPFC對并行句法表達(dá)式中的語義很敏感,但關(guān)于vmPFC功能的假設(shè)仍然是有待研究的。作者指出,它不太可能反映句法的組合方面。證據(jù)來自于對包含隱含意義的表達(dá)式的加工。
總而言之,作者對這些研究結(jié)果進(jìn)行總結(jié):LATL可以作為一個(gè)快速非句法特征的組合指標(biāo),而vmPFC作為一個(gè)晚期組合指標(biāo),可能表示一個(gè)區(qū)域內(nèi)整個(gè)組合加工流的最終輸出,該區(qū)域與更廣泛的社會(huì)認(rèn)知和情景記憶系統(tǒng)有關(guān)。
但有一個(gè)困惑是:如果LATL受損,單個(gè)詞匯加工會(huì)而困難,短語組合加工卻不會(huì)。如果LATL是一個(gè)組合核心區(qū)域,又會(huì)是怎樣發(fā)揮作用呢?作者認(rèn)為,一種可能的解釋是:如果許多不同的子程序帶有大致相似的功能(即構(gòu)建短語),那么該系統(tǒng)可能很難被打破。受損子程序的功能可以由其他子程序至少在某種程度上進(jìn)行補(bǔ)償(大腦的代償機(jī)制)。相反,詞匯內(nèi)的特征綁定可能并沒有相似的更多特征,也就是說詞匯的存儲(chǔ)可能是由單個(gè)區(qū)域完成的,而不是多個(gè)相似的功能區(qū)來完成。這將使單個(gè)詞匯加工比基本的組合加工更加脆弱。事實(shí)上,局灶性腦損傷幾乎不會(huì)導(dǎo)致無法形成簡單短語,反而是單詞獲得和更復(fù)雜的句法加工的困難才是典型的病人特征。這種表現(xiàn)可能佐證了作者的這種猜想。
產(chǎn)生:言語產(chǎn)出中短語和手勢的語言計(jì)劃
在一項(xiàng)圖片命名研究中,說話者和手語者都用形容詞和名詞的組合來命名有色物體,比如“藍(lán)色杯子”。因此,兩組被試接受的物理刺激(圖片)是相同的。研究中的非組合控制條件在詞匯上與組合條件相匹配,方法是將有顏色的對象放在有顏色的背景上(例如,藍(lán)色的杯子放在紅色的背景上),并指導(dǎo)參與者在非組合試驗(yàn)中說出背景顏色和對象的名稱。在兩種情況下,參與者都產(chǎn)生了形容詞-名詞序列,但只有一種情況下,這些詞形成了連貫的組合表示。該研究復(fù)制了之前的英語發(fā)現(xiàn),研究表明,在計(jì)劃描述有色物體的短語時(shí),手語者和說話者都使用了LATL(左前顳葉)和vmPFC區(qū)域,而在計(jì)劃背景顏色加物體描述時(shí)則沒有。這說明,組合的神經(jīng)表征對理解和產(chǎn)生都有作用,也適用于不同的發(fā)音器(即口語和手語的發(fā)音器)。
句法:它隱藏在哪里?
目前的技術(shù)狀況可以概括如下:
(1)在加工自然的、有意義的語言的過程中,神經(jīng)信號(以目前可用的技術(shù)來測量)在兩詞范式和完整句子中都是由意義相關(guān)而不是句法結(jié)構(gòu)支配的。這并不意味著句法不加工,但它確實(shí)使單獨(dú)加工句法更加困難。
(2)當(dāng)對與句子加工相關(guān)的大腦活動(dòng)逐詞進(jìn)行句法結(jié)構(gòu)測量建模時(shí),這些模型可以可靠地預(yù)測幾個(gè)區(qū)域的活動(dòng)。然而,我們不知道這些結(jié)果在多大程度上是由純粹的結(jié)構(gòu)加工或組合語義加工驅(qū)動(dòng)的。對于附加結(jié)構(gòu)的每個(gè)元素,通常還會(huì)添加一個(gè)意義元素。分解結(jié)構(gòu)與意義是自然語言成分研究的基礎(chǔ)問題。
(3)當(dāng)句法短語以一致的、可預(yù)測的速度呈現(xiàn)給聽眾時(shí),即使在沒有結(jié)構(gòu)的物理線索的情況下,電生理反應(yīng)也會(huì)顯示出與這些結(jié)構(gòu)的呈現(xiàn)速度相匹配的功率增加。也就是說,我們的大腦會(huì)注意短語。那么,腦節(jié)律跟蹤的是句法還是語義組合?
這一問題有待進(jìn)一步考察,但是這種有節(jié)奏的追蹤已經(jīng)被復(fù)制到一種沒有語義的人工句法中,指向一種純粹的結(jié)構(gòu)起源。接下來,我們應(yīng)該問,這些節(jié)奏是否也跟蹤非語言的分塊或分組(比如說無意義的語音組合)。這樣的追蹤表明,這些節(jié)奏要么反映了比組合語言操作更普遍的東西,要么表明語言組合操作與一般的組塊過程具有共同的特征。不管怎樣,這些節(jié)奏可能是理解過程中句法分析的線索。
理解更廣泛的組合網(wǎng)絡(luò)
除了LATL、vmPFC和LPTL(左后顳葉)之外,至少還有兩個(gè)區(qū)域被認(rèn)為是更廣泛的組合網(wǎng)絡(luò)的一部分:角回(AG)和左額下回(LIFG)(圖3)。在MEG測量過程中,AG在視覺詞出現(xiàn)后約170ms時(shí)達(dá)到峰值,并對該詞的參數(shù)變化敏感。例如,與不及物動(dòng)詞相比,及物動(dòng)詞的激活程度更高,這是對先前血流動(dòng)力學(xué)研究的復(fù)制??紤]到來自該區(qū)域的強(qiáng)信號,未來研究應(yīng)該能夠描繪出該區(qū)域如何表示單個(gè)單詞的組合潛力。
圖3:非句法組合加工的大腦網(wǎng)絡(luò)的時(shí)空特征。時(shí)間軸展現(xiàn)了非句法加工過程中大腦區(qū)域激活的順序。時(shí)間軸下的區(qū)域代表了句法加工的皮層位置的各種假設(shè)。
語法是知識,語義是過程?
作者認(rèn)為,句法可能是大腦所“知道”的規(guī)則,而不是由大腦所進(jìn)行構(gòu)建的過程。也許使我們的神經(jīng)元興奮的組合步驟都是語義性的,而句法加工相當(dāng)于將這些語義結(jié)構(gòu)與我們儲(chǔ)存的句法知識進(jìn)行比較,因此,如果出現(xiàn)違反了,就會(huì)發(fā)現(xiàn)一些違反范式中常見的ERP成分(個(gè)人覺得作者的這個(gè)假設(shè)很有吸引力,因?yàn)榫浞ǖ膯?dòng)效應(yīng)很弱,但違反效應(yīng)很強(qiáng),并且如何句法從底層開始構(gòu)建,我們產(chǎn)出句子時(shí)是如何做到在那么短的時(shí)間內(nèi)產(chǎn)出大量符合句法規(guī)則的句子,這顯然應(yīng)該是個(gè)高度自渡化的過程)。
知識可能是具有生成規(guī)則的格式來創(chuàng)建結(jié)構(gòu)或表示結(jié)構(gòu)本身的。這種“語法是知識,語義是過程”的模式將使純粹的句法組合在構(gòu)建句子的增量組合步驟中變得不可測量。然而,句法知識仍然可以用來預(yù)測即將到來的語言,因此神經(jīng)活動(dòng)可以被所遇到的語言與預(yù)測匹配的程度所調(diào)節(jié)。這些類型的句法預(yù)測效應(yīng)已經(jīng)通過行為和神經(jīng)測量被廣泛地記錄下來??傊?,根據(jù)這個(gè)假設(shè),自上而下的預(yù)測可能是句法上的或語義上的,但自下而上的組合將完全是語義上的。
然而,現(xiàn)在結(jié)論說句法結(jié)構(gòu)不是大腦即時(shí)組合機(jī)制的一部分還為時(shí)過早。大多數(shù)必要的實(shí)驗(yàn)仍有待進(jìn)行。例如,兩個(gè)單詞的短語可能太小,無法驅(qū)動(dòng)句法節(jié)點(diǎn)。事實(shí)上,當(dāng)形容詞-名詞組合以更復(fù)雜的形式嵌入到完整的句子時(shí),與句法相關(guān)的后顳葉皮層顯示出一種先前未被識別的效果,它反映的是結(jié)構(gòu),而不是意義。為了測試句法節(jié)點(diǎn)在啟動(dòng)之前是否需要一些最少的材料,研究應(yīng)該逐步增加短語的大小——即使這樣,區(qū)分句法和語義效應(yīng)的困難仍然存在(在這方面的工作是一直以來的研究難題)。
展望
我們對句法和語義組合的神經(jīng)生物學(xué)的理解正在進(jìn)步。通過描述最小短語如何影響大腦,為我們理解更復(fù)雜的現(xiàn)象打下了基礎(chǔ)。還可以幫助我們了解神經(jīng)生物學(xué)中的最小成分是如何與更簡單的加工相聯(lián)系的,比如在沒有語義結(jié)合的情況下將兩個(gè)元素聯(lián)系起來。計(jì)算機(jī)的發(fā)展提高了我們從數(shù)據(jù)中提取知識的能力。例如,可以將多元模式分析應(yīng)用于時(shí)間分辨率高的電生理信號。語言的計(jì)算建模也將語言理論帶到了句子加工認(rèn)知神經(jīng)科學(xué)的中心階段,因?yàn)橛?jì)算建模得益于語言理論提供的句子結(jié)構(gòu)的廣泛模型。因此,跨學(xué)科的協(xié)同作用開始了。盡管我們?nèi)匀徊荒芾斫獯竽X如何創(chuàng)造自然語言的意義,但前進(jìn)的道路正變得越來越清晰。
寫在最后:
今天的文章和昨天的文章著眼點(diǎn)不同,但是可以看出本文所回答的一個(gè)問題可能是語言研究中最核心的問題,至少是核心問題之一,即:語義到底是如何通過語言中基本成分的組合在大腦中實(shí)現(xiàn)的?這個(gè)問題的解決依賴于我們對句法的理解,因?yàn)榫浞ㄕ菍⑦@些基本單元組合和聚合的規(guī)則,也就是昨天文章中看到的Chomsky提出的“合并”(merge)操作。只是,本文提出了另一種觀點(diǎn),即語義的整合可能才是大腦所加工的,或者用文中的話說是大腦“do”的內(nèi)容,而句法則像是Chomsky提出的那樣,是“長”出來的,隨著語言刺激的少量輸入,茁壯成長起來的,但是它可能不像是Chomsky提出的那樣,是編碼和解碼的生成和解構(gòu)的過程,而是大腦中所“知道”的規(guī)則,是語言的“綱要”。這種新的思路可能會(huì)給你的研究帶來更多的啟發(fā)。
微信掃碼或者長按選擇識別關(guān)注思影
如對思影課程感興趣也可微信號siyingyxf或18983979082咨詢。覺得有幫助,給個(gè)轉(zhuǎn)發(fā),或許身邊的朋友正需要。請直接點(diǎn)擊下文文字即可瀏覽思影科技其他課程及數(shù)據(jù)處理服務(wù),歡迎報(bào)名與咨詢,目前全部課程均開放報(bào)名,報(bào)名后我們會(huì)第一時(shí)間聯(lián)系,并保留名額。
更新通知:第十屆腦影像機(jī)器學(xué)習(xí)班(已確定)
更新通知:第十二屆磁共振彌散張量成像數(shù)據(jù)處理班(已確定)
第六屆任務(wù)態(tài)fMRI專題班(預(yù)報(bào)名,南京)
更新通知:第二十八屆磁共振腦影像基礎(chǔ)班(重慶,已確定)