概念知識(shí)是人類認(rèn)知的基礎(chǔ)。然而，它在多大程度上受到語(yǔ)言的影響還不清楚。對(duì)語(yǔ)義處理的研究表明，相同的概念以不同的方式呈現(xiàn)(例如，口語(yǔ)單詞和圖片或文本)會(huì)引發(fā)相似的神經(jīng)模式。這表明概念表征是獨(dú)立于模態(tài)的。然而，另一種可能性是，相似性反映了對(duì)常見(jiàn)口語(yǔ)表征的檢索。事實(shí)上，在聽(tīng)口語(yǔ)使用者說(shuō)話時(shí)，文本和口語(yǔ)是相互依存的，而圖像是通過(guò)視覺(jué)和語(yǔ)言的途徑來(lái)編碼的。一項(xiàng)針對(duì)語(yǔ)義認(rèn)知的平行研究表明，雙語(yǔ)者在不同的語(yǔ)言中對(duì)相同的單詞的感知是激活相似的模式的。這表明概念表征是獨(dú)立于語(yǔ)言的。然而，這只在使用口語(yǔ)的雙語(yǔ)者中測(cè)試過(guò)。如果不同的語(yǔ)言可能喚起不同的概念表示，那么在結(jié)構(gòu)上有很大差異的語(yǔ)言應(yīng)該是神經(jīng)分離最明顯的。父母使用手語(yǔ)的聽(tīng)人在手語(yǔ)和口語(yǔ)上都是雙語(yǔ)的（就是我們常說(shuō)的平衡雙語(yǔ)者），且這兩種語(yǔ)言以不同的方式傳達(dá)（口語(yǔ)是聽(tīng)覺(jué)通道，而手語(yǔ)是視覺(jué)通道，他們經(jīng)歷的早期過(guò)程是不同的，在語(yǔ)言通達(dá)上可能也存在一些差異，但目前大部分研究仍舊停留在早期階段）。

那么假如不同語(yǔ)言存在不同的概念表征，我們應(yīng)該能從結(jié)構(gòu)差異巨大的口語(yǔ)和手語(yǔ)對(duì)概念的通達(dá)上觀察到某種差異。因此，來(lái)自倫敦大學(xué)學(xué)院的研究者通過(guò)比較早期聽(tīng)人口語(yǔ)-手語(yǔ)雙語(yǔ)者（早期雙語(yǔ)者指的是在語(yǔ)言關(guān)鍵期習(xí)得兩種語(yǔ)言的人群）由聽(tīng)覺(jué)語(yǔ)言和手語(yǔ)語(yǔ)言引起的語(yǔ)義表征的差異，研究了通道（即聽(tīng)覺(jué)通道和視覺(jué)通道）和雙語(yǔ)對(duì)概念表征的影響。

作者的研究證明了語(yǔ)義類別的表征在手語(yǔ)和口語(yǔ)中是共享的，但在單個(gè)口語(yǔ)單詞和手語(yǔ)單詞中則非如此，即作者在研究中發(fā)現(xiàn)：手語(yǔ)和口語(yǔ)存在重疊的神經(jīng)基礎(chǔ)能夠擬合基于分類的概念表征模型（在詞匯加工的重要腦區(qū)，顳上回后部），但在具體的語(yǔ)義特征模型和項(xiàng)目模型中存在口語(yǔ)和手語(yǔ)特異的神經(jīng)基礎(chǔ)。這為手語(yǔ)和口語(yǔ)共享部分概念表征提供了證據(jù)，同時(shí)還表明語(yǔ)言是一個(gè)“微妙”的“過(guò)濾器”，我們通過(guò)它理解世界并與世界互動(dòng)。手語(yǔ)可能給我們提供了一種獨(dú)特的對(duì)這個(gè)世界進(jìn)行“觀察”的視角。 

研究方法

被試：

該實(shí)驗(yàn)得到了倫敦大學(xué)學(xué)院倫理委員會(huì)的批準(zhǔn)，并獲得了所有被試的知情同意。資料收集自18名右利手早期手語(yǔ)雙語(yǔ)者，他們沒(méi)有已知的神經(jīng)、聽(tīng)力或語(yǔ)言學(xué)習(xí)障礙。由于偶然的發(fā)現(xiàn)，一名被試的數(shù)據(jù)被刪除，最后留下17名被試的數(shù)據(jù)集(平均年齡= 33;范圍20-52年;女= 12)。除了一個(gè)出生在澳大利亞，另一個(gè)出生在非英語(yǔ)國(guó)家，但在三歲時(shí)移居英國(guó)外，其他所有的被試都在英國(guó)出生和接受教育。

15名被試從聾啞父母那里學(xué)習(xí)英國(guó)手語(yǔ)(BSL)， 2名從一位年長(zhǎng)的聾啞兄弟姐妹那里學(xué)習(xí)。被試用自述量表(1差-7優(yōu))對(duì)自己的英國(guó)手語(yǔ)技能進(jìn)行評(píng)價(jià):均值= 6.3/7,SD =0.86，范圍= 4-7。六名被試以前曾擔(dān)任過(guò)英國(guó)手語(yǔ)口譯員，或目前正在接受口譯培訓(xùn)。其中一名是英國(guó)手語(yǔ)教師，另外三名曾擔(dān)任或正在擔(dān)任通信支持工作者(CSWs)。所有被試都報(bào)告說(shuō)，他們以前曾以家庭成員的非正式身份擔(dān)任口譯。這說(shuō)明，參與此次研究的所有早期口語(yǔ)手語(yǔ)雙語(yǔ)者的手語(yǔ)水平都是很高的。

fMRI實(shí)驗(yàn)流程：

作者一共選擇了三種類別的刺激物：水果、動(dòng)物和交通工具，每種種類有三個(gè)概念物，水果類是：橘子、葡萄和蘋果，動(dòng)物類是：老鼠、獅子和猴子，交通工具是：火車、大巴和自行車（圖1A）。呈現(xiàn)類型分為兩種，一種為聽(tīng)覺(jué)呈現(xiàn)（口語(yǔ)的聽(tīng)覺(jué)通道），一種為手語(yǔ)視頻呈現(xiàn)（手語(yǔ)的視覺(jué)通道）。

在核磁掃描儀中，被試被要求注意由手語(yǔ)視頻呈現(xiàn)或者口語(yǔ)聽(tīng)覺(jué)呈現(xiàn)的目標(biāo)物，當(dāng)他們遇到來(lái)自水果、動(dòng)物或交通工具類別以外的物品時(shí)，例如，目標(biāo)填充物品，他們需要按下按鈕(見(jiàn)圖1B)。按按鈕的左右手在被試之間是平衡的（即一半被試左手按，一半被試右手按，可以在被試間平衡利手按鈕的問(wèn)題）。平均97%的非類別目標(biāo)項(xiàng)目被識(shí)別(平均正確35/36，SD = 1.45 , 最小 值 = 31日 max = 36 ) 和準(zhǔn)確性顯著大于機(jī)會(huì)概率 (mean d’score = 4.56 ),t (16) = 42.74 , p = 6.37*10 ^-18, 表明被試完全參與了實(shí)驗(yàn)。

每個(gè)被試共掃描6個(gè)run，在每個(gè)run里，這9個(gè)目標(biāo)物會(huì)被使用聽(tīng)覺(jué)口語(yǔ)和視覺(jué)手語(yǔ)分別呈現(xiàn)兩次（并且男性和女性打的手語(yǔ)或者念的口語(yǔ)都被會(huì)被呈現(xiàn)，因此每個(gè)物體會(huì)被呈現(xiàn)2*2*2，共八次），因此會(huì)有72個(gè)（8*9）有效刺激出現(xiàn)，除此以外，每個(gè)run里還會(huì)包含6個(gè)非目標(biāo)刺激供被試反應(yīng)（即不屬于這三個(gè)類別的物體），并且有6個(gè)屬于這三個(gè)類別但不是目標(biāo)物體的刺激（比如pig，豬），最后還有7個(gè)空置的trail，只有白色的十字交叉注視點(diǎn)呈現(xiàn)，而沒(méi)有聽(tīng)覺(jué)呈現(xiàn)或視覺(jué)呈現(xiàn)的刺激。因此，每個(gè)run里有91個(gè)刺激物體，使用混合設(shè)計(jì)，即block結(jié)合event方法進(jìn)行呈現(xiàn)。

綜上所述，每次試驗(yàn)包括91個(gè)試次(72次目標(biāo)物體，6次目標(biāo)填充，6次非目標(biāo)填充物體，7次無(wú)效刺激，即白色的十字注視點(diǎn))。試次(口語(yǔ)/手語(yǔ))的呈現(xiàn)方式的順序在成對(duì)的參與者之間是平衡的，即以手語(yǔ)呈現(xiàn)給參與者1的項(xiàng)目以口語(yǔ)呈現(xiàn)給參與者2，反之亦然。每個(gè)刺激都按自然持續(xù)時(shí)間呈現(xiàn)，然后在下一次試驗(yàn)開(kāi)始前進(jìn)行持續(xù)3秒的注視交叉。每個(gè)被試做6個(gè)run。使用the COGENT toolbox（MATLAB中的一個(gè)工具包）進(jìn)行了刺激程序的設(shè)計(jì)和呈現(xiàn)。

作者的刺激材料是包含兩個(gè)通道的，一個(gè)是手語(yǔ)視覺(jué)通道，一個(gè)是口語(yǔ)聽(tīng)覺(jué)通道，同時(shí)手語(yǔ)視頻由男女兩個(gè)錄制者錄制，聽(tīng)覺(jué)語(yǔ)音由男女兩個(gè)錄制者錄制，因此形成了兩個(gè)模態(tài)（手語(yǔ)模型和口語(yǔ)模態(tài)），6個(gè)不同狀態(tài)（手語(yǔ)男-手語(yǔ)女，口語(yǔ)男-口語(yǔ)女，手語(yǔ)男-口語(yǔ)男，手語(yǔ)男-口語(yǔ)女，手語(yǔ)女-口語(yǔ)女，手語(yǔ)女-口語(yǔ)男），為了方便陳述，在后續(xù)文中我們的陳述分為模態(tài)內(nèi)和模態(tài)間，其中手語(yǔ)男-手語(yǔ)女，口語(yǔ)男-口語(yǔ)女為模態(tài)內(nèi)，我們統(tǒng)一用手語(yǔ)-手語(yǔ)和口語(yǔ)-口語(yǔ)表示。手語(yǔ)男-口語(yǔ)男，手語(yǔ)男-口語(yǔ)女，手語(yǔ)女-口語(yǔ)女，手語(yǔ)女-口語(yǔ)男這四個(gè)狀態(tài)為模態(tài)間，統(tǒng)一使用手語(yǔ)-口語(yǔ)或者口語(yǔ)-手語(yǔ)來(lái)表示。

圖1 實(shí)驗(yàn)材料展示和實(shí)驗(yàn)流程

在每個(gè)被試完成了fMRI掃描后，對(duì)他們看到的手語(yǔ)視頻詞匯進(jìn)行了像似性評(píng)級(jí)（手語(yǔ)中很多詞匯都很直觀，比如說(shuō)狗、牛等詞匯都是直接模仿動(dòng)物的特征來(lái)表示的，因此像似性是高于口語(yǔ)詞匯的）。然后，這些被試參與了一個(gè)圖片拖拽任務(wù)，他們被告知要根據(jù)圖片之間是否是高度相關(guān)的對(duì)剛剛看過(guò)的核心詞匯和填充詞匯的圖片進(jìn)行拖拽，相關(guān)性高的拖到一起，低的拖到一起。作者發(fā)現(xiàn)，被試拖拽的結(jié)果和他們使用the CSLB concept property norms 篩選出的這些刺激詞匯所表現(xiàn)出的歐式距離是高度相關(guān)的(r = 0.904, n = 36, p = 4.42 *10^-14)（central of  Speech Languege and Brain(CSLB)，一篇關(guān)于語(yǔ)言中概念組織關(guān)系的文章提出的概念組織模型，感興趣的請(qǐng)看The Centre for Speech, Language and the Brain (CSLB) concept property norms.這篇文章，可添加微信siyingyxf或19962074063獲取），高相關(guān)說(shuō)明作者篩選出的詞匯間的概念關(guān)系和被試組中的真實(shí)概念表征是高度一致的。 

數(shù)據(jù)采集：

數(shù)據(jù)采集使用3T西門子機(jī)器，32通道頭線圈。功能磁共振數(shù)據(jù)采集參數(shù)如下：TR =2800ms, TA =2800ms, 翻轉(zhuǎn)角度=90度，TE = 30ms, 矩陣大小 = 64x64, 體素大小為 3mm x 3mmx3mm, 層間間距1mm，40層).每個(gè)run采集136張全腦功能像，共采集6個(gè)run。在采集功能像后，采集了field map用于后續(xù)預(yù)處理場(chǎng)圖校正，最后采集了T1結(jié)構(gòu)像用于配準(zhǔn)。 

統(tǒng)計(jì)分析：

fMRI數(shù)據(jù)處理

作者使用SPM12進(jìn)行數(shù)據(jù)處理，首先剔除了每個(gè)run的前6張圖像，然后使用SPM中的display功能對(duì)功能像和結(jié)構(gòu)像的原點(diǎn)進(jìn)行了校正，接著進(jìn)行了時(shí)間層校正，然后使用fieldmap利用SPM中的unwarp realign功能依據(jù)場(chǎng)圖對(duì)數(shù)據(jù)進(jìn)行了頭動(dòng)和形變校正，使用兩步配準(zhǔn)法將利用結(jié)構(gòu)像將功能像配準(zhǔn)至標(biāo)準(zhǔn)空間（MNI），數(shù)據(jù)的體素大小被resample到了2*2*2mm。最后使用6mm的高斯平滑核進(jìn)行了空間平滑。

然后對(duì)每個(gè)被試的數(shù)據(jù)進(jìn)行一階建模，使用廣義線性模型對(duì)每個(gè)被試接受到的刺激按照刺激的onset時(shí)間和duration時(shí)間進(jìn)行contrast定義，使用一個(gè)360s的高通濾波，把6個(gè)方向的頭動(dòng)作為協(xié)變量進(jìn)行回歸，將模型和一個(gè)正則化HRF函數(shù)（血流動(dòng)力函數(shù)）卷積，得到每個(gè)被試的神經(jīng)成像建模結(jié)果。作者共設(shè)置了口語(yǔ)刺激條件、手語(yǔ)刺激條件、目標(biāo)填充條件和非目標(biāo)填充條件，還有無(wú)效刺激條件（即七個(gè)白色注視點(diǎn)）作為隱形的基線條件，還區(qū)分了口語(yǔ)錄音人男和口語(yǔ)錄音人女以及手語(yǔ)錄制人男和手語(yǔ)錄制人女。作者使用口語(yǔ)刺激>基線條件和手語(yǔ)刺激>基線條件的contrast結(jié)果圖像作為二階分析的對(duì)象。

RSA（表征相似性分析）

作者使用了基于MATLAB的RSA工具包，基于一階建模得到的每個(gè)條件的Beta值通過(guò)交叉驗(yàn)證的方法計(jì)算不同條件的馬氏距離（馬氏距離是由印度統(tǒng)計(jì)學(xué)家馬哈拉諾比斯(P. C. Mahalanobis)提出的，表示數(shù)據(jù)的協(xié)方差距離。它是一種有效的計(jì)算兩個(gè)未知樣本集的相似度的方法。與歐式距離不同的是它考慮到各種特性之間的聯(lián)系（例如：一條關(guān)于身高的信息會(huì)帶來(lái)一條關(guān)于體重的信息，因?yàn)閮烧呤怯嘘P(guān)聯(lián)的），并且是尺度無(wú)關(guān)的(scale-invariant)，即獨(dú)立于測(cè)量尺度。）這種計(jì)算方法可以使用多元噪聲歸一化方法降低體素間的噪聲相關(guān)性，從而提升統(tǒng)計(jì)效力。使用不同run進(jìn)行交叉驗(yàn)證，以提升模型表現(xiàn)。 

Searchlight RSA 分析

使用含有65個(gè)體素的8毫米球形探照燈進(jìn)行了全腦的search-light分析，這與作者在之前語(yǔ)言處理研究中使用的參數(shù)一致。在RSA分析中，計(jì)算每個(gè)核心刺激與其他刺激之間的交叉距離，為每個(gè)體素及其周圍鄰居生成一個(gè)表征性差異矩陣(RDM)。由此產(chǎn)生的RDM反映了手語(yǔ)-手語(yǔ)、口語(yǔ)-口語(yǔ)或口語(yǔ)-手語(yǔ)之間的距離，這些距離構(gòu)成了內(nèi)部和跨模態(tài)的不同模式。

在RSA分析中，使用三種不同的RSA分析方法，將口語(yǔ)-口語(yǔ)、手語(yǔ)-手語(yǔ)或口語(yǔ)-手語(yǔ)距離的平均值(例如，模內(nèi)組合距離)映射到到每個(gè)小球的中心體素。模內(nèi)距離僅計(jì)算來(lái)自不同語(yǔ)言模型(例如，不同的說(shuō)話者和打手語(yǔ)者，即男性和女性)的項(xiàng)之間的距離，以排除由低級(jí)感知屬性驅(qū)動(dòng)的相似性。每個(gè)被試的個(gè)體全腦search-light分析映射到MNI標(biāo)準(zhǔn)空間，然后使用一個(gè)概率的灰質(zhì)mask（大于等于20%）限制統(tǒng)計(jì)范圍，然后作者使用SPM進(jìn)行了模態(tài)內(nèi)的單樣本T檢驗(yàn)和口語(yǔ)-口語(yǔ)VS手語(yǔ)-手語(yǔ)的配對(duì)樣本T檢驗(yàn)。作者使用了FDR的團(tuán)塊校正（體素p為小于0.005，團(tuán)塊p為0.05），卡值后的團(tuán)塊大小為模態(tài)內(nèi)距離(k = 172個(gè)體素)、口語(yǔ)>手語(yǔ)距離(k = 146個(gè)體素)和手語(yǔ)>口語(yǔ)距離(k = 116個(gè)體素)。 

感興趣分析

作者使用了search-light二階分析中得到的團(tuán)塊結(jié)果作為感興趣區(qū)，這么做的主要原因是測(cè)試當(dāng)測(cè)試樣本大小受到特殊人群限制時(shí)，可以利用有可靠結(jié)構(gòu)表征的ROI分析來(lái)降低由于全腦分析沒(méi)有可信的結(jié)構(gòu)表征而造成的虛假相關(guān)。

      由于每個(gè)團(tuán)塊（cluster）包含多個(gè)RDM，每次search-light的結(jié)果包含在一個(gè)團(tuán)塊中，因此對(duì)RDMs求平均值，為每個(gè)團(tuán)塊和每個(gè)參與者提供一個(gè)代表性的RDM。作者使用了非參數(shù)Tau-a相關(guān)方法，該方法比皮爾遜或斯皮爾曼相關(guān)在此處更合適，因?yàn)槟Ｐ蜑橹群完P(guān)系。將得到的相關(guān)系數(shù)的值轉(zhuǎn)換為皮爾遜相關(guān)的R值，然后使用Fisher Z變化轉(zhuǎn)換為Z值，以便于進(jìn)行后續(xù)的參數(shù)檢驗(yàn)。

RSA模型

作者使用三種不同的方法建立了刺激材料的表征模型，首先根據(jù)CSLB準(zhǔn)則構(gòu)建了刺激材料的詞匯之間的表征模型（圖2C），以此來(lái)表示不同刺激之間的語(yǔ)義相關(guān)關(guān)系和不同模態(tài)之間的語(yǔ)義相關(guān)關(guān)系。其次是基于物品的模型，該模型預(yù)測(cè)每一件物品都是獨(dú)一無(wú)二的，例如，一個(gè)橙子與其他所有物品的不同之處大于其自身的不同之處，而且該模型不能預(yù)測(cè)物品之間的任何其他關(guān)聯(lián)（圖2D）。第三種模型不測(cè)試項(xiàng)目到項(xiàng)目的相似性，但預(yù)測(cè)類別結(jié)構(gòu)(圖2E)，稱為基于類別的模型。除此以外，作者還測(cè)試了口語(yǔ)錄音人和手語(yǔ)錄視頻者不同時(shí)是否存在模型差異。

作者使用上述模型測(cè)試了模態(tài)內(nèi)（口語(yǔ)-口語(yǔ)的距離和手語(yǔ)-手語(yǔ)的距離）的差異和模態(tài)間（口語(yǔ)-手語(yǔ)的距離或手語(yǔ)-口語(yǔ)的距離）的差異。RSA模型是在以統(tǒng)計(jì)無(wú)偏（unbaised，這里主要的意思是說(shuō)是受數(shù)據(jù)驅(qū)動(dòng)的，而不是受先驗(yàn)假設(shè)影響的）的定義的感興趣的區(qū)域內(nèi)進(jìn)行評(píng)估的。作者測(cè)試了RSA模型的模態(tài)內(nèi)距離和所有口語(yǔ)大于手語(yǔ)區(qū)域的模態(tài)間距離，反之亦然。作者為了驗(yàn)證所使用的ROI是獨(dú)立的（文中使用的是正交一詞，但實(shí)質(zhì)是保證根據(jù)二階結(jié)果篩選的ROI是獨(dú)立于被試以及口語(yǔ)錄音人和手語(yǔ)錄視頻者的），使用了留一交叉驗(yàn)證的置換檢驗(yàn)方法，再次確定了ROI（見(jiàn)補(bǔ)充圖1）。采用多維標(biāo)度法(MDS)，通過(guò)計(jì)算平均RDM(表征性差異矩陣)參與度，并應(yīng)用非度量MDS，將RDM的相似結(jié)構(gòu)可視化。

圖2 刺激材料的表征模型

注：C圖模型是根據(jù)CSLB模型中的語(yǔ)義特征關(guān)系根據(jù)非參的Tau-a相關(guān)方法表征其關(guān)系的語(yǔ)義特征模型。D圖是一種基于項(xiàng)目的模型，它預(yù)測(cè)每個(gè)項(xiàng)目是唯一表示的，例如，一個(gè)蘋果與其他項(xiàng)目的差異比與它自己的差異更大，并且不能預(yù)測(cè)項(xiàng)目之間更廣泛的語(yǔ)義關(guān)聯(lián)。E圖是一種基于分類的模型，其中項(xiàng)目間的相似性由語(yǔ)義特征模型預(yù)測(cè)，而項(xiàng)目?jī)?nèi)的相似性則不進(jìn)行測(cè)試。這個(gè)模型中的白色方塊表示被排除的比較。

補(bǔ)充圖1 組平均結(jié)果ROI和留一交叉驗(yàn)證的置換檢驗(yàn)得到的ROI區(qū)域圖

研究結(jié)果

1.  手語(yǔ)和口語(yǔ)共享的語(yǔ)義表征

利用search-light分析，作者首先確定了在模態(tài)項(xiàng)之間存在可靠正表示距離（可直接理解為正相關(guān)）的區(qū)域(例如，平均口語(yǔ)-口語(yǔ)距離和手語(yǔ)-手語(yǔ)距離)。作者只計(jì)算了來(lái)自不同語(yǔ)言模型(例如，不同的口語(yǔ)錄音人和不同的手語(yǔ)視頻錄制者的)的項(xiàng)目（這里的項(xiàng)目指的是前文方法中作者所說(shuō)的一階分析的不同條件）之間的距離，以排除由低級(jí)感知屬性驅(qū)動(dòng)的相似性。在選定的ROI區(qū)域，作者使用以下模型測(cè)試了共享的語(yǔ)義表征:

(1)語(yǔ)義特征模型在模態(tài)內(nèi)距離上的顯著擬合;

(2)語(yǔ)義特征模型在跨模態(tài)（即模態(tài)間）距離上的顯著擬合。

分析發(fā)現(xiàn)，能夠?qū)δB(tài)內(nèi)距離可靠表征的大腦區(qū)域共有6個(gè)cluster（圖3A），分別是雙側(cè)的V1-V3區(qū)域（視覺(jué)皮層）、右側(cè)顳上回前部、左側(cè)顳上回和顳中回、右側(cè)顳中回近視覺(jué)皮層、右側(cè)腦島和左側(cè)顳下回后中部（left pMTG/ITG)。其中三個(gè)cluster顯示出語(yǔ)義特征模型的顯著吻合(在六個(gè)cluster中將體素的alpha調(diào)整為p < 0.008之后)。這三個(gè)團(tuán)塊分別是右側(cè)顳中回后部、雙側(cè)的V1-V3區(qū)域和左側(cè)顳下回后中部。但是在后續(xù)分析中發(fā)現(xiàn)，只有左側(cè)顳下回后中部是對(duì)口語(yǔ)模態(tài)內(nèi)和手語(yǔ)模態(tài)內(nèi)的表征相似性都敏感的區(qū)域，同時(shí)對(duì)跨模態(tài)（即模態(tài)間）距離也敏感的區(qū)域，這表明，口語(yǔ)和手語(yǔ)共同分享語(yǔ)義表征的區(qū)域可能就在左側(cè)顳下回后中部。

圖3 手語(yǔ)和口語(yǔ)共享的語(yǔ)義表征

注釋：A中是search-light方法根據(jù)模態(tài)內(nèi)定義尋找的顯著陽(yáng)性區(qū)域，共有6個(gè)顯著的cluster，使用團(tuán)塊層面的FDR校正方法，體素大小172。   

 B為根據(jù)語(yǔ)義特征模型，按照非參數(shù)的Tau-a相關(guān)方法構(gòu)建的模態(tài)內(nèi)和模態(tài)間的模型表征。紅框說(shuō)明的模態(tài)內(nèi)的相似性，Sp1和Sp2指的男性錄音人和女性錄音人，Si1和Si2指的是男性手語(yǔ)錄制者和女性手語(yǔ)錄制者，口語(yǔ)-口語(yǔ)和手語(yǔ)-手語(yǔ)是模態(tài)內(nèi)的。藍(lán)色的框表示的是跨模態(tài)的，指的是口語(yǔ)-手語(yǔ)或者手語(yǔ)-口語(yǔ)的，白色的框是自己和自己，所以是被忽略的。     

C-F是對(duì)B圖中cluster6的具體分析結(jié)果，因?yàn)檫@個(gè)區(qū)域是在RSA分析中發(fā)現(xiàn)可以和模態(tài)內(nèi)表征及模態(tài)間表征模型能夠擬合的區(qū)域，這個(gè)cluster位于左側(cè)顳下回后中部(-48，-62，-6)。其中，C圖是對(duì)這一區(qū)域根據(jù)MDS方法圖示化的模態(tài)內(nèi)的距離表征，左邊為手語(yǔ)模態(tài)內(nèi)，右邊為口語(yǔ)模態(tài)內(nèi)，放大的圖中的1和2代表的各自模態(tài)內(nèi)的不同的錄制者（即一個(gè)男的一個(gè)女的）。     

D圖是語(yǔ)義特征模型在模態(tài)內(nèi)和模態(tài)間的擬合都顯著。小提琴圖顯示了z轉(zhuǎn)換值的分布和單獨(dú)的數(shù)據(jù)點(diǎn)，包括90%的置信區(qū)間和噪聲上限(灰色矩形)。     

E圖是MDS方法圖示化的根據(jù)類別表征的不同對(duì)象在模態(tài)內(nèi)和模態(tài)間的關(guān)系。     

F圖是根據(jù)基于物品的模型在這一個(gè)團(tuán)塊內(nèi)的模態(tài)內(nèi)的擬合情況和模態(tài)間的擬合情況，模態(tài)內(nèi)擬合顯著，模態(tài)間擬合不顯著。

模態(tài)特異的表征

在上一個(gè)分析中，作者分析了手語(yǔ)模態(tài)和口語(yǔ)模態(tài)共享語(yǔ)義表征的區(qū)域，接著作者分析了對(duì)口語(yǔ)模態(tài)或手語(yǔ)模態(tài)具有特異表征的區(qū)域。首先來(lái)看對(duì)口語(yǔ)表征特異性的分析。

有四個(gè)團(tuán)塊被發(fā)現(xiàn)是口語(yǔ)相互間的表征差異大于手語(yǔ)表征的，分別是右側(cè)顳上回前部延伸到顳極、左側(cè)顳上回、右側(cè)顳上溝后部和右側(cè)殼核和腦島區(qū)域（圖4A）。進(jìn)一步的分析發(fā)現(xiàn)，只有圖4A中的第一個(gè)cluster，也就是右側(cè)顳上回前部延申到顳極的區(qū)域能夠顯著的擬合語(yǔ)義特征模型和基于物體的項(xiàng)目模型。在圖4中B是語(yǔ)義特征模型的表征，D是基于物體的項(xiàng)目模型的表征，C是基于類別的模型的表征。E圖是對(duì)男聲和女生兩種不同聲音刺激的表征，發(fā)現(xiàn)音色的差異在這一區(qū)域是顯著的（H中可以看出）。

作者在右前STG中發(fā)現(xiàn)對(duì)口語(yǔ)形式的識(shí)別是出乎意料的，因?yàn)橐话阏J(rèn)為語(yǔ)言的處理主要在左側(cè)，尤其是聽(tīng)覺(jué)語(yǔ)音中對(duì)語(yǔ)義概念的解碼。作者認(rèn)為，這可能反映了早期雙語(yǔ)者在語(yǔ)言處理過(guò)程中右半球的更大的參與，或者，考慮到右半球在聽(tīng)人手語(yǔ)母語(yǔ)者手語(yǔ)處理過(guò)程中的更大的重要性，這一區(qū)域?qū)谡Z(yǔ)中概念表征的敏感可能反映了一種手語(yǔ)對(duì)早期手語(yǔ)口語(yǔ)雙語(yǔ)者更具體的影響。

圖4 口語(yǔ)表征特異性分析結(jié)果

接著來(lái)看手語(yǔ)表征特異性分析

作者的初步分析（search-light實(shí)現(xiàn)）發(fā)現(xiàn)，相對(duì)于口語(yǔ)的表征而言共有五個(gè)團(tuán)塊的手語(yǔ)表征模式相互間差異更大，分別是左側(cè)V1-V3區(qū)域、右側(cè)V1-V3區(qū)域、左側(cè)舌回區(qū)域近V5區(qū)域、左側(cè)枕上回和頂上回區(qū)域以及左側(cè)舌回近小腦區(qū)域（見(jiàn)圖5A）。這四個(gè)區(qū)域中沒(méi)有一個(gè)區(qū)域能夠擬合基于類別的表征模型（圖5D），僅有圖5A的1號(hào)cluster也就是左側(cè)V1-V3能夠擬合基于語(yǔ)義特征的表征模型（圖5B）和基于物體驅(qū)動(dòng)的項(xiàng)目表征模型（圖5C）。并且對(duì)男、女的錄制人敏感（圖5E）。這可能表明，這一區(qū)域?qū)τ谝曈X(jué)通道的手語(yǔ)刺激是敏感性的，其形式化的差異在早期調(diào)節(jié)了手語(yǔ)的輸入。

圖5F同樣顯示了在這個(gè)區(qū)域的通過(guò)MDS方法圖示化的男錄制人和女錄制人的不同對(duì)象之間的表征距離。圖5H表明了各檢驗(yàn)的顯著性。

圖5 手語(yǔ)表征特異性分析

總結(jié)：

本文使用功能磁共振成像(fMRI)比較了在早期口語(yǔ)手語(yǔ)的雙語(yǔ)者中，英國(guó)英語(yǔ)口語(yǔ)和英國(guó)手語(yǔ)所表達(dá)的相同概念所引發(fā)的神經(jīng)模式的相似性。概念表征只是部分共享的，手語(yǔ)和口語(yǔ)表征存在特異的概念表征基礎(chǔ)，在視覺(jué)區(qū)域和聽(tīng)覺(jué)區(qū)域存在特異的不同模態(tài)的敏感腦區(qū)。

  這可能表明，我們用來(lái)交流的語(yǔ)言就像一個(gè)微妙的過(guò)濾器，我們通過(guò)它來(lái)理解這個(gè)世界，并與之互動(dòng)。這一發(fā)現(xiàn)是出乎意料的。先前的腦成像研究顯示，手語(yǔ)和語(yǔ)言的激活存在顯著的單變量重疊，這使得包括研究者在內(nèi)的研究人員提出，手語(yǔ)和口語(yǔ)背后的神經(jīng)過(guò)程存在廣泛的相似性。但是當(dāng)前的研究結(jié)果表明，有必要重新思考這一假設(shè)，并強(qiáng)調(diào)手語(yǔ)在更廣泛的語(yǔ)言處理和語(yǔ)義表達(dá)方面所能提供的獨(dú)特視角。

原文：Sign and Speech Share Partially Overlapping Conceptual Representations

微信掃碼或者長(zhǎng)按選擇識(shí)別關(guān)注思影