Nature：交互式語言的語音規(guī)劃網(wǎng)絡

在談話中，人們可以做到輪流說話，快速回應對方，同時避免被打斷。這種相互作用顯示出了顯著的協(xié)調，因為轉換之間的間隔通常是200毫秒。這些延遲比在簡單的單詞生成任務中觀察到的要短得多，這表明說話者經(jīng)常在聽搭檔說話時就已經(jīng)開始計劃他們的回答。盡管大腦區(qū)域的分布式網(wǎng)絡與語言規(guī)劃有關，但人們對使語言轉換迅速的特定準備過程背后的神經(jīng)動力學知之甚少。在這里，我們使用顱內腦電圖來精確測量參與者執(zhí)行交互任務時的神經(jīng)活動，并觀察到功能上和解剖學上截然不同的與計劃相關的皮質動力學。我們將這些反應定位于一個額顳回路，該回路集中在對語言至關重要的尾側下額葉皮層(布洛卡區(qū))和尾側額葉中回(通常與語言規(guī)劃無關的區(qū)域)。通過一系列的運動任務，我們發(fā)現(xiàn)這個計劃網(wǎng)絡在準備演講時比非語言行為更活躍。最后，我們在自然對話中描繪出與規(guī)劃相關的回路，這與我們在交互任務中繪制的網(wǎng)絡幾乎相同，并且我們發(fā)現(xiàn)在不受限制的交流轉換過程中，這個回路在參與者發(fā)言之前是最活躍的。因此，我們已經(jīng)確定了一個語音規(guī)劃網(wǎng)絡，它是社會互動中自然語言生成的中心。本文發(fā)表在Nature雜志。(可添加微信號siyingyxf或18983979082獲取原文，另思影提供免費文獻下載服務，如需要也可添加此微信號入群，原文也會在群里發(fā)布)。

思影曾做過多期語言相關的文章解讀，溫故知新，請點擊以下鏈接結合閱讀（直接點擊，即可瀏覽，加微信號siyingyxf或18983979082獲取原文及補充材料）：

Science：工具使用和語言句法在基底神經(jīng)節(jié)共享計算機制和神經(jīng)表征

語言加工的神經(jīng)計算模型?

語言功能網(wǎng)絡在腦區(qū)水平的發(fā)育軌跡?

Nature子刊：語言、心智和腦?

語音韻律及其神經(jīng)基礎

Science：鳴唱學習和口語的演化

PNAS：嬰兒大腦中語言的正交神經(jīng)編碼?

語前嬰兒與成人相似的語音統(tǒng)計學習模式：來自神經(jīng)夾帶的證據(jù)

Nature子刊：腦卒中后失語癥語言恢復的神經(jīng)計算基礎

腦損傷患者基于語言任務的功能磁共振成像與靜息態(tài)功能磁共振成像對軀體運動網(wǎng)絡的識別?

BRAIN：失語癥詞匯產出的白質結構連通性：DSI研究

Science advances：新生兒的言語知覺

布洛卡區(qū)域的功能復雜性及功能分離

近紅外超掃描研究：人與人之間口頭交流的跨腦神經(jīng)機制

幻聽中語言網(wǎng)絡、聽覺網(wǎng)絡和記憶網(wǎng)絡的交互障礙

Science：從個人口語到社交世界:人類口語的神經(jīng)處理

Current Biology：手語和口語共享部分概念表征

Science：句法和語義組合的神經(jīng)基礎

Science：語言在單字層面以上的神經(jīng)處理

PNAS：與語言相關的腦網(wǎng)絡中特定頻率的有向連接

音位：不僅僅是詞匯獲取

10Hz tACS對詞語語音決策中前額葉皮層的影響

Psychological Science:自上而下的詞匯加工影響著早期言語

PLOS Biology：語言控制的功能連接組

BRAIN:遺傳性言語障礙中的背側語言通路異常

PNAS:雙語習得對大腦結構及功能可塑性的影響

ERP研究：在語言理解過程中追蹤聽眾的知識狀態(tài)

對前語言期嬰兒心理理論相關的顳頂聯(lián)合區(qū)的近紅外研究

ERP研究：嬰兒已具有人類特有的編碼語音嵌套關系的能力

PPI研究：顳葉癲癇的左顳葉語言網(wǎng)絡功能連接

ERP研究：母語促進視覺意識的理解

PNAS:兩個一起學更好：嬰兒看視頻同樣可以學語言的ERP證據(jù)

HBM:閱讀中語音產生期間的腦功能近紅外光譜研究

PNAS腦電研究：說話人的注視增加嬰兒和成人大腦之間的信息偶聯(lián)

Science: 位于人類聽覺皮層的語調編碼

語言網(wǎng)絡的短期迅速重組

1、方法

參與者都是病人志愿者，患者參與者正在接受植入ECoG電極的治療。實驗包括三個行為任務：

1.關鍵信息（CI）任務：CI問題改編自一個既定的刺激集。我們設計了120個類似結構的英語問題，這些問題被分為三類(動物、身體部位和反義詞)。每個類別都以相同CI的問題對為特征，在這些問題中，CI出現(xiàn)的可能早或晚(例如，圖1c-f)。補充圖1提供了CI問題的完整列表。實驗人員將CI問題念給被試聽，并要求被試盡快回答。問題的順序是隨機的，每個實驗的措辭也略有不同。所有的CI問題都可以用一個單詞來回答，參與者偶爾會用一個短語來回答。

2.命令響應（CR）任務：四項CR任務與CI任務試次在所有情況下都是隨機順序進行的，除了一項，它是作為一個單獨的塊完成的。補充圖1給出了所有CR刺激的完整列表。在CR1中(手部運動)，參與者進行了與語言產生無關的肌肉運動。在CR2(口面部運動)中，參與者被要求進行非言語口面部活動，特別是微笑、張開嘴、伸出舌頭和噘嘴。在CR3(語音重復)中，參與者重復單音節(jié)實詞、單音節(jié)虛詞和/或雙音節(jié)虛詞的組合。在CR4中(復數(shù)化)，參與者被要求產生普通單音節(jié)名詞的不規(guī)則復數(shù)形式和/或規(guī)則復數(shù)形式。

3.無約束談話：完成CI和CR任務后，實驗者讓參與者參與不受約束的談話。在這部分實驗中，參與者除了自然地說話外，沒有得到任何具體的指示。

補充圖1 CI任務期間的行為：

a，在CI任務的感知、規(guī)劃和產生窗口中假定發(fā)生的子過程的描述。

b，所有參與者在CI試次早和晚的反應時間(RT)直方圖。

c，所有參與者早和晚CI試次的中位RT值。

d，e，在早和晚試次(d)和不同的CI問題類型(e)中，描述所有顯示計劃相關反應的電極的平均峰谷反應振幅分布的直方圖；指出了每個分布的中位數(shù)。

f，顯示CI任務示例問題早期(上)和后期(下)變量GLM回歸器結構的示意圖。備注：這里的早和晚對應上面說的CI出現(xiàn)的早或晚。

行為分析

用電生理采集系統(tǒng)和/或攝像機采集的音頻由訓練有素的語音學家(G.A.C.)進行注釋，以確定所有實驗者的問題/命令、CI和參與者對CI和CR任務的反應的起始和結束。如果參與者在沒有做出回答，要求提供更多信息(例如，要求重復問題)，或出現(xiàn)停頓或中斷(例如，說“嗯”或結巴)，則被排除在進一步分析之外。在CR任務的試次中，參與者不能準確地完成命令也會被排除在分析之外。

無約束對話的音頻也被注釋，以提供時間戳，時間戳為所有實驗者和參與者的開始和結束。輪轉被認為是連續(xù)的講話片段，不被另一個發(fā)言者打斷。

隨后對電生理數(shù)據(jù)進行預處理。使用廣義線性模型的活性位點檢測。

為了評估顯著性，我們使用了一種重采樣方法，在100次重復的替換試次中，隨機選擇80%的試次子集迭代執(zhí)行GLM。為了證實單個電極的反應與CI問題的具體時間結構吻合良好，我們使用了抖動分析。抖動分析如補充圖2所示。

補充圖2 GLM時間抖動分析：

a，為436名被試的高gamma活動的GLM擬合R值；每條線代表來自單個電極的數(shù)據(jù)。

b，用兩個高斯覆蓋擬合的D值集合分布為例子(黑色)。對應于良好擬合(藍色)和較差擬合電極(紅色)的高斯分布，以及較差擬合電極的D分布的第95個百分位數(shù)(虛線)。

c，總結了每個參與者在抖動分析中被拒絕的電極數(shù)量。

d，報告了被抖動分析拒絕的電極解剖位置和在CI任務中顯示顯著活動的電極。

e，散點圖，描述一個區(qū)域內被拒絕電極的比例作為一個區(qū)域內響應電極比例的函數(shù)。

由于我們觀察到的感知電極比規(guī)劃電極少得多，因此我們進行了兩項額外的GLM分析，以評估在早期CI問題中，感知和規(guī)劃期的重疊結構是否使GLM在檢測規(guī)劃相關活動時有所偏差，而犧牲了感知相關活動。為此，我們首先執(zhí)行上面描述的GLM分析，但忽略了規(guī)劃回歸器。對于這個簡化的模型，我們保持D閾值和單個電極D值不變，以保持與完整模型一致的排除標準。然后，我們比較了簡化模型和完整模型檢測到的感知相關電極的數(shù)量(擴展數(shù)據(jù)圖3c)。然后，我們用簡化的GLM進行了平行分析，忽略了知覺回歸因子。在這些簡化模型中，我們評估了：

(1) 當忽略規(guī)劃回歸因子時獲得顯著感知響應的規(guī)劃電極數(shù)量(在完整模型中檢測到)(擴展數(shù)據(jù)圖3d)；

(2) 當知覺回歸因子被忽略時，獲得顯著計劃反應的知覺電極數(shù)量(擴展數(shù)據(jù)圖3e)。

擴展圖3 CI任務中的神經(jīng)活動分析：

a，連續(xù)介質模型模擬的所有任務響應電極在三維GLM權值空間的分布散點圖。

b，c，連續(xù)模型模擬電極在CI任務的一個窗口(b)(即未混合)或多個窗口(c)顯示響應的分布；

d，顯示一個以上顯著正權值的電極的比例(即混合電極)；

e，連續(xù)介質模型模擬的100000次迭代。

f，報告了使用完整模型或缺乏規(guī)劃回歸器的GLM顯示知覺相關反應的電極數(shù)量。

g，h，描述感知(g)和規(guī)劃(h)的散點圖。

GLM權值空間的CI聚類分析

為了評估功能相關的電極類別(即感知、規(guī)劃和產生)是否在GLM權重空間中形成不同的簇，使用聚類對所有被試所有反應電極進行聚類。假設有三個聚類，在三維GLM權值空間(即感知權值、規(guī)劃權值和產生權值)中進行聚類。

通過模擬，我們評估了GLM權重空間中觀察到的功能電極類的聚類是否可能是由于對不斷變化的神經(jīng)活動模式進行細分而導致的。為此，我們生成了253個模擬電極(即在我們的數(shù)據(jù)集中觀察到的響應電極的數(shù)量)，并隨機分配了感知權重、規(guī)劃權重和產生權重。每個回歸變量的模擬權重由獨立的單峰正態(tài)分布生成，其平均值和標準差與響應電極上的觀測值相匹配。這種方法允許我們將模擬反應電極的回歸權重范圍與實際數(shù)據(jù)中觀察到的相匹配，同時假設回歸權重反映了潛在的非分類的、單模態(tài)的連續(xù)神經(jīng)活動，而不是我們假設的離散響應剖面。接下來，模擬反應電極被劃分為未混合和混合電極，與實際數(shù)據(jù)的分類方式相同，我們量化了(1)混合電極的比例和(2)“錯誤聚集”的未混合電極的比例。
評估規(guī)劃響應的語音選擇性

為了量化規(guī)劃響應的特異性，對CR任務數(shù)據(jù)進行了另一種GLM分析。這個分析與在CI任務中執(zhí)行的GLM是相同的，除了4個計劃回歸量(CR1-CR4)，3個產生回歸量(CR1(手部運動)，CR2(非言語口面部運動)，以及CR3和CR4(言語))被使用。由于每個位點的時間精度通過CI任務量化，因此不進行抖動分析。此外，由于這個任務中的CI持續(xù)時間更長(例如，“張開你的嘴”相對于一個單詞)，CI的開始被定義為計劃回歸器的開始。

我們通過計算計劃電極在(1)尾側IFG(即三角部和蓋骨部)中的比例來評估單個區(qū)域內計劃電極的語音選擇性。(2)尾側MFG和(3)中央前回在四項CR任務中均表現(xiàn)出顯著的正計劃權重。為了評估這些比例的重要性，我們進行了一項重采樣分析，將每個CR任務的所有計劃電極上觀察到的計劃權重打亂并隨機分配到這三個區(qū)域中的每一個電極上。然后計算出在每個區(qū)域內被打亂的顯著正面反應的比例，這個過程被重復了10萬次，以確定預期的隨機比例的分布。

主成分（PC）分析

基于任務和談話的PCs的計算

為了降低神經(jīng)活動的維數(shù)，使用奇異值分解對所有CI任務響應電極的非平均高gamma信號進行PCA(即，每個電極都是一個變量，以時間點作為觀察值)。具體來說，我們將每個參與者的數(shù)據(jù)(在實驗過程中依次發(fā)生的數(shù)據(jù))的任務和對話時段分開，并對每個時段的數(shù)據(jù)獨立地進行PCA。任務期定義為第一次CI或CR試次開始前5秒開始，最后一次CI或CR試次結束后5秒結束的段。對話分段定義為第一個實驗者開始對話前5秒開始，最后一個被試對話后5秒結束的對話周期。

PC系數(shù)空間中任務響應電極的聚類

為了以無監(jiān)督的方式評估網(wǎng)絡組織，我們用k-means聚類確定了每個參與者至少擁有兩個不同類別的未混合電極的任務響應電極簇。為了使這一分析在參與者之間標準化，我們在三維PC系數(shù)空間中使用前三各PCs的標量系數(shù)進行聚類，同時假設有三個聚類，因為目測顯示在所有情況下至少有三個主要電極聚類(擴展數(shù)據(jù)圖7a-f)。

擴展圖7對個體參與者的PCA結果。

a-f，對于6個具有足夠數(shù)量的多個GLM類電極的被試：在任務和對話期間PC系數(shù)空間中描述電極分布的散點圖。

g，h，2名受試者主要擁有規(guī)劃電極。

電極簇的功能分類

為了確定PC系數(shù)空間中的電極簇是否與使用CI任務和GLM定義的感知、規(guī)劃和產生電極類相對應，我們檢查了GLM定義的每個簇內電極的分類。為此，我們統(tǒng)計了每一簇中未混合感知、規(guī)劃和生產電極(即具有單一顯著正GLM權重的電極)的數(shù)量，并根據(jù)電極種類的數(shù)量對其進行了功能分類。
PCs的功能分類

為了檢查與談話過程中的語言感知、計劃和產生相關的神經(jīng)活動，我們評估了時變的PC得分(即根據(jù)PC系數(shù)對時間進行相加的電極的線性組合)，作為感知內電極聚集活動的代理——與計劃和產生相關的集群。為了首先確定哪些PC對應于每個電極類，我們檢查了PC系數(shù)的分布由電極顯示在每個參與者的每個集群類別。具體來說，我們確定了前三個PC中哪一個在感知集群、規(guī)劃集群和產生集群中電極的平均系數(shù)值最高，并將這些PC分別定義為感知PC、規(guī)劃PC和產生PC。

如果您對腦電等數(shù)據(jù)處理感興趣，可參加思影的腦影像基礎班及其他模態(tài)班，具體可瀏覽以下鏈接（可添加微信號siyingyxf或18983979082咨詢，另思影提供免費文獻下載服務，如需要也可添加此微信號入群)：

北京：

第二十五屆腦電數(shù)據(jù)處理入門班(北京，5.16-20）?

重慶：

第二十二屆近紅外腦功能數(shù)據(jù)處理班（重慶，5.24-29）?

更新：第二十四屆腦電數(shù)據(jù)處理入門班（重慶，6.9-13）

上海：

第三屆腦電機器學習數(shù)據(jù)處理班（Matlab版，上海，5.15-20）?

第三十六屆腦電數(shù)據(jù)處理中級班(上海，5.28-6.1）?

數(shù)據(jù)處理業(yè)務介紹：

思影科技EEG/ERP數(shù)據(jù)處理業(yè)務?

思影科技近紅外腦功能數(shù)據(jù)處理服務?

思影科技腦電機器學習數(shù)據(jù)處理業(yè)務
思影數(shù)據(jù)處理服務六：腦磁圖（MEG）數(shù)據(jù)處理

思影科技眼動數(shù)據(jù)處理服務?

招聘及產品：
思影科技招聘數(shù)據(jù)處理工程師?（上海，北京，南京）
BIOSEMI腦電系統(tǒng)介紹
目鏡式功能磁共振刺激系統(tǒng)介紹
2、結果

對話轉換可以分為三個主要的認知過程：意識到對方說話的時機，計劃自己的時機，以及包含該時機的說話內容(圖1a，b)。每個步驟都由幾個子成分組成(擴展圖1a)，語言規(guī)劃是一個特別多面的過程，包括各種功能，從抽象的概念和語義操作到低層次的發(fā)音編程和運動啟動。因此，許多皮質區(qū)域都與計劃有關，包括額下回、前運動皮層、顳上回、輔助運動區(qū)和頂葉下皮層。在本研究中，我們通過測量參與者在結構化的互動任務和非約束性對話時的皮層活動，描繪了與快速轉換相關的規(guī)劃過程的神經(jīng)基質。
規(guī)劃活動的特征描述

言語規(guī)劃是一種內部過程，幾乎或根本沒有行為上的關聯(lián)，通常與自然對話中的言語感知和產生重疊。因此，我們首先試圖從實驗上分離出與對話轉換過程中規(guī)劃相關的神經(jīng)活動。為此，我們采用了一個已建立的問答范式，在這個范式中，一個單詞(即“關鍵信息”或CI)通過提供正確回答所必需的信息來初始化言語規(guī)劃(圖1c-f)。實驗人員會提出一組39至94個的CI問題給8名參與者(神經(jīng)外科患者志愿者)，CI要么出現(xiàn)在問題的中間(“早”)，要么出現(xiàn)在問題的末尾(“晚”)。如果語言規(guī)劃是由CI啟動的，晚應該比早試次顯示出更長的反應潛伏期，因為它們提供相對較少的規(guī)劃時間。正如預期的那樣，我們觀察到晚期試次的反應時間明顯長于早期試次(擴展數(shù)據(jù)圖1b，c)，表明CI范式暫時隔離了與快速轉換相關的前過程。

接下來，我們檢測了參與者回答CI問題時他們的皮質反應。之前使用這項任務的工作已經(jīng)使用腦電圖報告了頭皮上廣泛的與CI相關的活動，我們試圖利用顱內皮質腦電圖(ECoG)的時間(<10ms)和空間(<5mm)精度來測量不同皮質部位的規(guī)劃活動。我們在8名參與者的左側語言支配半球植入了總共874個ECoG電極，發(fā)現(xiàn)790個電極適合于進一步分析。我們通過檢測局部場電位的高gamma頻帶(大約70-150Hz)來檢測神經(jīng)活動，并觀察到許多電極的激活被暫時鎖定在CI問題的特定階段(圖1c-f)。具體來說，感知相關的活動在實驗者提出問題的整個過程中都保持不變(圖1c，d)，而產生相關的活動在很大程度上只出現(xiàn)于參與者的口頭回答時(圖1e，f)。相比之下，計劃相關活動在CI陳述后立即被觀察到，并在參與者反應前回到基線(圖1c-f)；無論CI位置或問題內容(擴展數(shù)據(jù)圖1d，e)，該結果在所有試次中都是一致的(圖1g-j)。

圖1互動語言中的皮層反應。

a，在對話中實驗者和參與者436之間的互動例子(上)，用圖表描述了三個行為階段(下)。

b，與參與者436(上)的所有說話轉換交互示意圖以及相關的說話間隙分布(下)。黃色箭頭表示來自a的交流例子。

c-f，442(c，d)和436(e，f)參與者的高gamma活動早CI(c，e)和晚CI(d，f)試次。

g-j，所有與問題(上)或CI(下)對齊的試次c-f中4個示例電極的活性：e55(g)，e125(h)，e26(i)和e57(j)。

K-n，分別為g-j中樣本電極的感知、規(guī)劃和產生GLM權重。o，所有任務響應電極在GLM權重空間的分布。

p，q，在CI任務的一個窗口(p)或多個窗口(q)顯示反應的電極分布。

皮層語言回路是高度多模態(tài)的，之前的研究表明，對交互行為的處理可能是廣泛分布的，而不是組織成離散的模塊。因此，我們的電極所顯示的動態(tài)可能并沒有與特定的口語互動階段相關聯(lián)，而是在群體水平上形成了一個連續(xù)統(tǒng)一體。為了區(qū)分這些選項，我們設計了一個一般的線性模型(GLM)來量化CI任務感知、計劃和產生窗口期間的活動水平(圖1c-f中的彩色條形圖，擴展圖1f，2)。我們集中分析了高gamma振幅的顯著增加—與局部神經(jīng)元活動相關，并檢測到共有253個電極(32.0%)在至少一個確定的任務時段內顯著提高了(圖1k-n)。然后，我們根據(jù)感知、計劃和產生的GLM權重檢查了所有任務響應電極在三維空間中的組織(圖1o)，發(fā)現(xiàn)每一類顯著的積極反應總是局限于單獨的集群(k-中心聚類，圖1p)。相比之下，假設GLM權重的單峰分布的“連續(xù)模型”(擴展數(shù)據(jù)圖3a-c)總是顯示包含多個響應類的簇(擴展數(shù)據(jù)圖3d)。此外，我們發(fā)現(xiàn)，在我們記錄的數(shù)據(jù)中，只有61個電極(24.1%)在一個以上的任務窗口內顯示積極反應(圖1q)，顯著低于連續(xù)模型下的預期。綜上所述，這些結果表明，我們的ECoG電極記錄的神經(jīng)反應被組織成離散的類，這些類與言語感知、計劃和說話時的產生有關。

接下來，我們檢查了與CI任務的每個窗口相關的神經(jīng)反應的相對頻率(即顯著正的GLM權重)。我們發(fā)現(xiàn)，與計劃和產生相關的反應最常見，20.3%和15.3%的電極在計劃和生產期間的活動顯著增加。這些電極通常表現(xiàn)出顯著的負感知相關的GLM權重(圖1k-n，擴展圖4a)，這可能反映了CI任務感知窗口活動的減少(擴展圖4b)。同時，只有4.6%的電極在感知窗口有反應，這可能是由于電極覆蓋了與聽覺相關的顳葉皮層(擴展圖5a-c)。為了確保感知和計劃的時間重疊窗口在早期CI試次(圖1c，e)并沒有阻礙我們的分析檢測感知響應，我們重新分析了我們的數(shù)據(jù)集，發(fā)現(xiàn)感知相關的電極沒有凈增加(圖3f-h擴展數(shù)據(jù))。這些結果表明，我們的統(tǒng)計方法和行為范式有效地描繪了與這些相互作用的每個階段相關的皮質動力學。

擴展圖4與任務相關的活動變化的附加分析。

a，表報告了感知、計劃和產生相關電極的數(shù)量，在每個GLM回歸變量中顯示顯著的正和負權重。

b，直方圖描述了所有未混合感知、計劃和生產電極在CI問題前500毫秒的平均高gamma振幅。

c，d，在所有參與者的CI任務的感知(c)、生產(d)和計劃(e)窗口中，典型皮層表面顯示具有顯著正(有色)或負(黑色)GLM權重的電極。

補充圖5反應解剖分析。

a，所有參與者的皮質重建顯示所有電極的位置；每個電極的大小描述了其在皮質表面記錄區(qū)域的實際大小。GLM的分類由電極的顏色來表示。

b，標準的皮質表面以標準大小的白色圓圈顯示所有參與者的電極位置。

c，匯集所有參與者的電極后，在典型皮層表面的每個區(qū)域取樣的電極數(shù)量。

d，在CI任務中顯示與產生相關的顯著反應的電極比例。

e，分別在腫瘤患者(上)和癲癇患者(下)的典型皮層表面顯示與語言感知、產生和規(guī)劃相關的顯著反應的電極。

規(guī)劃響應的空間結構

盡管ECoG已被用于繪制與語音感知和產生相關的皮層區(qū)域，但類似的高精度語音規(guī)劃空間表征仍未實現(xiàn)。此外，與規(guī)劃相關的位置可能沒有空間隔離，并與感知相關和/或生產相關的腦區(qū)共享位置。為了解決這個問題，我們首先檢查了個體參與者的活動記錄，并觀察到對CI任務相同窗口(即相同的GLM類)作出反應的電極在空間上是聚集的(圖2a，b，擴展圖5a)。在參與者中，在CI任務中，與語音感知、計劃和產生相關的解剖學上不同的皮層網(wǎng)絡出現(xiàn)在一致的皮層位置。具體來說，在感知(圖2c)和產生(圖2d，擴展圖5d)過程中反應靈敏的電極分別主要局限于表征良好的感覺結構和運動結構。同時，95%的計劃相關電極被分組在一個空間隔離的額顳區(qū)(圖2e)，計劃電極集中在額葉尾下回(cIFG)和額葉尾中回(cMFG)，位于腹側言語運動皮層(vSMC)和顳前上回(aSTG)的計劃電極數(shù)量較少(圖2)。我們發(fā)現(xiàn)，計劃相關和產生相關的vSMC、IFG和cMFG中的許多電極也表現(xiàn)出顯著的負感知相關的GLM權重(擴展數(shù)據(jù)圖4c-e)，這表明這些結構在語音感知中相對不活躍。然而，IFG內的一小部分電極顯示了感知相關的反應(圖2c)，這與之前確定的IFG在語言理解中的作用一致?？傊覀円呀?jīng)描繪了一個空間連貫的網(wǎng)絡，其活動被選擇性地與規(guī)劃性言語聯(lián)系在一起。

圖2言語規(guī)劃反應的空間組織。

a，在CI任務的不同階段，左外側皮層表面和顳上平面電極的試次中平均高gamma活動中位數(shù)。

b，對a中描述的響應進行GLM分類。

b-e，所有參與者的典型皮層表面顯示與語音感知(c)、生產(d)和規(guī)劃(e)相關的反應的電極。

f、顯示規(guī)劃響應的電極比例。

計劃應答的語音選擇性

要啟動CI任務中的言語規(guī)劃，參與者首先要感知CI；因此，這個范式并沒有將理解CI的認知過程從計劃開始時的認知過程中分離出來。為了解決這一問題，我們采用了命令響應(CR)任務，在這個任務中，參與者被要求執(zhí)行一系列不同語言相關性的動作，包括：手部動作(即按按鈕；“CR1”，圖3a)、非言語口面部行為(“CR2”，圖3b)、言語重復(“CR3”，圖3c)和語言操作(即名詞復數(shù)；“CR4”，圖3d)。至關重要的是，CR任務的結構反映了CI任務：一個關鍵的詞或短語被提前或晚地呈現(xiàn)，并且需要對其進行理解才能產生運動反應。

圖3計劃反應的語言選擇性。

a-d，每項CR任務的單次試次中的高gamma活動：非言語手(CR1；a)和口面(CR2；b)動作、言語重復(CR3；c)和復數(shù)化(CR4；d)。

e-h，每個CR任務的規(guī)劃權重與CI任務的規(guī)劃權重相對應。

i，CR和CI任務中所有計劃相關電極的計劃權重分布。星號表示任務之間的顯著差異。

j，在CR3、CR4和CI任務的后期試次中，中位反應時間(RT)沒有顯著差異。k-n，典型皮層表面，指示每項CR任務的計劃反應電極。對特定任務沒有產生顯著反應的電極用白色的小圓圈表示。

o-r，計劃電極在每個CR任務中表現(xiàn)出顯著升高的反應的比例。

s，位于每個結構內的電極對每個CR任務顯示計劃反應的百分比。

利用這種方法，我們進一步對6名在CI任務中表現(xiàn)出顯著計劃相關反應的參與者的124個電極進行了表征。雖然單個規(guī)劃電極在每個CR任務中都能產生最大的反應(圖3a-d)，但只有一部分電極在手部預備活動(18.6%)和非言語口面部運動(43.6%)上表現(xiàn)出顯著的增加，而大多數(shù)電極對言語重復(59.7%)和復數(shù)化(80.7%)有反應(圖3e-h)。在群體水平上，除了復數(shù)化實驗外，CI任務的計劃活動比所有CR條件下的計劃活動都要大。而在重復任務、復數(shù)化任務和CI任務中，反應時間無顯著差異，表明觀察到的活動差異不太可能是由任務難度引起的。綜上所述，這些結果表明，在已識別的計劃網(wǎng)絡中的活動反映了語言準備，而不是與理解或任務參與相關的過程。

雖然計劃電極通常在語音過程中比非語音CR任務更活躍(圖3e-i)，我們假設單個區(qū)域可能顯示不同程度的語音選擇性。因此，我們研究了規(guī)劃活動水平與皮層位置的關系，并觀察到隨著語言相關性的增加，規(guī)劃網(wǎng)絡中廣泛存在更高水平的準備活動(圖3k-n)。然而，我們發(fā)現(xiàn)，與位于中央前回(PreCG)和額中回尾部(cMFG)的電極相比，cIFG內的規(guī)劃電極具有更強的語言選擇性(圖3q-r)，因為大多數(shù)PreCG和cMFG電極在兩種語言任務中都表現(xiàn)出顯著的計劃反應，而cIFG電極通常僅對復數(shù)化任務有反應(圖3q-s)。因此，這些結果表明我們的規(guī)劃網(wǎng)絡被進一步劃分為與不同的語音規(guī)劃過程相關的子網(wǎng)絡。
在自然對話中規(guī)劃

接下來，我們的目標是將基于任務的交互過程中觀察到的神經(jīng)活動與自然語言使用過程中產生的神經(jīng)活動進行比較。為此，我們記錄了參與者在完成結構化任務后與實驗者進行無約束對話2.8分鐘至16.3分鐘(擴展數(shù)據(jù)圖6a)時的神經(jīng)活動。在這種背景下，我們的隊列顯示了大致正常的輪流行為，其時間特性與在一般人群中觀察到的相當(擴展數(shù)據(jù)圖6b)。因此，這些快速的相互作用提供了一個機會，以研究自然的轉換背后的神經(jīng)機制。

補充圖6附加的對話有關分析。

a，表報告了每個參與者額外的回合制對話行為。

b，每個被試在無約束對話中間隔時間的直方圖。

c，記錄任務周期(左)和對話周期(右)高gamma信號的PCA分析圖。

d，觀察到在任務和對話之間集群中不穩(wěn)定(即切換集群)的電極數(shù)量。

e，觀察到的電極在感知、計劃和產生集群中的百分比，分別顯示顯著的感知、計劃和產生響應(根據(jù)GLM)，用直方圖描述每種集群類型的預期概率百分比。

f，在任務(左)和對話(右)中，皮層表面顯示了參與者(n=6)感知、計劃和產生集群中所有電極的位置。

g，表報告了在無約束對話期間，每個參與者的PC活動的匯總統(tǒng)計數(shù)據(jù)。

在對話過程中，我們觀察到個體在CI任務中顯示與計劃相關的反應的電極通常在參與者開始發(fā)言之前被激活(圖4a)，這表明這些區(qū)域在這兩種行為中都參與了言語準備。然而，與我們的互動任務不同，自然行為中的言語規(guī)劃是高度靈活的，不會暫時鎖定在一個實驗定義的刺激(即CI)；這種行為變動性使得對神經(jīng)活動的監(jiān)督分析在很大程度上不可行。為了克服這個問題，我們對連續(xù)電極信號的記錄進行了主成分分析。該方法允許我們識別在任務執(zhí)行和對話過程中獨立顯示相關信號的電極組，并評估網(wǎng)絡結構在兩種情境之間是否保持穩(wěn)定。實驗中，我們發(fā)現(xiàn)電極信號在三維主成分(PC)系數(shù)空間內形成了三個主簇，表明基于任務的交互過程中的神經(jīng)活動被組織成不同的類別。然后，我們觀察這種配置是否在非結構化的輪次中保持不變，并發(fā)現(xiàn)電極信號在對話過程中形成了幾乎相同的簇(圖4c，擴展數(shù)據(jù)圖7a-f)。具體來說，200個電極中只有5個在參與者的兩種行為之間有不同的聚集，這比預期的偶然性要少得多。因此，在基于任務交互的語言生成過程中，活躍的皮層網(wǎng)絡在自然回合轉換過程中也有類似的組織。

圖4在自然對話中計劃的活躍度。

a，參與者472(左)在CI任務(中)和無約束對話(右)期間的示例規(guī)劃電極的高gamma活動。

b，c，對于442名被試的所有CI任務響應部位，在CI任務(b)和對話(c)期間PC系數(shù)空間的電極活動分布。

d，每組電極的PC系數(shù)由c表示。

e，f，在CI任務(左)和對話(右)中，感知和計劃PCs的平均活動實驗者講話的偏移量一致(e)，以及與參與者發(fā)言開始時間相匹配的計劃和生產PCs(f)。

g，被試436產生和計劃PC活動。

h，i，被試436對話期間產生和(h)和計劃(i)PC活動。

j-l，實驗者轉換(j)、轉換間隙(k)和參與者轉換(l)感知、計劃和生產PC活動中位數(shù)的經(jīng)驗累積分布函數(shù)。

隨后，我們評估了在自然對話中觀察到的PCA活動簇是否與與語音感知、計劃和產生相關的神經(jīng)反應相對應。盡管這些功能分類最初是使用GLM進行的，GLM在CI任務的預定義時間窗口內檢測到較高的神經(jīng)活動(圖1)，但我們發(fā)現(xiàn)PC系數(shù)空間中的集群絕大多數(shù)由顯示單一類型任務相關反應的電極組成。我們發(fā)現(xiàn)，聚類分類與GLM衍生的活動類之間存在高度的對應關系。因此，使用我們的無監(jiān)督PCA方法，我們揭示了自然對話中對應于與CI任務隔離的不同響應類和回路的神經(jīng)活動類別(擴展數(shù)據(jù)圖6f)。

接下來，我們分析了時變的PC活動(即PC分數(shù))，以檢查電極在基于任務和自然回合轉換的感知、計劃和產生集群中的功能屬性。每個聚類類別被發(fā)現(xiàn)對單個PC具有很高的權重(圖4d)；因此，我們將這些最大加權PC作為反映每個集群整體活動的聚合信號，并進一步分析了2個感知相關PC、6個規(guī)劃相關PC和5個產生相關PC(擴展數(shù)據(jù)圖7)。在參與者中，我們觀察到計劃PC在實驗者講話轉換附近顯示了一個顯著的平均活動峰值，并也出現(xiàn)在任務和對話的轉換間隙；相反，感知PC在實驗者轉身時活躍，但在實驗者講話時活動急劇減少。計劃型PC同樣在參與者開始進行任務和對話之前表現(xiàn)出活動高峰，而產生型PC的活動通常局限于參與者在兩種情境下的講話。這些結果表明，在無約束輪位轉換過程中，PC與語音感知、語音規(guī)劃和語音產生相關的功能屬性與結構化CI任務中觀察到的反應一致。

最后，我們研究了在個體輪流互動過程中規(guī)劃PC活動，以提供自然對話中與言語規(guī)劃相關的動力學的第一個描述。我們觀察到，與計劃相關的PC在實驗者轉向和參與者轉向前的沉默間隙時最活躍；這些反應與產生相關的PC有顯著的不同，后者的活動很大程度上局限于發(fā)音階段(圖4g-i)。綜上所述，與計劃相關的PC所顯示的功能屬性與對話中的語音準備一致，這表明這些信號代表了計劃過程的神經(jīng)關聯(lián)，在自然語言使用過程中實現(xiàn)快速轉換。
3、總結

對話轉換需要一個復雜的相互作用，同時的語音感知和計劃，再加上精確的語音產生時間。我們使用ECoG記錄來分離與計劃相關的動態(tài)，發(fā)現(xiàn)這些反應在功能上和解剖學上與那些潛在的語言感知和產生截然不同。在結構化的交互和無約束的對話中，我們觀察到這些離散的神經(jīng)活動類別，從而通過提供真實世界語言使用中產生的神經(jīng)動力學的描述，為未來自然主義語音生成的研究鋪平了道路。盡管之前的研究表明，與人類語言相關的神經(jīng)回路是高度多模態(tài)分布的，但我們的研究結果表明，在與動物行為學相關的交互式語音產生過程中，不同的皮層模塊在語言網(wǎng)絡中執(zhí)行不同的功能。這一結論與對人類語言回路的擾動研究以及對非人類發(fā)聲皮層依賴的研究一致，表明在更大的發(fā)聲系統(tǒng)中存在解剖上不同的子回路。我們的研究結果表明，在互動過程中，與計劃相關的反應在很大程度上局限于以cIFG和cMFG為中心的額顳回路。IFG的尾部部分被認為代表布羅卡氏區(qū)，這是經(jīng)典的語言產生的關鍵。然而，最近的研究表明，這一區(qū)域在發(fā)音前而不是發(fā)音期間是活躍的。使用我們的交互范式，我們還觀察到，cIFG中的反應主要發(fā)生在語音啟動之前，并且我們表明，這種活動與規(guī)劃語音相關。與cIFG不同，cMFG通常被認為對言語規(guī)劃或發(fā)音不重要，盡管最近報道了一例局灶切除后的純粹言語失用癥。在這里，我們發(fā)現(xiàn)cMFG參與了交互過程中的語音選擇規(guī)劃。該區(qū)域顯示出與cIFG以及其他語言相關區(qū)域的強大的解剖連接，因此，由于其在語言生成中的作用在很大程度上被忽視，因此是未來研究的重要皮層部位。

很可能，cIFG和cMFG執(zhí)行不同的與語音規(guī)劃相關的功能，這可以從CR任務中不同水平的語音選擇性得到證明。然而，未來的工作需要闡明由這些和其他節(jié)點在已確定的規(guī)劃網(wǎng)絡中執(zhí)行的具體規(guī)劃子過程，并揭示這些子過程在轉換過程中是如何實時展開的。然而，這個規(guī)劃回路的分離代表了理解人類大腦如何在自然環(huán)境中產生語言的重要進展。此外，這項工作有助于為進一步研究交流障礙的生物學基礎奠定基礎，例如口吃和言語失用癥，其中言語規(guī)劃的異常破壞了社會語言的使用。

如需原文及補充材料請?zhí)砑铀加翱萍嘉⑿牛?/span>siyingyxf或18983979082獲取,如對思影課程及服務感興趣也可加此微信號咨詢。另思影提供免費文獻下載服務，如需要也可添加此微信號入群，原文也會在群里發(fā)布，如果我們的解讀對您的研究有幫助，請給個轉發(fā)支持以及右下角點擊一下在看，是對思影科技的支持，感謝！