精準醫(yī)學中的深度學習和影像組學

影像科正在經(jīng)歷一種范式轉(zhuǎn)變，即使用人工智能與機器集成以及深度學習與影像組學更好地定義組織特征，從而實現(xiàn)計算機科學與影像學的共生關(guān)系。研究的目標是使用集成的深度學習和具有影像學參數(shù)的影像組學來為患者進行個性化診斷。本文概述了影像學精準醫(yī)學背景下歷史和當前的深度學習和影像組學方法。本文通過“深度學習”、“影像組學”、“機器學習”、“人工智能”、“卷積神經(jīng)網(wǎng)絡”、“生成對抗網(wǎng)絡”、“自動編碼器”、“深度信念網(wǎng)絡”、“強化學習”和“多參數(shù) MRI'在 PubMed、ArXiv、Scopus、CVPR、SPIE、IEEE Xplore 和 NIPS 中進行文獻檢索。

結(jié)論：總而言之，深度學習和影像組學都是兩種快速發(fā)展的技術(shù)，兩者將在未來聯(lián)合起來產(chǎn)生一個統(tǒng)一的臨床決策支持框架，有望徹底改變精準醫(yī)學領域。本文發(fā)表在expert review of precision medicine and drug development雜志。(可添加微信號siyingyxf或18983979082獲取原文，另思影提供免費文獻下載服務，如需要也可添加此微信號入群，原文也會在群里發(fā)布)。

溫故而知新，建議結(jié)合以下影像組學相關(guān)解讀閱讀，思影承接影像組學數(shù)據(jù)分析業(yè)務如有需求請?zhí)?/span>加微信號siyingyxf或18983979082了解詳情：

基于機器學習的影像組學根據(jù)磁共振成像對膠質(zhì)母細胞瘤患者轉(zhuǎn)錄亞型進行有效分類

人工智能在腫瘤成像中的臨床挑戰(zhàn)和應用

神經(jīng)腫瘤組學基礎知識、工作流程及應用

影像組學特征的生物學意義

影像學紋理分析：放射科醫(yī)生需要知道的事項

基于集成學習方法結(jié)合影像組學特征的惡性腦腫瘤檢測

基于機器學習的心臟成像診斷

關(guān)于膠質(zhì)母細胞瘤的影像組學和影像基因組學

影像組學：醫(yī)學影像學與個性化精準醫(yī)療的橋梁

Radiology：影像組學：圖像不僅僅是圖片，它們還是數(shù)據(jù)

紋理分析及其在醫(yī)學成像中的應用

Radiology：人工智能在神經(jīng)腫瘤學中的新興應用

影像組學初學者指南

放射學中基于影像組學和人工智能預測癌癥預后

腦腫瘤的影像組學：圖像評估、定量特征描述和機器學習方法

基于MRI醫(yī)學圖像的腦腫瘤分級

Radiology：圖像生物標志物標準化：基于高通量圖像表型的標準化定量影像組學

IEEE Signal Processing Magazine：從手工放射組學特征到深

使用多模態(tài)腦部掃描數(shù)據(jù)的自動腦腫瘤分割

Radiology：腦部MRI影像組學:轉(zhuǎn)移瘤類型預測的應用

神經(jīng)放射學診斷中的MRI數(shù)據(jù)分析

AJNR:深度學習在神經(jīng)放射學的應用

Neuro-Oncology：對腦膠質(zhì)瘤IDH突變狀態(tài)進行分類的一種新型的

Neuro-Oncology：深度學習算法全自動評估腦膠質(zhì)瘤負荷

Lancet Oncology：利用人工神經(jīng)網(wǎng)絡對神經(jīng)腫瘤學MRI成像進行

Radiology：人工智能系統(tǒng)腦MRI鑒別診斷精度接近神經(jīng)放射科

1、介紹

影像成像方法用于掃描身體的不同區(qū)域，以檢測和表征潛在的異常病理并幫助臨床診斷。這些影像成像程序可以通過局部或全身掃描產(chǎn)生大量復雜的數(shù)字成像數(shù)據(jù)，這會使“讀取和解釋”圖像數(shù)據(jù)變得非常具有挑戰(zhàn)性。計算機科學的發(fā)展將導致影像學在醫(yī)學領域使用先進的計算方法發(fā)生范式轉(zhuǎn)變 [1–7].這些計算方法包括先進的機器和深度學習算法 [8,9]加上圖像紋理的定量測量，稱為影像組學[10–13].通過結(jié)合這些計算方法，未來的影像科室將形成計算機科學家和影像科醫(yī)生（人類專家）之間的獨特合作。這種合作將使算法能夠在影像學診斷決策制定的各個方面協(xié)助影像科醫(yī)生，例如：識別、分割、不同組織類型的表征以及優(yōu)先診斷。例如，大腦、胸部、腹部、骨盆和乳房等大型成像數(shù)據(jù)集可以通過使用深度學習方法快速分類來分為不同的組，影像科醫(yī)生首先查看潛在的“更差”病例，從而增加影像科醫(yī)師的準確率和信心。可以進一步開發(fā)使用機器學習的其他數(shù)據(jù)挖掘方法，以將影像學參數(shù)與使用電子健康記錄從不同來源（如病理學和臨床病史）提取的其他信息相結(jié)合 [14–17].這些整合的數(shù)據(jù)類型，將使臨床醫(yī)生更全面地了解患者的健康狀況，有助于更準確的診斷并提高對疾病復雜性的理解。當數(shù)據(jù)匯集在一起時，可以實現(xiàn)個性化的治療計劃和精確的疾病預后，如圖1所示.計算影像學的目標是提取圖像中的所有定性和定量信息，并開發(fā)潛在的非侵入性生物標志物，用于檢測和表征患者的疾病。深度學習和影像組學是實現(xiàn)這一目標的計算放射學的新興領域。

深度學習是一個新的研究領域，涉及受我們大腦中的生物神經(jīng)網(wǎng)絡啟發(fā)而開發(fā)的深度人工神經(jīng)網(wǎng)絡 [4,6,18–42].在影像學中，深度神經(jīng)網(wǎng)絡與生物神經(jīng)網(wǎng)絡一樣，試圖學習影像學數(shù)據(jù)的內(nèi)在表示，例如，在MRI中，諸如腦脊液等流體在 T1WI上是暗的，而在T2WI上是亮的。此信息可以訓練深度學習算法來識別模式并執(zhí)行準確的分割。深度學習在多個領域都取得了優(yōu)異的成績，例如。對象檢測和識別、文本生成、音樂創(chuàng)作和自動駕駛等等 [1,2,43–49].近年來，深度學習已成為計算機輔助臨床和影像決策支持領域的一個活躍研究，取得了一些出色的初步成果以及最新的研究發(fā)現(xiàn)。

影像組學是一種紋理數(shù)學結(jié)構(gòu)，可以捕獲感興趣組織的空間外觀（形狀和紋理）在不同類型的圖像上使用紋理[10–13,50–53].最近還有一篇相關(guān)的綜述也說明紋理特征在某些應用中與組織生物學相關(guān) [影像組學特征的生物學意義 54].傳統(tǒng)意義上，影像組學特征提供有關(guān)放射圖像感興趣區(qū)域內(nèi)的灰度模式、像素間關(guān)系、形狀和頻譜的信息。[50–53,55,56].

將影像組學或深度學習算法從研究成功轉(zhuǎn)化為精準醫(yī)學臨床實踐的主要障礙之一就是可解釋性。例如，在影像組學中，如果熵（一階，它是異質(zhì)性/無序性的量度）或灰度共生矩陣 (GLCM) 熵（基于灰度級相互關(guān)系的異質(zhì)性/無序性的高階量度某些社區(qū)）特征被測量為 6.5，如果這些指標沒有控制或正常組織熵值，則很難將生物學意義附加到該熵值。影像組學指標的相同值同質(zhì)或者異質(zhì)的判斷取決于所選的箱子數(shù)量、ROI 的大小以及其他預處理步驟，例如圖像過濾，這些都會對值產(chǎn)生影響（請參閱以下）。

同樣，由于深度學習本質(zhì)上是一個“黑匣子”，當該方法將底層組織分割并預測為惡性或良性時，深度學習不會提供其預測背后的解釋。醫(yī)生的可解釋性將基于算法以及他們是否會“信任”結(jié)果，這是目前的主要挑戰(zhàn)。本文回顧了影像組學和深度學習技術(shù)，概述了目前最先進的精準醫(yī)療算法及其局限性，并對這兩種技術(shù)在精準醫(yī)療中的潛在未來進行了展望。

2、深度學習

近年來，隨著高級優(yōu)化技術(shù)的發(fā)展和計算效率的提高，深度學習技術(shù)重新流行起來。深度學習已經(jīng)開始在現(xiàn)代社會的許多不同方面發(fā)揮不可或缺的作用，并在各種領域產(chǎn)生了出色的成果，例如物體檢測和識別、文本生成、音樂創(chuàng)作和自動駕駛等 [2,43–46,48,49].先進的深度學習將在不久的將來使用計算機輔助臨床和放射決策支持對精準醫(yī)學產(chǎn)生影響。這些方法將概述用于訓練、測試和驗證臨床測試的新方法，以更好地整合醫(yī)學信息，并為診斷提供新的可視化工具。我們將重點關(guān)注深度學習方法的概述和最新技術(shù)水平。

從歷史上看，深度學習方法是計算機科學中機器學習算法的一個子集。簡而言之，機器學習的目標是學習特征并將這些特征轉(zhuǎn)化為類標簽以進行分割或分類。機器學習算法在本質(zhì)上是有監(jiān)督的或無監(jiān)督的，線性的或非線性的[57].深度學習和傳統(tǒng)機器學習算法之間的主要區(qū)別在于，深度學習算法不需要中間特征提取或工程步驟來學習輸入 x（例如，放射圖像上的灰度強度值）和相應的標簽 y（例如，與這些強度值對應的組織類型）。

從概念上講，機器學習算法使用概率分布 p 在 x 和 y 上對輸入 x 和標簽 y 之間的關(guān)系進行建模，一般來說，學習算法可以根據(jù) p [57,58]。生成模型學習聯(lián)合概率分布 (x, y) 以估計后驗概率 p(y|x)。生成深度學習算法的一些例子包括：生成對抗網(wǎng)絡、變分自動編碼器和深度信念網(wǎng)絡 [40,59]。相比之下，判別模型直接估計后驗概率 p(y|x) 而無需計算中間環(huán)節(jié)概率分布。換句話說，判別模型學習 x 和 y 之間的直接映射。卷積神經(jīng)網(wǎng)絡、堆疊自動編碼器和多層感知器是判別式深度學習算法的典型示例 [45,46] 。如果問題要求我們只根據(jù) x 預測標簽 y，那么判別模型可能是更好的選擇，因為它們不關(guān)心 (x, y) 的建模，更有效地為 P(y| x) 建模參數(shù)，從而產(chǎn)生一個準確率更高的分類器。但是，如果輸入 x 包含大量缺失值或數(shù)據(jù)點并且需要數(shù)據(jù)插補，則可能無法使用判別模型。此外，生成模型允許生成新的合成數(shù)據(jù)并模擬輸入數(shù)據(jù)中的不同關(guān)系。例如，如果目標是將病變分類為良性或惡性，則判別式深度學習可能是更好的選擇。然而，如果我們的目標是識別病變的內(nèi)在特征并模擬它們在患者群體中的分布，那么更好的算法選擇可能是生成式深度學習算法之一。下面討論應用于精準醫(yī)學的常用判別式和生成式深度學習算法。圖2簡要介紹了深度學習領域的主要進展歷史和時間表。

圖2.深度學習領域主要進展的時間
2.1 深度神經(jīng)網(wǎng)絡的類型
2.1.1 判別式深度學習模型
2.1.1.1卷積神經(jīng)網(wǎng)絡。卷積神經(jīng)網(wǎng)絡（CNN）是應用于計算機視覺應用的最流行的神經(jīng)網(wǎng)絡架構(gòu)[27].這可能是由于可以訪問可用的深度學習平臺，例如Tensorflow、Pytorch、Matlab深度學習、Keras等。CNN的架構(gòu)受到視覺皮層層級組織的啟發(fā) [2,29]. CNN使用局部連接和權(quán)重來分析輸入數(shù)據(jù)（例如圖像）的二維結(jié)構(gòu)，然后進行池化操作（例如最大池化）以獲得空間不變特征。此外，與同等規(guī)模的相應全連接網(wǎng)絡相比，CNN的可訓練參數(shù)要少得多。典型的CNN架構(gòu)如圖所示圖3.

傳統(tǒng)的CNN架構(gòu)已經(jīng)過修改和擴展以包含不同的架構(gòu)，以改進計算機視覺和其他領域應用程序的最新結(jié)果。用于分類或?qū)ο笞R別任務的一些最著名的架構(gòu)包括 Alexnet [2]、Resnet[6], Densenet[7]，和Inception[3].不同深度學習架構(gòu)的性能、單遍操作量和網(wǎng)絡參數(shù)數(shù)量的比較詳見[60].當前最先進的 CNN 語義（粗到細）分割技術(shù)包括 Segnet [4], U-net[5]，以及它們的變體。

圖3 用于臨床診斷的放射學圖像分類的卷積神經(jīng)結(jié)構(gòu)（CNN）結(jié)構(gòu)的圖示。（a）這里所示的CNN架構(gòu)由兩個卷積層（每個卷積層后面是最大池化層）組成，然后是兩個完全連接（密集）的圖像分類層。

（b）基于圖像塊（patch)的CNN應用于多參數(shù)腦MRI數(shù)據(jù)集以分割不同腦組織類型的示例。

2.1.1.2 堆疊式自動編碼器

自動編碼器是一類無監(jiān)督神經(jīng)網(wǎng)絡，它通過嘗試重建輸入數(shù)據(jù)來學習其輸入數(shù)據(jù)的內(nèi)在表示[33].因此，自動編碼器將輸入數(shù)據(jù)轉(zhuǎn)換為其內(nèi)在維度的緊湊或低維表示。為了監(jiān)督學習任務，當輸入數(shù)據(jù)與標記示例相比有大量未標記示例或數(shù)據(jù)在訓練方面稀疏時，自動編碼器特別有用 [61,62].自動編碼器的典型架構(gòu)如圖所示圖 4.

自編碼器的一些典型應用包括表示學習（例如稀疏自編碼器）、分類（例如堆疊稀疏自編碼器）和圖像去噪（例如堆疊去噪自編碼器 [61]).此外，自動編碼器也已擴展到開發(fā)稱為變分自動編碼器的生成神經(jīng)網(wǎng)絡模型中[39].這是通過修改編碼器使其生成大致遵循單位高斯分布的潛在向量來完成的。通過更改損失函數(shù)以包括輸入和輸出之間的均方誤差以及潛在向量和單位高斯分布之間的 Kullback-Leibler (KL) 散度來強制執(zhí)行約束。變分自動編碼器已經(jīng)開始在無監(jiān)督和半監(jiān)督的特征提取和分割中找到應用[63–65].

圖4 用于通過嘗試重建高維多參數(shù)MRI大腦數(shù)據(jù)集來學習低維表示的自動編碼器的圖示。

2.1.1 生成式深度學習模型

2.1.2.1 深度信念網(wǎng)絡 深度信念網(wǎng)絡 (DBN) 是一類生成式深度神經(jīng)網(wǎng)絡，由多層隨機潛在變量組成 [66]. DBN的每一層都充當前一層的隱藏層和后一層的輸入層。此外，每一層內(nèi)的節(jié)點之間沒有連接。DBN的每一層都可以看作是一個無監(jiān)督網(wǎng)絡，例如受限玻爾茲曼機（RBM）[34] 或自動編碼器[33]，它利用前一層的輸出以貪心逐層無監(jiān)督方式進行訓練。圖5說明了典型DBN的架構(gòu)。

圖5 具有兩個隱藏層的深度信念網(wǎng)絡（DBN）的圖示，用于分割示例多參數(shù)MRI腦數(shù)據(jù)集。利用前一層的輸出，使用受限玻爾茲曼機器（RBMs）以無監(jiān)督的方式對每一層進行預訓練。示例數(shù)據(jù)集上DBN分割的輸出顯示在輸出層中。

2.1.2.2 生成對抗網(wǎng)絡 生成對抗網(wǎng)絡。生成對抗網(wǎng)絡（GAN）是目前最流行的生成深度學習架構(gòu)[40]. GAN由兩個在零和博弈框架中相互競爭的神經(jīng)網(wǎng)絡架構(gòu)組成。一個網(wǎng)絡生成候選者（生成器），而另一個網(wǎng)絡評估它們（鑒別器）。生成器的目標是從輸入數(shù)據(jù)分布中合成真實實例，而鑒別器的目標是區(qū)分輸入數(shù)據(jù)分布的真實實例和合成實例。訓練生成器的目標是最大化鑒別器的錯誤率，大約為 50% [40,67].一旦經(jīng)過訓練，生成器就會學習從潛在空間映射到輸入數(shù)據(jù)分布。圖6展示了典型GAN的架構(gòu)。GAN的主要應用是圖像、視頻和語音合成 [68–73].在醫(yī)學圖像分析中，GAN已被用于醫(yī)學圖像合成、分割、配準和數(shù)據(jù)增強。可以在 [67]這篇文獻中進行更加詳細的描述。

圖6 生成對抗網(wǎng)絡（GAN）架構(gòu)的圖示。GAN由兩個在零和博弈框架中相互競爭的神經(jīng)網(wǎng)絡架構(gòu)組成。一個網(wǎng)絡生成候選（生成器），而另一個網(wǎng)絡評估候選（鑒別器）。生成器的目標是從輸入數(shù)據(jù)分布中合成真實實例，而鑒別器的目標是區(qū)分輸入數(shù)據(jù)分布的真實實例和合成實例。

2.1.2.3 深度強化學習

從歷史上看，強化學習 (RL) 是一個多方面的研究領域，其中RL算法嘗試學習動作以優(yōu)化定義狀態(tài)下的某種類型的動作，并權(quán)衡任何的權(quán)重系數(shù)以獲得最大可能的獎勵 [74,75]. RL所需的主要元素是策略、獎勵信號、價值函數(shù)和定義環(huán)境的模型 [75]. Sutton 對這些和其他 RL 方面進行了深入討論 [75].強化學習算法是面向目標的算法，它試圖在許多動作中最大化特定獎勵，其中，RL算法在每個動作中根據(jù)它采取的是正確或錯誤的動作來決定是獎勵或懲罰。最后，該動作根據(jù)其對最終獎勵的貢獻進行評估[76–85].例如，找到正確的動作組合以獲得最大的分數(shù)并獲勝。

深度強化學習是一個快速發(fā)展的領域，在強化學習領域快速發(fā)展的領域具有突破性的成果，例如語音識別[86], 玩 Atari [87] 和阿爾法圍棋 [88].在深度強化學習中，深度學習算法被訓練來識別當前狀態(tài)并預測下一個最佳移動（例如，CNN 可以被訓練來捕獲游戲的計算機屏幕作為當前狀態(tài)，然后預測按下哪個按鈕鍵盤最大化游戲的最終得分）[87].

深度強化學習算法已開始在計算放射學領域的里程碑檢測和治療反應預測中找到應用[83–85]。在地標檢測中，深度強化學習用于搜索身體中的地標（例如胰腺），使其比標準搜索算法更快[85]。在治療反應評估中，可以訓練深度強化學習模型，以預測藥物對患者治療過程中的影響同時評估他們是否會對治療方案產(chǎn)生反應[83]。

2.2 深度神經(jīng)網(wǎng)絡——深入了解

將深度學習算法從研究成功轉(zhuǎn)化為精準醫(yī)學實踐的主要障礙之一是它們的可解釋性。大量研究表明，深度神經(jīng)網(wǎng)絡很容易被干擾[89–92]，這使得它們的可解釋性對于放射學應用更加重要。

深度神經(jīng)網(wǎng)絡就像一個黑匣子。也就是說，我們不知道深度神經(jīng)網(wǎng)絡是如何組織、整合和解釋成像信息的。例如，當放射科醫(yī)生在他們的大腦中形成“脂肪”的內(nèi)在表征時，他們將其存儲為“T1上亮，T2 上暗”。類似地，“流體”的內(nèi)在表示將存儲為“T1 上暗，T2 上亮”。這里的主要問題是“深度神經(jīng)網(wǎng)絡如何對輸入的內(nèi)在表征進行編碼？”。

近年來，大量研究嘗試打開深度學習的黑匣子，并取得了優(yōu)異的成果，采用激活最大化 [93], 反卷積網(wǎng)絡 [94], 網(wǎng)絡反轉(zhuǎn) [95]，以及網(wǎng)絡剖析[96]包括為提高網(wǎng)絡可解釋性而開發(fā)的主要技術(shù)。可以在[97].在這里，我們將在以下小節(jié)中概述這些技術(shù)。

2.2.1 激活最大化

激活最大化背后的想法是識別最大化特定神經(jīng)元激活的輸入模式。通過識別網(wǎng)絡中不同神經(jīng)元的最佳輸入模式集，可以解碼這些神經(jīng)元在輸入空間方面代表的內(nèi)容。例如，對于經(jīng)過訓練可識別人臉的網(wǎng)絡，激活最大化方法可用于識別專門用來識別不同面部特征（如鼻子、眼睛和嘴巴）的神經(jīng)元。使用激活最大化的輸入模式可視化的可解釋性，近年來引起了人們的極大興趣，從而改進了算法[98].

2.2.2 反卷積網(wǎng)絡

反卷積網(wǎng)絡從輸入圖像的角度解釋卷積網(wǎng)絡，而不是激活最大化的單個神經(jīng)元[94,99,100].反卷積網(wǎng)絡突出了激活每一層中單個神經(jīng)元的輸入圖像的模式，提供了一種工具來解釋網(wǎng)絡并識別訓練有素的網(wǎng)絡的任何問題。

2.2.3 網(wǎng)絡反轉(zhuǎn)

激活最大化和反卷積網(wǎng)絡的技術(shù)涉及從神經(jīng)元的角度解釋網(wǎng)絡。另一方面，網(wǎng)絡反轉(zhuǎn)試圖從一層的角度分析激活模式。顧名思義，網(wǎng)絡反轉(zhuǎn)試圖從任意層的激活模式中重建輸入[95].網(wǎng)絡反演提供了一種工具來解釋特定層將存儲的信息。近年來，已經(jīng)提出了許多不同的網(wǎng)絡反演方法，例如Hoggles[101]和上卷積神經(jīng)網(wǎng)絡[102]能夠從任何算法生成的特征空間重建輸入，例如梯度直方圖（HoG）[103],尺度不變特征變換(SIFT)[104]，或卷積神經(jīng)網(wǎng)絡[27].

2.2.4 網(wǎng)絡剖析

激活最大化、反卷積網(wǎng)絡和網(wǎng)絡反轉(zhuǎn)技術(shù)提供了理解特定神經(jīng)元或?qū)拥募せ钅Ｊ降墓ぞ?。然而，這些方法不提供對這些激活模式的語義解釋。因此，Bau等人。[96]提出了網(wǎng)絡解剖技術(shù)，試圖將卷積神經(jīng)網(wǎng)絡中的每個神經(jīng)元與一個語義概念相關(guān)聯(lián)。

如果您對影像組學，腦影像數(shù)據(jù)分析感興趣，可瀏覽思影科技課程及服務，感謝轉(zhuǎn)發(fā)支持（可添加微信號siyingyxf或18983979082咨詢，另思影提供免費文獻下載服務，如需要也可添加此微信號入群）:

3．影像組學

放射學已廣泛應用于不同器官和模式的許多不同精密醫(yī)學應用實踐中。關(guān)于影像組學的數(shù)學背景和應用的最新評論可以在[54]中得到解讀，這篇文章討論了影像組學的局限性105].目前最先進的影像組學技術(shù)是處理從影像圖像中提取一階和高階統(tǒng)計特征[50–53,55,56].我們將概述影像組學領域的一些較新進展，然后在以下小節(jié)中詳細討論影像組學的可解釋性。影像組學的簡史已在圖7.

圖7 紋理和影像學領域重要進展的時間軸

3.1 多參數(shù)影像組學

傳統(tǒng)上，影像組學是為從單一模式（例如肺癌患者的CT掃描）中提取特征而開發(fā)的。影像組學領域正在迅速擴展到多參數(shù)成像設置的應用，其中在患者身上采集多個不同的成像序列以進行更完整的診斷。因此，最近開發(fā)了新的多參數(shù)影像組學(MPRAD)方法來整合多參數(shù)數(shù)據(jù)集中存在的所有成像信息，從而產(chǎn)生新的影像組學特征指標[106].MPRAD特征是基于高維多參數(shù)成像數(shù)據(jù)中組織間特征關(guān)系的提取，而不是單個圖像或感興趣區(qū)域中傳統(tǒng)影像組學特征提取的體素間關(guān)系，如圖8所示.MPRAD允許在組織類型之間更好地描繪組織，并允許改進用于精準醫(yī)學診斷的定量影像組學測量。

乳腺病變的多參數(shù)影像組學導致惡性和良性乳腺病變之間的分類更高，敏感性和特異性分別為82.5%和80.5%，AUC為0.87[106].更重要的是，使用多參數(shù)影像組學，AUC增加了9%-28%。通過單一影像組學方法。在患有急性中風的腦部患者中，多參數(shù)影像組學能夠比單參數(shù)影像組學更完全地區(qū)分灌注-擴散不匹配[106].圖9說明了多參數(shù)影像組學在良性和惡性病變中的應用。

圖8 說明GLCM影像特征與常規(guī)單圖像和多參數(shù)影像特征之間的差異。

（a）單圖像影像組學特征提取放射圖像平面內(nèi)的像素間關(guān)系，而（b）多參數(shù)影像組學提取跨多個放射圖像的組織間特征關(guān)系。

圖9 良性和惡性病變的單參數(shù)和多參數(shù)放射分析獲得的多參數(shù)影像特征圖圖解。

頂行：良性病變患者的示例，其中黃色直箭頭突出顯示病變。單參數(shù)和多參數(shù)熵放射圖像之間存在明顯差異，其中多參數(shù)清3晰地劃分了病變。

下排：惡性病變患者的類似分析（黃色箭頭）。同樣，多參數(shù)熵圖改善了腺體組織和病變組織之間的組織描繪。

3.2 影像組學的可解釋性

自影像組學誕生以來，影像組學特征的可解釋性一直是影像組學的主要限制。這部分是因為影像組學特征沒有經(jīng)過標準化，以及與感興趣區(qū)組織的基礎生物學相關(guān)特征不能合理解釋的困難。例如，從感興趣區(qū)域提取的影像組學特征(ROI)取決于ROI的大小以及為圖像量化選擇的灰度級和箱數(shù)，如以下小節(jié)所述。

3.2.1 取決于投資回報率的大小

考慮熵和均勻性的一階特征，由以下等式給出：

這里，H是一階直方圖，具有B個箱值。

以取的值范圍在0到log2N之間變化，其中 N 是數(shù)字均勻性特征可以在 (1/N) 和 1 之間變化。例如，考慮一個 5 × 5 大小的 ROI。此 ROI 的最小異質(zhì)性或最大均勻性發(fā)生在所有組織中的體素。同樣，值的范圍是體素具有相同的強度值。在這種情況下，對于所有 i ∈ {2,3, …, B}，(1) = 1 和 H(i) = 0 的值。因此，此 ROI 的熵值和均勻性值分別為 0 和 1。但是，最大異質(zhì)性或最小均勻性發(fā)生在所有體素都具有不同的強度值。在這種情況下，對于所有 i ? {1,2, …, B}，(i) =1的值。因此，此 ROI 的熵值和均勻性值分別為 log225 = 4.64 和 0.04。

ROI大小與影像組學特征之間的依賴性已在大量研究中觀察到，并在[105].有兩種可能的方法可以克服這一限制：影像組學特征映射和特征歸一化。

影像組學特征映射(RFM)使用基于一階和二階統(tǒng)計的統(tǒng)計內(nèi)核將放射圖像轉(zhuǎn)換為紋理圖像[13].RFM計算放射圖像中每個體素的影像組學值，從而抵消了尺寸依賴性的影響。然而，RFM的計算具有很高的時間復雜度。對于二階GLCM特征，對于量化為G灰度級的N×N放射圖像，使用W×W大小的滑動窗口計算RFM的時間復雜度為O(N2,G2,W2).最近，使用深度卷積神經(jīng)網(wǎng)絡在MRI乳腺癌研究中初步成功地合成了熵特征圖[107]。影像組學特征也可以歸一化為ROI的大小。例如，計算一階熵的方程可以修改為：

3.2.2 對圖像合并和灰度級量化的依賴 用于影像組學分析的灰度級或箱數(shù)與相應的影像組學特征之間存在內(nèi)在依賴性。從等式(1)和(2)可以看出這種依賴性，其中箱數(shù)用作計算熵和均勻性的輸入變量。圖10展示了熵對分箱和用于圖像過濾的鄰域參數(shù)的依賴性。當合并增加時，會導致信息和圖像對比度丟失。 Shafiqul-Hasan等人評估了灰度級量化和GLCM特征之間的依賴性。[108]對于某些二階特征。作者發(fā)現(xiàn)，影像組學特征與所選特征集的灰度級數(shù)呈線性、二次或三次關(guān)系。作者進一步提出了修正方程計算不同的影像組學特征并測試它們對不同體模的功效。然而，灰度級量化實際上改變了放射圖像中存在的信息。除了數(shù)學依賴性之外，灰度級量化和影像組學特征之間還存在內(nèi)在依賴性，這在任何研究中尚未得到解決。例如，如果我們考慮將放射圖像量化為一個灰度級的極端情況，我們將丟失圖像中存在的所有信息。不能通過數(shù)學修改影像組學公式來糾正影像圖像中的這種信息丟失，而是通過選擇最佳數(shù)量的灰度級來糾正這個問題。目前，不存在用于選擇灰度級數(shù)的標準化方法，該灰度級數(shù)將最小化所得量化圖像中的信息損失。在未來，只有通過標準化選擇最佳灰度級或一系列理想灰度級的程序，才能實現(xiàn)影像組學的標準化，以跨多個平臺使用放射圖像的量化。

圖10 （a）說明用于圖像濾波和圖像合并的鄰域大小的熵值對a（b）的依賴性。CT圖像（軟組織窗口）。（c）熵與箱的曲線似乎遵循一種不同的模式，其中熵值在一定范圍內(nèi)隨箱數(shù)的對數(shù)線性變化，在該范圍外保持或多或少的恒定。熵的值隨著鄰域濾波器的大小的增加而一致地增加。

4.討論

深度學習和影像組學方法正在影響精準放射學研究的范式轉(zhuǎn)變。近年來，深度學習方法在醫(yī)學圖像分析的許多研究領域都有應用，從圖像采集到圖像配準、分割和分類[8,9]。影像組學提供了一種基于圖像中灰度級紋理的新定量指標，以幫助檢測和表征不同的病理。通過將影像組學和深度學習結(jié)合在一起，它們有可能徹底改變放射學領域，開辟個性化影像醫(yī)學的新領域[107]。

目前最先進的影像組學技術(shù)在可解釋性、標準化和可視化方面面臨一些挑戰(zhàn)。灰度級量化的預處理步驟是影像組學研究的一個活躍領域。圖像的這種量化可能會改變放射圖像中存在的固有信息。放射圖像中的這些變化無法進行數(shù)學校正，并且可能會在紋理特征方面產(chǎn)生不正確的結(jié)果。未來需要開發(fā)類似于信噪比和對比噪聲比的定量影像組學指標，這將衡量原始圖像和量化放射圖像之間的信息損失。此外，還需要定義一個標準化的公差水平，以確保影像組學結(jié)果的正確性。最后，在將紋理特征與感興趣組織的生物學聯(lián)系起來的方面也進行了積極的研究。這種與生物學的聯(lián)系可能會隨著多參數(shù)影像組學的引入而加速，其中具有已知生物學特性的多個圖像可以直接與紋理特征相關(guān)聯(lián)。而在過去，只能使用單個圖像。

最近的報告表明，深度學習方法，尤其是CNN，能夠在初始卷積層中捕獲放射圖像中存在的紋理信息。這種紋理信息可以被可視化使用先進的網(wǎng)絡可解釋性技術(shù)來更好地理解不同影像組學方法的含義。例如，可視化具有低熵值和高熵值的圖像的紋理特征差異對于組織的異質(zhì)性非常有用。此外，CNN有可能完全取代當前從放射圖像生成影像組學數(shù)據(jù)的方法，正如該方向的初步工作所示[107].隨著Resnet等新型架構(gòu)的發(fā)展，深度學習方法在計算機視覺研究中取得了巨大的成功，例如Resnet [6], Densenet [7]，和Inception [3].然而，這些架構(gòu)針對紅色、綠色和藍色圖像的計算機視覺（例如Imagenet）應用進行了優(yōu)化，但是這些優(yōu)化的方案可能并沒有專門的針對醫(yī)學圖像分析的應用進行專門的優(yōu)化設定，在醫(yī)學圖像分析中，它們基于灰度級。將這些架構(gòu)直接轉(zhuǎn)化使用在醫(yī)學領域可能不會產(chǎn)生最佳結(jié)果，尤其是對于多參數(shù)和多模態(tài)成像數(shù)據(jù)集。有關(guān)基礎任務的領域知識可以為將這些深度學習架構(gòu)轉(zhuǎn)化為應用于醫(yī)學成像方法提供必要的橋梁。Kaggle在基于光學成像的糖尿病視網(wǎng)膜病變挑戰(zhàn)中展示了一些初步的轉(zhuǎn)變[110].在典型的深度學習框架中有兩個主要組成部分，其中領域知識可以提高深度學習在醫(yī)學圖像分析中的功效。第一個組件在訓練深度神經(jīng)網(wǎng)絡之前處理圖像預處理（例如歸一化）。許多應用已經(jīng)證明，尺度標準化對于訓練和測試機器和深度學習算法至關(guān)重要[111,112]。

第二個組成部分是神經(jīng)網(wǎng)絡架構(gòu)本身。為語義分割的特定任務開發(fā)的深度學習架構(gòu)的典型例子是U-net[5].從視覺到醫(yī)學圖像分析應用程序的轉(zhuǎn)換提出了一些獨特的挑戰(zhàn)。例如，分割或分類問題通常被表述為二元問題，但是這個問題不評估正?；虍惓＝M織內(nèi)的異質(zhì)性。通過在每種組織類型中注釋所有可能的類別，可以潛在地解決此問題。然而，這種解決方案既不切實際又計算量大，因為它需要專家用所有可能的組織類別仔細注釋每張圖像。因此，無監(jiān)督的深度學習方法，如自動編碼器[33],生成對抗網(wǎng)絡[40]，或深度信念網(wǎng)絡[66]可用于表征潛在的組織異質(zhì)性。

深度學習方法目前面臨一些挑戰(zhàn)，例如可解釋性、優(yōu)化和驗證（在前瞻性意義上）。算法的開發(fā)取得了重大進展，這些算法可能會打開許多深度神經(jīng)網(wǎng)絡的深度學習“黑匣子”。這些技術(shù)包括激活最大化[93],反卷積網(wǎng)絡[94],網(wǎng)絡反轉(zhuǎn)[95]，以及網(wǎng)絡剖析[96].激活最大化和反卷積網(wǎng)絡技術(shù)從神經(jīng)元的角度處理網(wǎng)絡的可解釋性，網(wǎng)絡反轉(zhuǎn)試圖從網(wǎng)絡的角度重建輸入，網(wǎng)絡解剖將卷積神經(jīng)網(wǎng)絡中的每個神經(jīng)元關(guān)聯(lián)起來形成具有語義概念的網(wǎng)絡。
最近，通過結(jié)合現(xiàn)有的解釋深度神經(jīng)網(wǎng)絡的技術(shù)并將它們視為此類接口的基礎和組合構(gòu)建塊，提出了一種新穎的接口[113].然而，這些方法尚未轉(zhuǎn)化為臨床和影像學數(shù)據(jù)以應用于精準醫(yī)學。未來，我們將看到這些技術(shù)被轉(zhuǎn)化、理解為分析臨床和影像學數(shù)據(jù)而開發(fā)的算法，以及專門為理解此類數(shù)據(jù)集而開發(fā)的更新的專業(yè)技術(shù)。此外，一些深度學習模型很容易被對抗性圖像塊的引入所干擾[92].最近，正在開發(fā)更新的架構(gòu)以產(chǎn)生對對抗性攻擊有彈性的深度網(wǎng)絡[114].
深度神經(jīng)網(wǎng)絡架構(gòu)的優(yōu)化是一項重大挑戰(zhàn)。網(wǎng)絡參數(shù)的搜索空間通常非常大，根據(jù)經(jīng)驗評估完整的搜索空間來為特定任務開發(fā)最佳神經(jīng)網(wǎng)絡架構(gòu)可能不切實際。為此，正在開發(fā)更新的方法來有效地計算最佳神經(jīng)網(wǎng)絡架構(gòu)（例如Adanet[115]).Adanet可以自適應地優(yōu)化網(wǎng)絡結(jié)構(gòu)和每個連接的權(quán)重。此外，使用或不使用高級優(yōu)化算法（如Adanet）訓練的深度網(wǎng)絡仍然在一個特定時間點使用有限大小的數(shù)據(jù)集進行訓練。神經(jīng)網(wǎng)絡應該能夠在遇到更多數(shù)據(jù)時自動更新其架構(gòu)（類似于人腦）。這種類型的網(wǎng)絡被稱為終身學習，最近的評論描述了文獻中提出的幾種不同的終身學習方法[116].未來，用于臨床決策支持系統(tǒng)的深度學習方法將不僅僅是單一的神經(jīng)網(wǎng)絡，而是一個結(jié)合了決策支持、網(wǎng)絡可解釋性、網(wǎng)絡優(yōu)化和終身學習算法的混合框架。
總之，深度學習和影像組學都是兩種快速發(fā)展的技術(shù)，它們可能在未來聯(lián)合起來產(chǎn)生一個統(tǒng)一的臨床決策支持框架，有可能徹底改變精準醫(yī)學領域。
深度學習和影像組學正在許多研究領域迅速占據(jù)主導地位，并且是一個相對較新的研究領域，盡管它使用的是幾十年前開發(fā)的方法。在發(fā)展經(jīng)濟和日益增長的計算方法上，深度學習在許多不同領域都取得了早期的成功。然而，需要進行廣泛的研究來評估網(wǎng)絡在每一層的工作方式以及權(quán)重到節(jié)點的傳輸方式。網(wǎng)絡超參數(shù)的優(yōu)化，例如，批處理規(guī)范化、正則化、擬合參數(shù)等，同樣，對于影像組學來說，主要的挑戰(zhàn)是與生物學和功能的聯(lián)系，其中有幾個主要步驟需要解決，例如。預處理步驟，例如量化、數(shù)據(jù)灰度級和合并的最佳方法，以及不同圖像分辨率的最佳鄰域大小。為這兩種方法建立標準將需要更多的研究和驗證研究。
在接下來的五年里，我們將見證深度學習和影像組學方法改變醫(yī)學成像及其在個性化醫(yī)療中的應用。這些技術(shù)將發(fā)展為基于不同網(wǎng)絡和先進影像組學方法組合的混合系統(tǒng)，以實現(xiàn)更完整的診斷。
總之，隨著深度學習和影像組學方法的成熟，它們的使用將成為臨床決策支持系統(tǒng)的一部分，可用于快速挖掘患者數(shù)據(jù)空間和放射成像生物標志物，推動醫(yī)學朝著精準醫(yī)療的目標邁進。

如需原文及補充材料請?zhí)砑铀加翱萍嘉⑿牛?/span>siyingyxf或18983979082獲取,如對思影課程及服務感興趣也可加此微信號咨詢。另思影提供免費文獻下載服務，如需要也可添加此微信號入群，原文也會在群里發(fā)布，如果我們的解讀對您的研究有幫助，請給個轉(zhuǎn)發(fā)支持以及右下角點擊一下在看，是對思影科技的支持，感謝！