引用本文: 鄧健志, 郭永平, 周越菡, 熊彬. 基于深度學習的視網膜眼底圖像的滲出分割方法研究. 中華眼底病雜志, 2024, 40(7): 518-525. doi: 10.3760/cma.j.cn511434-20231221-00500 復制
眼底滲出通常是指在視網膜出現的異常物質,其產生與眼部血管病變、炎癥反應等因素密切相關。通過對眼底滲出的觀察和分析,可以揭示眼部疾病的本質和表現形式,為診斷和治療提供有力支持[1]。而在全球范圍內,糖尿病視網膜病變(DR)是導致視力下降和失明的主要原因之一,在疾病早期及時發現并進行治療,就可以避免90%以上患者的視力喪失[2-4]。因此,如果能借助計算機準確檢測到DR并及時采取治療措施,能有效延緩患者病情的惡化,并最大程度地減少視力損失和其他并發癥的風險[5-6]。DR主要病灶包括硬性滲出、軟性滲出、微動脈瘤、出血等,其中硬性滲出主要由擴張的毛細血管和微動脈瘤滲漏的脂質和蛋白質組成,是沉積于視網膜不同部位下的邊緣明確的斑塊。計算機技術在視網膜眼底滲出研究中的應用為眼科領域帶來了巨大的進步。圖像處理和分析技術的廣泛應用,為醫生和研究者提供了更全面、精準的眼底滲出信息。然而,盡管現有方法取得了進步,但仍存在局限性,如對于復雜滲出病灶的精細分割仍面臨挑戰,同時模型的泛化能力和計算效率也需進一步提升。因此,我們需要探索新的研究方向,開發更高效的特征提取和融合方法,設計輕量級模型以減少計算資源需求,從而推動視網膜眼底圖像滲出分割技術的進一步發展。為此,我們設計并訓練了一個基于印度DR圖像數據集(IDRID)模型,初步探究提升計算機輔助檢測并分割視網膜滲出特征的可行性。現將結果報道如下。
1 資料和方法
應用研究。本研究遵循《赫爾辛基宣言》原則,回顧性收集身份信息脫敏后的臨床數據,準予免除簽署知情同意書。
參考數據集與數據準備。采用IDRID數據集作為參考數據集進行實驗[7]。IDRID數據集中的圖像以JPEG格式存儲,分辨率為4 288 pixel×2 848 pixel,視場為50°。所有彩色眼底像由不同年資的眼底病專業醫師進行標記和注釋,包括DR的分級、分割和定位。其中,視網膜病變的分割病灶有:微動脈瘤、軟性滲出、硬性滲出和出血點。IDRID數據集中用于分割的數據集包含81張JPEG格式的原始彩色眼底圖像,同時含有相對應的TIFF格式的專家手動標注的標簽圖像。這81張圖像被劃分為訓練集和測試集,其中54張圖像為訓練集,27張圖像為測試集。通過旋轉、裁剪、對比度受限自適應直方圖均衡處理等操作對輸入圖像進行預處理[7-8]。
網絡構成及優化。選取多尺度交叉協同注意力網絡(MCA-UNet)作為主干網絡,由特征編碼、解碼模塊和上下文提取模塊三個部分組成[9](圖1)。使用改進后的殘差卷積模塊替換編碼和解碼部分的普通卷積和原始殘差卷積,并且將殘差卷積次數控制在2次以內,將改進后的上下文提取模塊嵌入到編碼器與解碼器之間,同時通過在上下文提取模塊兩端加入卷積三重注意力機制(CTAM),引導模型集中地關注對特定任務上下文信息,最后將提取出的特征輸入到特征解碼器模塊中。深度可分離卷積(DSC)替換殘差卷積中的普通卷積,在兩個卷積之間加入輕量級通道注意力機制(ECA)[10-13],形成改進的深度殘差卷積(DEResblock)(圖2)。參考CE-Net中由稠密空洞卷積(DAC)和殘差多核池化(RMP)組成的上下文提取模塊,針對其中的DAC模塊進行改進[14]。通過引入3個感受野為13、15、23的分支來使模型能夠同時提取不同層次的特征,每個分支可以專注于不同尺度和語義層次的特征提取,并且捕捉視網膜病灶與周圍區域之間的關聯和上下文信息。改進后的模塊命名為新DAC,感受野分別為3、7、9、13、15、19、23(圖3)。CTAM通過三個平行分支結構來捕捉跨維度交互信息,從而對注意力權重進行計算[15-19](圖4)。




模型評估。IDRID模型測試集的醫學圖像自動分割算法主要評價指標分別為查準率、查全率、相似系數、準確率和靈敏度。查準率以精準率召回率曲線下面積表示,可預測滲出的保證性;查全率以受試者工作特征曲線下面積表示,可預測出滲出的正確率;相似系數為度量預測滲出結果與真實滲出標簽相似度的函數;準確率定義為分類為滲出樣本中實際為滲出樣本所占的比例;靈敏度是正確分類為滲出的樣本占實際所有為滲出的樣本的比例(表1)。

2 結果
本文分割模型訓練階段在MCA-UNet基礎上加入DEResBlock、改進上下文提取模塊、CTAM后,本模型在IDRID數據集上的查準率、查全率、相似系數、準確率、靈敏度、分別達到81.56%、99.54%、69.32%、65.36%、78.33%,相似系數、準確率及靈敏度均有所提升(圖5);查全率雖然相比原始模型下降0.04%,但是在模塊引入過程中有一定的提升(表2)。


不同網絡模型(MCA-UNet、多模態殘差網絡和本研究方法)對4個具有代表性的例子的定性分割結果顯示,相比其他算法,本模型在微小滲出的分割上展現出了、更好的性能。本模型能更準確地識別和定位微小的病灶點(圖6)。通過對原始圖像和不同模型的分割結果進行局部細節裁剪并放大,可以更直觀地展示本模型對DR滲出特征的分割能力(圖7)。


與其他先進模型相比,本模型在整體上表現出優越的性能。在查準率和相似系數,本模型均達到了最優水平,相比MCA-UNet分別提升了2.35%和3.35%(表3)。這表明該模型在糖尿病視網膜滲出分割方面具有更高的精確性和可靠性。在查全率和相似系數,本模型略高于MCA-UNet。這可能是因為本模型在處理復雜背景和微小滲出方面具有更好的適應性。

3 討論
研究DR的滲出特征對深入研究眼底滲出的意義非常重大,有助于深入理解眼底疾病的病理生理過程,探索新的治療策略和評估治療效果,為保護患者的視力健康提供支持。常用于醫學圖像處理的方法有傳統算法與深度學習算法,其中傳統的DR輔助診斷方法對病變特征的提取過程比較復雜,不能滿足當前龐大且多元化的數據需求,而深度學習算法則可以從大量數據中獲得高效的學習,能夠避免出現特征不足、特征偏差等問題[20-24]。
本文在從特定尺度的眼底圖像中提取滲出病灶特征方面,深度分割模型具有明顯的優勢[25]。Liu等[26]提出了一種具有雙采樣調制相似系數損失的雙分支網絡,分別處理大型硬滲出和小型硬滲出,通過使用一種雙采樣調制相似系數損失的訓練方法[27],解決極端類別不平衡和巨大大小變化的問題。Shujaat等[28]提出了一個包含圖像預處理、圖像分割和圖像分類三個階段的智能框架,旨在突出眼底圖像中滲出的特征,并利用增強的特征訓練Alexnet模型進行滲出檢測[29]。目前,Ronneberger等[30]提出的U-Net網絡在醫學圖像分析中應用最為廣泛。這主要得益于其獨特的編碼器和解碼器結構,該結構通過跳躍連接實現了有效的信息流傳遞,并且在數據量相對不足的情況下仍能展現出良好的性能。楊知橋等[31]對UNet網絡進行了優化,通過采取豐富感受野和平均池化的方法改進了上下文提取編碼模塊,將混合注意力機制引入到特征編碼階段,使模型可以進一步關注細微血管和病灶區域的特征。Fu等[32]提出了一種新型RMCA U-net網絡,將U形框架與殘余結構相結合,以此來獲得硬性滲出的微小特征,同時設計了一種多尺度特征融合模塊,并改進了通道注意力模塊,能夠提高網絡模型對稀疏的小病變的分割效果。Wang等[9]提出了一個MCA-UNet模型,通過引入交叉協同注意力機制和密集跳躍連接,來解決自動醫學圖像分割中的語義差距問題,并通過雙上采樣和深度監督技術來提高性能。
基于此,本研究提出了一種改進的MCA-UNet網絡結構與算法,能夠提高計算機輔助檢測分割視網膜滲出的效果。首先,使用改進后的殘差模塊代替編碼解碼部分的普通卷積塊,通過將深度可分離卷積和輕量級通道注意力機制結合到殘差模塊中,能夠提升模型的特征表達能力和輕量化性能,充分地挖掘和調整特征通道之間的相關性,從而提高模型的訓練穩定性和性能。其次,在網絡中加入改進后的上下文提取模塊,通過增加稠密空洞卷積、模塊的分支數和增大感受野來獲取更大的上下文范圍,有助于捕捉視網膜病灶的微小細節、模糊邊緣等特征,提高病灶定位和分析的準確性。最后,在底層中加入三重注意力機制來平衡整個網絡模型中注意力的分布,引導模型聚焦于更有效的上下文特征,提升模型在特征交互和整合時的權重調控能力。實驗結果表明,改進后的分割模型各項指標相比原始模型,相似系數提升3.35%,準確率提升4.17%,靈敏度提升7.29%。本研究方法在視網膜滲出分割任務中表現較好,優于原始模型,并且對微小病灶的定位分割能力較強。而針對視網膜眼底圖像滲出的研究,在一定程度上可以幫助醫生克服檢眼鏡檢查的主觀性,提供更客觀、準確的診斷結果。
本研究設計的模型與其他模型相比,在分割效果上具有顯著的優勢。首先,對于大量滲出的分割,能夠更準確地識別和定位病灶區域,避免了過多的假陽性像素值的產生。相比其他模型,分割結果更加平滑,邊界清晰,沒有出現明顯的過度分割現象。其次,對于微小分散點狀滲出的分割,也表現出了較強的識別能力,可以更清楚地分割微小病灶點。而其他模型由于受到噪聲和偽影的影響,微小的滲出往往難以與背景區分,導致模型會產生大量的假陽性像素值,從而出現漏檢或誤檢的情況。這些結果表明,分割微小滲出是一項具有挑戰性的任務。為了提高模型的性能,需要在未來的工作中進一步探索和研究如何更有效地提取微小滲出的特征,以及如何提高模型對微小病灶點的識別能力。這將有助于更好地理解和分析眼底滲出的病理特征,為臨床診斷和治療提供更精確的輔助工具。
本研究的局限性為醫學眼底圖像分割中普遍存在的問題,即訓練數據較少、模型易過度分割等。對于復雜的病變形態和微小病灶,由于邊界模糊且存在噪聲,模型的性能會受到影響。期待模型在未來不斷的完善,協助醫生完成臨床診斷和治療,緩解負擔過重的醫療系統問題。
眼底滲出通常是指在視網膜出現的異常物質,其產生與眼部血管病變、炎癥反應等因素密切相關。通過對眼底滲出的觀察和分析,可以揭示眼部疾病的本質和表現形式,為診斷和治療提供有力支持[1]。而在全球范圍內,糖尿病視網膜病變(DR)是導致視力下降和失明的主要原因之一,在疾病早期及時發現并進行治療,就可以避免90%以上患者的視力喪失[2-4]。因此,如果能借助計算機準確檢測到DR并及時采取治療措施,能有效延緩患者病情的惡化,并最大程度地減少視力損失和其他并發癥的風險[5-6]。DR主要病灶包括硬性滲出、軟性滲出、微動脈瘤、出血等,其中硬性滲出主要由擴張的毛細血管和微動脈瘤滲漏的脂質和蛋白質組成,是沉積于視網膜不同部位下的邊緣明確的斑塊。計算機技術在視網膜眼底滲出研究中的應用為眼科領域帶來了巨大的進步。圖像處理和分析技術的廣泛應用,為醫生和研究者提供了更全面、精準的眼底滲出信息。然而,盡管現有方法取得了進步,但仍存在局限性,如對于復雜滲出病灶的精細分割仍面臨挑戰,同時模型的泛化能力和計算效率也需進一步提升。因此,我們需要探索新的研究方向,開發更高效的特征提取和融合方法,設計輕量級模型以減少計算資源需求,從而推動視網膜眼底圖像滲出分割技術的進一步發展。為此,我們設計并訓練了一個基于印度DR圖像數據集(IDRID)模型,初步探究提升計算機輔助檢測并分割視網膜滲出特征的可行性。現將結果報道如下。
1 資料和方法
應用研究。本研究遵循《赫爾辛基宣言》原則,回顧性收集身份信息脫敏后的臨床數據,準予免除簽署知情同意書。
參考數據集與數據準備。采用IDRID數據集作為參考數據集進行實驗[7]。IDRID數據集中的圖像以JPEG格式存儲,分辨率為4 288 pixel×2 848 pixel,視場為50°。所有彩色眼底像由不同年資的眼底病專業醫師進行標記和注釋,包括DR的分級、分割和定位。其中,視網膜病變的分割病灶有:微動脈瘤、軟性滲出、硬性滲出和出血點。IDRID數據集中用于分割的數據集包含81張JPEG格式的原始彩色眼底圖像,同時含有相對應的TIFF格式的專家手動標注的標簽圖像。這81張圖像被劃分為訓練集和測試集,其中54張圖像為訓練集,27張圖像為測試集。通過旋轉、裁剪、對比度受限自適應直方圖均衡處理等操作對輸入圖像進行預處理[7-8]。
網絡構成及優化。選取多尺度交叉協同注意力網絡(MCA-UNet)作為主干網絡,由特征編碼、解碼模塊和上下文提取模塊三個部分組成[9](圖1)。使用改進后的殘差卷積模塊替換編碼和解碼部分的普通卷積和原始殘差卷積,并且將殘差卷積次數控制在2次以內,將改進后的上下文提取模塊嵌入到編碼器與解碼器之間,同時通過在上下文提取模塊兩端加入卷積三重注意力機制(CTAM),引導模型集中地關注對特定任務上下文信息,最后將提取出的特征輸入到特征解碼器模塊中。深度可分離卷積(DSC)替換殘差卷積中的普通卷積,在兩個卷積之間加入輕量級通道注意力機制(ECA)[10-13],形成改進的深度殘差卷積(DEResblock)(圖2)。參考CE-Net中由稠密空洞卷積(DAC)和殘差多核池化(RMP)組成的上下文提取模塊,針對其中的DAC模塊進行改進[14]。通過引入3個感受野為13、15、23的分支來使模型能夠同時提取不同層次的特征,每個分支可以專注于不同尺度和語義層次的特征提取,并且捕捉視網膜病灶與周圍區域之間的關聯和上下文信息。改進后的模塊命名為新DAC,感受野分別為3、7、9、13、15、19、23(圖3)。CTAM通過三個平行分支結構來捕捉跨維度交互信息,從而對注意力權重進行計算[15-19](圖4)。




模型評估。IDRID模型測試集的醫學圖像自動分割算法主要評價指標分別為查準率、查全率、相似系數、準確率和靈敏度。查準率以精準率召回率曲線下面積表示,可預測滲出的保證性;查全率以受試者工作特征曲線下面積表示,可預測出滲出的正確率;相似系數為度量預測滲出結果與真實滲出標簽相似度的函數;準確率定義為分類為滲出樣本中實際為滲出樣本所占的比例;靈敏度是正確分類為滲出的樣本占實際所有為滲出的樣本的比例(表1)。

2 結果
本文分割模型訓練階段在MCA-UNet基礎上加入DEResBlock、改進上下文提取模塊、CTAM后,本模型在IDRID數據集上的查準率、查全率、相似系數、準確率、靈敏度、分別達到81.56%、99.54%、69.32%、65.36%、78.33%,相似系數、準確率及靈敏度均有所提升(圖5);查全率雖然相比原始模型下降0.04%,但是在模塊引入過程中有一定的提升(表2)。


不同網絡模型(MCA-UNet、多模態殘差網絡和本研究方法)對4個具有代表性的例子的定性分割結果顯示,相比其他算法,本模型在微小滲出的分割上展現出了、更好的性能。本模型能更準確地識別和定位微小的病灶點(圖6)。通過對原始圖像和不同模型的分割結果進行局部細節裁剪并放大,可以更直觀地展示本模型對DR滲出特征的分割能力(圖7)。


與其他先進模型相比,本模型在整體上表現出優越的性能。在查準率和相似系數,本模型均達到了最優水平,相比MCA-UNet分別提升了2.35%和3.35%(表3)。這表明該模型在糖尿病視網膜滲出分割方面具有更高的精確性和可靠性。在查全率和相似系數,本模型略高于MCA-UNet。這可能是因為本模型在處理復雜背景和微小滲出方面具有更好的適應性。

3 討論
研究DR的滲出特征對深入研究眼底滲出的意義非常重大,有助于深入理解眼底疾病的病理生理過程,探索新的治療策略和評估治療效果,為保護患者的視力健康提供支持。常用于醫學圖像處理的方法有傳統算法與深度學習算法,其中傳統的DR輔助診斷方法對病變特征的提取過程比較復雜,不能滿足當前龐大且多元化的數據需求,而深度學習算法則可以從大量數據中獲得高效的學習,能夠避免出現特征不足、特征偏差等問題[20-24]。
本文在從特定尺度的眼底圖像中提取滲出病灶特征方面,深度分割模型具有明顯的優勢[25]。Liu等[26]提出了一種具有雙采樣調制相似系數損失的雙分支網絡,分別處理大型硬滲出和小型硬滲出,通過使用一種雙采樣調制相似系數損失的訓練方法[27],解決極端類別不平衡和巨大大小變化的問題。Shujaat等[28]提出了一個包含圖像預處理、圖像分割和圖像分類三個階段的智能框架,旨在突出眼底圖像中滲出的特征,并利用增強的特征訓練Alexnet模型進行滲出檢測[29]。目前,Ronneberger等[30]提出的U-Net網絡在醫學圖像分析中應用最為廣泛。這主要得益于其獨特的編碼器和解碼器結構,該結構通過跳躍連接實現了有效的信息流傳遞,并且在數據量相對不足的情況下仍能展現出良好的性能。楊知橋等[31]對UNet網絡進行了優化,通過采取豐富感受野和平均池化的方法改進了上下文提取編碼模塊,將混合注意力機制引入到特征編碼階段,使模型可以進一步關注細微血管和病灶區域的特征。Fu等[32]提出了一種新型RMCA U-net網絡,將U形框架與殘余結構相結合,以此來獲得硬性滲出的微小特征,同時設計了一種多尺度特征融合模塊,并改進了通道注意力模塊,能夠提高網絡模型對稀疏的小病變的分割效果。Wang等[9]提出了一個MCA-UNet模型,通過引入交叉協同注意力機制和密集跳躍連接,來解決自動醫學圖像分割中的語義差距問題,并通過雙上采樣和深度監督技術來提高性能。
基于此,本研究提出了一種改進的MCA-UNet網絡結構與算法,能夠提高計算機輔助檢測分割視網膜滲出的效果。首先,使用改進后的殘差模塊代替編碼解碼部分的普通卷積塊,通過將深度可分離卷積和輕量級通道注意力機制結合到殘差模塊中,能夠提升模型的特征表達能力和輕量化性能,充分地挖掘和調整特征通道之間的相關性,從而提高模型的訓練穩定性和性能。其次,在網絡中加入改進后的上下文提取模塊,通過增加稠密空洞卷積、模塊的分支數和增大感受野來獲取更大的上下文范圍,有助于捕捉視網膜病灶的微小細節、模糊邊緣等特征,提高病灶定位和分析的準確性。最后,在底層中加入三重注意力機制來平衡整個網絡模型中注意力的分布,引導模型聚焦于更有效的上下文特征,提升模型在特征交互和整合時的權重調控能力。實驗結果表明,改進后的分割模型各項指標相比原始模型,相似系數提升3.35%,準確率提升4.17%,靈敏度提升7.29%。本研究方法在視網膜滲出分割任務中表現較好,優于原始模型,并且對微小病灶的定位分割能力較強。而針對視網膜眼底圖像滲出的研究,在一定程度上可以幫助醫生克服檢眼鏡檢查的主觀性,提供更客觀、準確的診斷結果。
本研究設計的模型與其他模型相比,在分割效果上具有顯著的優勢。首先,對于大量滲出的分割,能夠更準確地識別和定位病灶區域,避免了過多的假陽性像素值的產生。相比其他模型,分割結果更加平滑,邊界清晰,沒有出現明顯的過度分割現象。其次,對于微小分散點狀滲出的分割,也表現出了較強的識別能力,可以更清楚地分割微小病灶點。而其他模型由于受到噪聲和偽影的影響,微小的滲出往往難以與背景區分,導致模型會產生大量的假陽性像素值,從而出現漏檢或誤檢的情況。這些結果表明,分割微小滲出是一項具有挑戰性的任務。為了提高模型的性能,需要在未來的工作中進一步探索和研究如何更有效地提取微小滲出的特征,以及如何提高模型對微小病灶點的識別能力。這將有助于更好地理解和分析眼底滲出的病理特征,為臨床診斷和治療提供更精確的輔助工具。
本研究的局限性為醫學眼底圖像分割中普遍存在的問題,即訓練數據較少、模型易過度分割等。對于復雜的病變形態和微小病灶,由于邊界模糊且存在噪聲,模型的性能會受到影響。期待模型在未來不斷的完善,協助醫生完成臨床診斷和治療,緩解負擔過重的醫療系統問題。