當前位置:首頁 > 新聞中心 > 科研動態

科研動態

华阳彩票在人腦視覺信息編解碼研究方面取得新進展

  • 发表日期:2018-12-18 【 【打印】【關閉】
  •   現代認知神經科學以及功能磁共振成像技術(functional Magnetic Resonance Imaging, fMRI)的不斷發展使得采用科學手段對大腦視覺皮層信號進行解讀成爲可能。研究人腦視覺信息解碼模型不僅可以加深我們對人腦視覺信息處理機制的研究,還可以有力地促進新一代腦-機接口(Brain-Computer Interface, BCI)技術的發展。 

      盡管現有的視覺信息解碼模型在對大腦信號的分類、識別任務上表現良好,但是試圖通過大腦視覺皮層信號精確重建視覺刺激內容仍然非常困難。阻礙人們有效地進行視覺信息解碼的因素主要包括 fMRI 數據維度高、樣本量小、噪聲嚴重、解碼模型不科學等。傳統的基于多體素模式分析(Multi-Voxel Pattern Analysis, MVPA)的視覺信息解碼方法直接在高維的 fMRI 體素空間和視覺圖像像素空間建立映射關系,這種解碼方法很容易造成對冗余或噪聲體素的過擬合。此外,現有的視覺信息解碼方法大多數基于對視覺圖像的線性變換,沒有結合人腦視覺系統的信息處理機制,解碼效果差並且缺乏生物學基礎。 

      华阳彩票何晖光研究員團隊近年來一直致力于更複雜刺激(如人臉,自然圖像,乃至動態視覺刺激)的大腦解碼工作,繼去年關于“利用fMRI信號重建圖像”的工作被MIT Technology Review頭條報道後,基于以往工作積累,提出了一種基于貝葉斯深度學習的大腦視覺信息解碼模型(見圖一),針對基于fMRI數據的視覺神經信息編解碼問題, 提出了統一的多視圖深度生成式模型(Deep Generative Multi-view Model, DGMM)(見圖二),爲基于大腦信號的視覺圖像重建問題提供了有效的解決方案。相關研究成果《Reconstructing Perceived Images from Human Brain Activities with Bayesian Deep Multi-view Learning》近日已在神經網絡及機器學習領域的國際權威期刊IEEE Transactions on Neural Networks and Learning Systems (TNNLS, IF=7.982)在線發表,爲腦-機接口的進一步研究打下了堅實的基礎。 

      該研究以一種科學合理的方式建立起了視覺圖像和大腦響應之間的關系,將視覺圖像重建問題轉化成多視圖隱含變量模型中缺失視圖的貝葉斯推斷問題。受人腦視覺信息處理機制(層次化、Bottom-upTop-down)的啓發,團隊采用了深度神經網絡從視覺圖像中逐層提取視覺特征和概念,提高了模型的表達能力和可解釋性;受視覺區域的體素感受野和視覺信息的稀疏表達准則的啓發,團隊采用了稀疏貝葉斯學習從大量體素中自動篩選出對視覺信息解碼貢獻較大的體素,提高了模型的穩定性和泛化能力。深度生成式多視圖模型充分利用了 fMRI 體素之間的相關性信息,有效抑制了體素噪聲的幹擾,增強了算法的魯棒性。得益于貝葉斯方法的優點,深度生成式多視圖模型能夠方便靈活地融合先驗知識,進而提升預測性能。大量的實驗結果驗證了深度生成式多視圖模型的優越性。新算法爲大腦信號解碼問題提供了一個行之有效的通用框架,具有很強的可擴展性,允許從不同角度對其進行擴展以適應不同任務。本項目不僅爲探究大腦的視覺信息處理機制提供了一個強有力的工具,而且爲腦-機接口的發展提供了技術支持,將對類腦智能的發展起到一定的促進作用。 

      论文的第一作者是杜长德博士生。该工作同时受到了国家自然科学基金重點項目、中科院先导项目以及中科院青促会优秀会员项目的资助。 

     

      圖一:基于貝葉斯深度多視圖學習的視覺信息編解碼框架 

     

      圖二:深度生成式多視圖模型(DGMM 

     

      論文鏈接:https://ieeexplore.ieee.org/document/8574054 

      代碼:https://github.com/ChangdeDu/DGMM