文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.2016.03.034
中文引用格式: 孔亮,胡南,孫兵. 基于Android平臺(tái)的注意力監(jiān)測(cè)系統(tǒng)實(shí)現(xiàn) [J].電子技術(shù)應(yīng)用,2016,42(3):120-122,126.
英文引用格式: Kong Liang,Hu Nan,Sun Bing. Implementation of an attention monitoring system based on Android[J].Application of Electronic Technique,2016,42(3):120-122,126.
0 引言
注意缺陷多動(dòng)障礙(Attention Deficit Hyperactivity Disorder,ADHD)為一類常見于兒童期的行為障礙,我國兒童發(fā)病率為3%~10%[1]。目前,用藥物治療ADHD仍是醫(yī)生的第一選擇,但長期大劑量用藥會(huì)帶來諸如心血管系統(tǒng)損害、藥物成癮、厭食等副作用。因此,尋找一種安全有效、療效持久的可以輔助或代替藥物治療的新型療法成為了一種趨勢(shì),腦電生物反饋治療(EEG Biofeedback)便由此應(yīng)運(yùn)而生。大量臨床實(shí)驗(yàn)證明,腦電生物反饋治療ADHD 的療效與中樞神經(jīng)興奮劑的療效相當(dāng)[2]。
目前,國內(nèi)外有不少學(xué)者從事腦電生物反饋治療的研究,但首先,這些研究有很多仍停留在臨床上[3-4],且偏向理論算法[5-7];其次,研究采用的專業(yè)儀器大多價(jià)格昂貴,難以普及;最后,得到的數(shù)據(jù)太過專業(yè)化,一般群眾難以讀懂,這使得腦電生物反饋治療很難推廣。
為了更好地推廣腦電生物反饋治療,本文實(shí)現(xiàn)了一個(gè)基于Android平臺(tái)的注意力監(jiān)測(cè)系統(tǒng)。該系統(tǒng)利用腦電采集模塊實(shí)現(xiàn)腦電信號(hào)的采集和發(fā)送,通過Android平臺(tái)的藍(lán)牙接收信號(hào),經(jīng)過頻譜變換后提取特征值輸入經(jīng)過訓(xùn)練的BP神經(jīng)網(wǎng)絡(luò),得到當(dāng)前注意力狀態(tài),并實(shí)時(shí)顯示在屏幕上。系統(tǒng)整體框架如圖1所示。
1 腦電采集模塊
腦電采集模塊主要包含ThinkGear AM芯片、電源、干電極、參考電極以及藍(lán)牙從機(jī)5個(gè)部分。
ThinkGear AM芯片是由美國Neurosky公司研發(fā)的第一款消費(fèi)級(jí)單通道腦電波采集芯片。該芯片僅有拇指大小,最大重量僅為130 mg,并內(nèi)置12位的ADC模數(shù)轉(zhuǎn)換模塊,可以在1 200、9 600、57 600波特率下通過UART向外輸出。
該芯片運(yùn)行電壓為2.97~3.63 V,故可以采用2節(jié)1.5 V的7號(hào)電池串聯(lián)作為其電源。
干電極采用直徑為12 mm、厚度為2 mm的圓形不銹鋼干電極片,使用1.2 mm的螺絲固定導(dǎo)線后上錫,參考電極則采用塑料生理耳夾,耳夾內(nèi)裝有參比電極和接地電極。使用時(shí),干電極放置于左前額處,參考電極置于雙耳耳垂處。
藍(lán)牙從機(jī)模塊采用HC-06藍(lán)牙串口芯片。該芯片大小與ThinkGear AM芯片相當(dāng),成本低廉,功耗低,且無線收發(fā)靈敏度達(dá)到了-80 dBm,完全符合便攜性的要求。
2 Android平臺(tái)應(yīng)用實(shí)現(xiàn)
2.1 藍(lán)牙接收
該模塊主要功能是接收腦電采集模塊通過藍(lán)牙發(fā)送的腦電信號(hào)。實(shí)現(xiàn)過程如下:
(1)創(chuàng)建BluetoothAdapter對(duì)象以及Handler對(duì)象。
(2)通過構(gòu)造函數(shù)TGDevice(BluetoothAdapter,Handler)創(chuàng)建TGDevice對(duì)象,調(diào)用connect方法啟動(dòng)藍(lán)牙連接過程,搜索Android設(shè)備中所有配對(duì)的藍(lán)牙設(shè)備列表,并且去嘗試連接第一臺(tái)可兼容的ThinkGear設(shè)備,成功通過藍(lán)牙發(fā)現(xiàn)并連接到ThinkGear硬件設(shè)備后,TGDevice對(duì)象會(huì)發(fā)送一個(gè)STATE_CONNECTED消息給Handler對(duì)象。
(3)連接成功后調(diào)用start方法,TGDevice對(duì)象便開始將腦電采集模塊采集到的原始腦電信號(hào)通過消息形式發(fā)送給Handler對(duì)象。
(4)當(dāng)應(yīng)用程序不再需要從TGDevice接受數(shù)據(jù)時(shí),通過close方法關(guān)閉連接。
2.2 頻譜變換
該模塊主要功能是將時(shí)域的腦電信號(hào)轉(zhuǎn)換成頻域信號(hào),采用比較主流的快速傅里葉變換(FFT)方法。
FFT是離散傅里葉變換(DFT)的一種快速算法,該算法利用DFT公式中旋轉(zhuǎn)因子的周期性、對(duì)稱性和可約性[8],采用按時(shí)間抽取變換(DIT)等形式把N點(diǎn)的DFT的計(jì)算變成一系列迭代運(yùn)算過程,簡(jiǎn)化運(yùn)算量,極大地提升了計(jì)算效率[9]。
本文采用基2時(shí)間抽取快速傅里葉(DIT-FFT)算法,其核心是蝶形運(yùn)算,對(duì)于N=2M點(diǎn)的FFT,其蝶形運(yùn)算公式如下:
式中L為運(yùn)算級(jí)數(shù)(L=1,2,…,M);第L級(jí)運(yùn)算共有B=2L-1個(gè)不同指數(shù)的旋轉(zhuǎn)因子,用R表示這些不同指數(shù)旋轉(zhuǎn)因子從上到下的順序(R=0,1,…,B-1),則第R個(gè)旋轉(zhuǎn)因子的指數(shù)P=2M-LR。
旋轉(zhuǎn)因子指數(shù)為P的第一個(gè)蝶的第一節(jié)點(diǎn)標(biāo)號(hào)k從R開始,相鄰間距為2L,各蝶的第二個(gè)節(jié)點(diǎn)與第一個(gè)節(jié)點(diǎn)都相距B點(diǎn)。
該模塊程序流程圖如圖2所示。
2.3 BP神經(jīng)網(wǎng)絡(luò)
2.3.1 特征提取
腦電信號(hào)中包含了大量的特征信息,為心理研究、臨床腦疾病診斷等領(lǐng)域提供了重要依據(jù)。按照頻率與幅度特性,一般可以將其劃分為δ波、θ波、α波、β波等[10]。每種節(jié)律都對(duì)應(yīng)大腦不同的狀態(tài)。
以往研究中,對(duì)于注意力水平的評(píng)價(jià)主要借助于EEG時(shí)域信號(hào)中的模糊熵[11]、樣本熵[12]、多尺度熵[13]等時(shí)域信號(hào)復(fù)雜度值,或者是EEG頻譜信號(hào)中的θ波與β波的相對(duì)比值[14]。通過單一參數(shù)的單一閾值來對(duì)注意力水平進(jìn)行評(píng)價(jià),簡(jiǎn)單易行,但是在實(shí)用中卻常常出現(xiàn)參數(shù)不能及時(shí)反映被試真實(shí)狀態(tài)的情況。這主要是由于腦電信號(hào)是生命體產(chǎn)生的復(fù)雜非線性信號(hào),各個(gè)節(jié)律與大腦狀態(tài)的對(duì)應(yīng)區(qū)分得并不絕對(duì),而是存在著復(fù)雜的非線性關(guān)聯(lián),因此,本文擬采取多特征參數(shù)的非線性分析方法,構(gòu)造以下5個(gè)特征值,分別為δ波、θ波、α波、β波能量占腦電信號(hào)總能量的百分比以及θ波能量與β波能量的比值,較為全面地代表了注意水平相關(guān)的腦電成分在頻域上的分布特征。
2.3.2 BP網(wǎng)絡(luò)訓(xùn)練
為了獲得注意力集中和注意力非集中時(shí)的穩(wěn)定樣本數(shù)據(jù),本文設(shè)計(jì)了如下實(shí)驗(yàn):
注意任務(wù):被試坐在電腦屏幕前,參與完成Neurosky公司的速算挑戰(zhàn)游戲,屏幕呈現(xiàn)比較復(fù)雜的加減乘除運(yùn)算題目(難度4),被試心算結(jié)果并提交。運(yùn)算題目較為復(fù)雜,被試一般要仔細(xì)考慮才能計(jì)算出結(jié)果,且要求答題中盡量保證計(jì)算正確,一共進(jìn)行40 s左右測(cè)試,從被試進(jìn)行計(jì)算后10 s再開始采集被試腦電信號(hào)。
非注意任務(wù):被試坐在電腦屏幕前,電腦屏幕呈現(xiàn)速算挑戰(zhàn)開始界面,以保持屏幕色調(diào)與注意任務(wù)相近,被試觀望屏幕,但要求盡量處于自然松弛狀態(tài)。一共進(jìn)行40 s左右測(cè)試,從被試進(jìn)行測(cè)試后10 s再開始采集被試腦電信號(hào)。
整個(gè)實(shí)驗(yàn)過程保證被試不受外界干擾。12名健康被試年齡在20~22歲之間,均在頭腦清醒的情況下接受測(cè)試。實(shí)驗(yàn)數(shù)據(jù)采用Neurosky公司的MindRec軟件進(jìn)行記錄。12位被試分別采集30 s數(shù)據(jù),從每份中隨機(jī)截取10段2 s長的數(shù)據(jù)(即1 024個(gè)數(shù)據(jù)),得到12(被試)×10(截取數(shù)據(jù))×2(2個(gè)狀態(tài))共240個(gè)樣本數(shù)據(jù)。
將其中的200個(gè)樣本數(shù)據(jù)作為訓(xùn)練數(shù)據(jù),40個(gè)樣本數(shù)據(jù)作為測(cè)試數(shù)據(jù),通過MATLAB進(jìn)行仿真。
設(shè)定BP網(wǎng)絡(luò)層數(shù)為3,輸入神經(jīng)元個(gè)數(shù)為5,輸出神經(jīng)元個(gè)數(shù)為1(注意狀態(tài)的輸出期望值為1、非注意狀態(tài)為0),隱層神經(jīng)元個(gè)數(shù)為8,激勵(lì)函數(shù)為logsig函數(shù),初始學(xué)習(xí)步長定為0.05,目標(biāo)均方誤差設(shè)為0.001,迭代次數(shù)設(shè)為2 500次,采用traingdx(變步長)算法,訓(xùn)練后得到的最高識(shí)別準(zhǔn)確率達(dá)到了77.5%。
最后,利用net.b{1}、net.iw{1,1}等指令,得到訓(xùn)練后BP神經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣和閾值矩陣。
2.3.3 BP網(wǎng)絡(luò)的Android實(shí)現(xiàn)
BP網(wǎng)絡(luò)的輸出結(jié)果y與輸入特征向量x的對(duì)應(yīng)關(guān)系如下:
其中w1、w2分別為隱層、輸出層權(quán)值矩陣,θ1、θ2分別為隱層、輸出層閾值矩陣,u1、u2為中間量,y1為隱層輸出。
利用二維數(shù)組可以很簡(jiǎn)單地實(shí)現(xiàn)Android平臺(tái)上的矩陣運(yùn)算。BP神經(jīng)網(wǎng)絡(luò)輸出的結(jié)果是一個(gè)范圍為0~1的值,該值越接近0,則代表被試當(dāng)前注意力越不集中,反之則代表注意力集中。將其乘以100并取整,即可得到一個(gè)百分制的注意力值,可以非常直觀地表達(dá)被試當(dāng)前的注意力狀態(tài)。
2.4 實(shí)時(shí)顯示
實(shí)時(shí)顯示模塊主要依靠Android平臺(tái)提供的SurfaceView組件、TextView組件以及上文創(chuàng)建的Handler對(duì)象來對(duì)主線程的UI進(jìn)行更新,達(dá)到實(shí)時(shí)顯示的效果。實(shí)現(xiàn)流程如下:
(1)通過TextView的setText方法將文字顯示在屏幕相應(yīng)位置,該方法會(huì)直接將原先顯示的文字抹除,以達(dá)到實(shí)時(shí)顯示的效果。
(2)創(chuàng)建Canvas對(duì)象,Surface中的Canvas成員是專供程序員畫圖的場(chǎng)所,并通過getHolder方法實(shí)現(xiàn)SurfaceHolder接口,用于操縱Surface和處理Canvas上畫圖效果和動(dòng)畫,控制表面、大小、像素等。
(3)通過lockCanvas方法將畫布鎖定以獲得當(dāng)前畫布對(duì)象,先通過drawColor方法將當(dāng)前畫布顏色置為黑色以清除之前的作圖,再通過drawLine方法在畫布上將當(dāng)前時(shí)域、頻域圖像依次畫出。
(4)通過unlockCanvasAndPost方法解鎖畫布以提交畫好的圖像。
3 結(jié)論
本文給出了基于Android平臺(tái)的注意力監(jiān)測(cè)系統(tǒng)的具體實(shí)現(xiàn)方案,依托ThinkGear AM腦電采集模塊采集原始腦電信號(hào),通過藍(lán)牙傳輸?shù)紸ndroid終端,進(jìn)行頻譜變換后,輸入事先訓(xùn)練好的BP神經(jīng)網(wǎng)絡(luò),得到一個(gè)百分制的注意力值,可以非常直觀地表達(dá)被試當(dāng)前的注意力狀態(tài)。整套系統(tǒng)簡(jiǎn)單便攜,成本低廉,對(duì)于腦電生物反饋治療的推廣有一定的意義。
但本系統(tǒng)仍存在幾點(diǎn)不足:(1)BP網(wǎng)絡(luò)的訓(xùn)練數(shù)據(jù)較少,使得得到的BP網(wǎng)絡(luò)泛化能力較差;(2)應(yīng)用軟件可擴(kuò)展性、可維護(hù)性較差。
近年來興起的深度神經(jīng)網(wǎng)絡(luò)也許可以提供較好的解決方案,這種神經(jīng)網(wǎng)絡(luò)可以通過手機(jī)網(wǎng)絡(luò)采集用戶使用時(shí)產(chǎn)生的大量無標(biāo)簽?zāi)X電數(shù)據(jù)對(duì)核心神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練,提高網(wǎng)絡(luò)泛化性能,通過軟件版本更新修改用戶軟件網(wǎng)絡(luò)參數(shù),也許可以使得用戶注意力識(shí)別準(zhǔn)確度得到大幅度提升。該方案在Android平臺(tái)的表現(xiàn)雖未可知,但不失為今后的改進(jìn)方向之一。
參考文獻(xiàn)
[1] VOLKMAR F R.Changing perspectives on ADHD[J].American Journal of Psychiatry,2003,160(6):1025-1027.
[2] PATRICK N,F(xiàn)RIEL B S.EEG biofeedback in the treatment of attention deficit hyperactivity disorder[J].Alternative Medicine Review,2007,12(2):146-151.
[3] HEINRICH H,BUSCH K,STUDER P,et al.EEG spectral analysis of attention in ADHD: implications for neurofeedback training[J].Frontiers in Human Neuroscience,2014(8):611-621.
[4] TAKAHASHI J,YASUMURA A,NAKAGAWA E,et al.Changes in negative and positive EEG shifts during slow cortical potential training in children with attention-deficit/hyperactivity disorder:a preliminary investigation[J].Neuroreport,2014,25(8):618-624.
[5] KE Y,CHEN L,F(xiàn)U L,et al.Visual attention recognition based on nonlinear dynamical parameters of EEG[J].Biomedical Materials and Engineering,2014(24):349-355.
[6] XU L,LIU J,XIAO G,et al.Characterization and classification of EEG attention level[J].Journal of Computer Applications,2012,32(11):3268-3270.
[7] 路榮,黃力宇,晉瑯.小波包分解腦電復(fù)雜性特征提取的注意狀態(tài)實(shí)時(shí)識(shí)別[J].醫(yī)療衛(wèi)生裝備,2013,34(2):1-5.
[8] 胡麗瑩,肖蓬.快速傅里葉變換在頻譜分析中的應(yīng)用[J].福建師范大學(xué)學(xué)報(bào),2011,27(4):27-30.
[9] 劉慶杰,藺啟忠,王欽軍,等.基于連續(xù)統(tǒng)快速傅里葉變換的紅外光譜處理技術(shù)[J].光譜學(xué)與光譜分析,2009,29(12):3279-3282.
[10] NOACHTAR S,BINNIE C,EBERSOLE J,et al.A glossary of terms most commonly used by clinical electroencep-halographers and proposal for the report form for the eeg findings[J].Electroencephalography & Clinical Neurophysiology Supplement,1999(52):21-40.
[11] 徐魯強(qiáng),劉靜霞,肖光燦,等.腦電注意水平的特征識(shí)別[J].計(jì)算機(jī)應(yīng)用,2012,32(11):3268-3270.
[12] 燕楠,王玨,魏娜,等.基于樣本熵的注意力相關(guān)腦電特征信息提取與分類[J].西安交通大學(xué)學(xué)報(bào),2007,10(41):1237-1241.
[13] MING D,ZHANG M,XI Y,et al.Computational intelligence for measurement systems and applications[C].2009.Piscataway:IEEE Press,2009.
[14] LUTSYUK N V,?魪ISMONT E V,PAVLENKO V B.Modulation of attention in healthy children using a course of EEG-feedback sessions[J].Neurophysiology,2006,38(5-6):389-395.