Multimodal Bilinç Görevi için EEG Sinyali Uzaysal Kaynak Konumunun Analizi
Özet: Çince karakterlerin sessiz okunması ile multimodal bilinç görevi tarafından aktive edilen serebral korteksi analiz etmek için, bilinç görevi ile ilgili EEG sinyallerini analiz etmek için uzamsal kaynak konumlandırma kullanıldı. İlk olarak, bağımsız bileşen analiz algoritması, tüm elektrotların EEG sinyallerini kendi bağımsız bileşenlerine ayırmak için kullanılır.Her bir bileşenin eşdeğer bir dipolden geldiği kabul edilebilir ve serebral korteksteki konumu ve yönü belirlenir; daha sonra zaman-frekans Bilinçli görevle ilgili çift kutupları analiz edin ve belirleyin; son olarak çok modlu bilinçli görev ile tek modlu bilinçli görev arasındaki farkları analiz edin ve karşılaştırın. 10 denek üzerinde yapılan deneyler, iki multimodal bilinç göreviyle ilgili ortalama çift kutup sayısının sırasıyla 5 ve 4,3 olduğunu ve bunların tek modlu görevinkinden daha fazla olduğunu gösterdi. Bu 4 görevin ortalama sınıflandırma doğruluğu aynıdır, bu da serebral korteksin daha fazla aktivasyonunun sınıflandırma doğruluğunu iyileştirmek için yararlı olduğunu ve deneyin geçerliliği ve rasyonelliğinin doğrulandığını gösterir.
TP274
Bir
10.16157 / j.issn.0258-7998.174336
Çince alıntı biçimi: Wang Li, Dong Qianyan, Huang Zhipeng, ve diğerleri.Çok Modlu Bilinç Görevleri için EEG Sinyali Uzaysal Kaynak Konumunun Analizi.Elektronik Teknolojinin Uygulanması, 2018, 44 (4): 77-80.
İngilizce alıntı biçimi: Wang Li, Dong Qianyan, Huang Zhipeng ve diğerleri.Çok modlu zihinsel görevler için EEG sinyallerinin mekansal kaynak konum analizi.Elektronik Tekniğin Uygulanması, 2018, 44 (4): 77-80.
Çok modlu zihinsel görevler için EEG sinyallerinin mekansal kaynak konum analizi
Wang Li1, Dong Qianyan1, Huang Zhipeng1, Xie Yuhuai2, Hu Xiao1
(1. Makine ve Elektrik Mühendisliği Okulu, Guangzhou Üniversitesi, Guangzhou 510006, Çin;
2. Guangzhou Laiming Biological Technology Co., Ltd., Guangzhou 510330, Çin)
Öz: Sessiz Çince okuma ile multimodal zihinsel görevlerle aktive olan serebral korteksi analiz etmek için, zihinsel görevlerle ilgili elektroensefalografi (EEG) sinyalleri mekansal kaynak konumu kullanılarak analiz edilir.İlk olarak tüm elektrotların EEG sinyalleri bağımsız bileşenlerle bağımsız bileşenlere ayrıştırılır. Her bileşen eşdeğer bir dipolden düşünülebilir ve konumu ve yönü serebral kortekste hesaplanır.Daha sonra, zihinsel görevle ilişkili dipol, zaman-frekans analizi ile belirlenir.Son olarak, dipollerin multimodal zihinsel görevler analiz edilir ve tek mod ile karşılaştırılır. 10 deneğin sonuçları analiz edildikten sonra, iki çok modlu zihinsel görevle ilişkili ortalama çift kutup sayıları sırasıyla tek modlu görevlerden daha fazlası olan 5 ve 4.3 olarak hesaplanır. dört görevin ortalama sınıflandırma doğruluğu ile tutarlıdır. Serebral korteksin kullanılması, sınıflandırmanın doğruluğunu iyileştirmek için faydalıdır, deneyin geçerliliği ve rasyonelliği de doğrulanmıştır.
Anahtar kelimeler: multimodal; zihinsel görevler; mekansal kaynak konumu; elektroensefalografi
0 Önsöz
İnsan-bilgisayar etkileşimi teknolojisi, son yıllarda, özellikle etkileşimli bir ortam olarak insan biyoelektrikliğinin geliştirilmesi üzerinde kapsamlı bir şekilde çalışılmıştır. Beyin Bilgisayar Arayüzü (BCI), yardımcı ekipmanı kontrol etmek için beyin sinyallerini kullanan bir insan-bilgisayar etkileşim teknolojisidir. Motor disfonksiyonu olan kişiler için yeni bir rehabilitasyon yöntemi sağlar ve kullanıcıların yeni bir iletişim ve etkileşim yolu elde etmesine olanak tanır. BCI sistemi, elektrikli tekerlekli sandalye, metin girişi, robot ve akıllı ev kontrolü vb. Kontrollerinde başarıyla kullanılmıştır.
Beyin aktivitesini tespit etmenin birçok yolu vardır, bunların arasında elektroensefalografi (EEG) yüksek güvenlik ve düşük maliyet avantajlarına sahiptir, bu nedenle bu yöntem BCI alanında en popüler olanıdır. Ayırt edilebilir EEG sinyalleri üretebilen çok sayıda deneysel paradigma vardır. Bu deneysel paradigmaların EEG'sini analiz etmek için farklı algoritmalar kullanılır.P300 uyarılmış potansiyeller genellikle varyans analizi, tutarlı ortalama ve korelasyon analizi gibi zaman alanı analizi algoritmalarıyla uygulanır. Sabit durum görsel indüksiyon ve motor hayal gücü ile üretilen EEG sinyalleri belirli frekans özelliklerine sahiptir ve kısa süreli Fourier dönüşümü ve dalgacık dönüşümü gibi zaman-frekans analiz algoritmaları ile analiz edilebilir. Çok kanallı EEG sinyallerini incelerken, kanal seçimini sunan Seyrek Ortak Uzamsal Desen (SCSP) gibi uzamsal-zamansal analiz algoritmaları da kullanılabilir.
Deneysel tasarım yoluyla BCI işlem boyutunu ve sınıflandırma doğruluğunu artırma araştırma çalışmasını göz önünde bulunduran bu araştırma grubu, ilgili Çince karakterleri sessiz okuma ile çok modlu bir bilinç görevi deneysel paradigması önerdi ve bunu zaman, mekan ve frekansta kapsamlı bir şekilde doğruladı. Deneysel paradigmanın geçerliliği ve rasyonelliği. Tek bir düşünme aktivitesi ile karşılaştırıldığında, Çince karakterleri sessizce okuyan multimodal bilinç görevi, daha fazla serebral korteksi içeren çoklu gelişmiş düşünme aktivitelerinin bir kombinasyonudur. Bu makale, EEG sinyallerini incelemek, çok modlu bilinçli görevlerin fizyolojik mekanizmasını incelemek için farklı bilinçli görevler tarafından aktive edilen serebral korteksi analiz etmek ve karşılaştırmak ve BCI'nin araştırma ve tasarımına yardımcı olmak için mekansal kaynak konum analizi kullanır.
1 Deneysel tasarım
Bu makaledeki deney, literatürde ayrıntılı olarak anlatılmıştır. Deney 22-28 yaşları arasında 10 denek (7 erkek ve 3 kadın) içeriyordu, S1 ~ S10 olarak belirlenmiş ve bunlardan 6 tanesi benzer deneylere katılmıştı. Diğerleri EEG deneyine ilk kez katıldı. Deneklerin hepsi sağ elini kullanıyor, fiziksel olarak iyi durumda ve deneyden önce yeterince dinleniyor. Denek, deneyi tamamlamak için oturdu ve 1 m önündeki 22 inç LCD ekrana bakarak hızlı bilgi aldı. Denekler deneyin amacını ve önlemlerini anladıktan sonra "Bilgilendirilmiş Onam" imzaladılar.
Bilinç görevinde Çince karakterlerin sessiz okunmasının etkilerini karşılaştırmak için deney iki aşamalı alt deneyleri içermektedir.İlk alt deney çok modlu deneysel bir paradigma, ikinci basamak alt deney ise tek modlu deneysel bir paradigmadır. Bu deney geri bildirim içermeyen bir deneydir ve spesifik içerik Şekil 1'de gösterilmektedir. İki Çince karakter "" ve "", istem mesajları olarak rastgele görünecektir. Boşta kalma süresi boyunca, ekranda bir yıldız işareti "*" görüntülenecek ve konu 2 saniye boyunca rahat kalacaktır. Ardından konuyu hazırlamak için 1 saniye süreyle küçük bir çarpı "+" görüntülenir. Bundan sonra bir Çince karakter belirir ve 1 saniye sürer. Daha sonra hayali dönemi temsil eden 4 saniyelik siyah bir ekran görüntülenir.Çince karakter "Sol" ise, denek ilk alt deneyde vücudu solak hayal ederken "Sol" okuyacak ve ikinci alt deneyde sadece sol elle vücudu hayal edecektir. Çince karakter "" ise, denek ilk alt deneyde "" nin vuruşunu hayal ederken sessizce "" okuyacak ve sadece ikinci alt deneyde vuruşun yazıldığını hayal edecektir. 4 s bilinç görevi bittikten sonra, bir deney tamamlanır ve 0,5 ila 1,5 saniye dinlenebilirsiniz. Her bir komut istemi bir dizi deneyde 15 kez görünecek ve her denek aynı gün içinde 5 takım deney tamamlayacaktır. Bir dizi deneyden sonra denekler 5 dakika dinlenebilir.
2 Veri toplama
Çince karakterlerin sessizce okunması bir dil aktivitesidir.Vücudun sola döndüğünü hayal etmek uzamsal hayal gücünü içerir.Çince karakterleri yazmayı hayal etmek, dil korteksinin ve motor korteksin koordinasyonunu gerektirir. Deneysel elektrotlar Şekil 2'de gösterilmiştir. Uluslararası 10/20 sistem kurşun ayarlarını takip ederler ve Wernicke bölgesi, Broca bölgesi ve motor duyu korteksi gibi serebral korteksin 35 uçlu elektrotlarını kapsar. Deneyde kullanılan alet Neuroscan, ABD'den SynAmps 2 sistemidir. EOG'yi yatay ve dikey yönlerden kaydetmek için iki bipolar elektrot yerleştirildi. 50 Hz güç frekansı parazitini azaltmak için, başın alnına bir toprak elektrotu yerleştirmek gerekir. Ek olarak, EEG sinyallerini toplarken, kafanın üstüne bir referans elektrot yerleştirilmesi gerekir. Deney sırasında sinyal bozulmasını azaltmak için tüm elektrotların kontak direnci 5 k'un altında tutulmalıdır. Sistemin bant geçiren filtresi 0,1 ~ 100 Hz ve sinyal örnekleme hızı 250 Hz olarak ayarlanmıştır.
3 Analiz yöntemi
3.1 Ön İşlem
Veri toplandıktan sonra, oküler sinyalleri kaldırmak için sistemle birlikte gelen SCAN 4.5 yazılımının Oküler Artefakt Azaltma fonksiyonu kullanılır. Yetişkin EEG sinyalindeki yararlı bilgiler esas olarak alfa dalgası ve beta dalgasıdır, bu nedenle sinyal, gürültüyü filtrelemek için 4 ~ 45 Hz bant geçiş filtresinden geçer.
3.2 Bağımsız bileşen analizi
Bağımsız Bileşen Analizi (ICA), sinyal işleme alanında önemli bir araştırma yöntemidir ve kör kaynak ayırma algoritmasıdır. ICA ayrışmasından sonra, yararlı sinyal, özellik çıkarma veya EEG topografik haritalama için gürültü sinyalinden ayrılabilir.
3.3 Zaman-frekans analizi
EEG sinyali, ICA aracılığıyla bağımsız bileşenlere ayrıştırıldıktan sonra, bağımsız bileşenlerin düşünme etkinlikleriyle ilişkili olup olmadığını belirlemek için zaman-frekans analizi kullanılabilir. Olayla İlgili Spektral Pertürbasyon (ERSP), bir bilinç görevi sırasında EEG'nin enerjisindeki göreceli değişiklik miktarını vurgulayabilen, geleneksel zaman-frekans analizi algoritmasında bir gelişmedir. ERSP, tüm zaman ekseninin enerji spektrumu ile görünen temel enerji spektrumu arasındaki göreceli değişikliği analiz edebilir.
Hayal gücü dönemine girdikten sonra enerji spektrumu artarsa veya azalırsa, bağımsız bileşenin düşünme faaliyetleriyle ilgili olduğu, aksi takdirde olmadığı anlamına gelir. Örnek olarak, sessizce "sola" okurken vücudu sola dönmeyi hayal eden S6 denek ele alındığında, 4 ~ 45 Hz bant geçiren filtrelemeden sonra birinci ve dördüncü bağımsız bileşenlerinin ERSP diyagramı Şekil 3'te gösterilmiştir. Çince karakter istemi, Şekil 3'teki ERSP diyagramında 0 s konumunda görünür. 1 saniye sonra, denek ilgili hayal gücü aktivitesine başlar. Konu S6'nın 9-15 Hz aralığındaki dördüncü bağımsız bileşeninin enerjisi, düşüncenin ilerleyişi ile artar ve ilk bağımsız bileşeninin benzer özellikleri yoktur. Bu nedenle, düşünme etkinliğinin dördüncü bileşenle ilgili olduğu ve birinci bileşenle ilgili olmadığı yargılanabilir.
3.4 Eşdeğer çift kutuplu kaynak konumunun analizi
Zaman-frekans analizi ile bilinçli görevle ilgili bağımsız bileşenleri elde ettikten sonra, mekansal kaynak konum analizi, beyindeki sinirsel aktivite kaynağının yeri, yoğunluğu ve yönü gibi önemli bilgileri elde etmek için onu tersine çevirmek için kullanılabilir, böylece bilinçli görev tarafından aktive edilen serebral korteks yargılanabilir.
Bu makale eşdeğer dipol analizini seçmektedir. Algoritma, olayla ilgili nöral kaynağı beyinde aktif olan bir veya birkaç mevcut dipol olarak ele alır. Bu çift kutupların yönü ve konumu, kalan hataları en aza indirerek belirlenir:
L, kurşun alan matrisi olduğunda, j, geçiş dipol momentidir ve U, ICA ayrışmasından sonraki bağımsız bileşen matrisidir.
Ayrıntılı işlem süreci:
(1) EEG sinyallerinin ICA ayrıştırmasını yapmak için EEGLAB araç kutusunu kullanın ve ayrıştırma algoritması genişletilmiş Infomax yöntemini benimser;
(2) Baş modeli için BEM'i seçin ve ardından bağımsız bileşenler, araç kutusundaki DIPFIT 2.2 eklentisi aracılığıyla karşılık gelen çift kutupları hesaplar;
(3) Üç boyutlu kaba bir ağ ile dipolün yaklaşık konumunu tarayın;
(4) Önceki adımda elde edilen konumu başlangıç değeri olarak kullanın ve doğrusal olmayan çapraz uydurma algoritmasını dipolün kesin konumunu hesaplamak için kullanmaya devam edin.
4 Sonuçlar ve analiz
Bu makalenin amacı, bilinçli görevlerle ilgili EEG sinyallerinin uzamsal kaynağını konumlandırarak çok modlu bilinçli görevler ile tek bilinçli görevler arasındaki doğal farklılıkları karşılaştırmak ve son olarak çok modaliteyi zaman, mekan ve frekans perspektifinden kanıtlamaktır. Bilinç görevinin fizibilitesi ve rasyonelliği.
Örnek olarak konu S6'yı alırsak, bedenin sola dönmesini hayal ederken sessizce "sola" okuyun Şekil 3, uzamsal kaynak konumlandırma sürecini gösterir. İki aşamalı alt deneylerin her ikisi de EEG sinyalini kaydetmek için 35 elektrot kullandı, bu nedenle ICA ayrışmasından sonra 35 bileşen elde edilebilir ve bileşen 1 ve bileşen 4 bunlardan ikisidir. Tüm bileşenler analiz edildikten ve eşdeğer dipollerle hesaplandıktan sonra, sırasıyla karşılık gelen dipoller elde edilir ve beyindeki konumları ve yönleri işaretlenir. Son olarak ERSP, bilinç görevleriyle ilgili bağımsız bileşenleri ve çift kutupları ayırt etmek için kullanılır. ERSP diyagramından, 4. bileşenin düşünme ile ilgili olduğu yargılanabilir. Şekil 3 son olarak beş dipolün vücut solakken sessizce "sol" okuma düşüncesiyle ilgili konumlarını ve yönlerini göstermektedir.Beynin sağ korteksinin üst ve temporal lobunda yer almaktadırlar.
10 denek ile iki aşamalı alt deneyin iki tür hayal gücü analiz edilmiş ve bilinç görevi ile ilgili çift kutup sayısının sonuçları Şekil 4'te gösterilmiştir. 10 deneğin ortalama sonuçlarına göre, "bir" in vuruşlarını hayal ederken sessizce "bir" okuyan dipol sayısı en yüksek olup 5'e ulaşır, bu da bu tür düşünme aktivitesinin daha karmaşık olduğunu ve daha fazla beyin korteksi içerdiğini gösterir. Diğer bilinç görevlerinin sonuçları şunlardır: Bedeni sol elle hayal ederken sessizce "Sol" okumak (4.3), sadece yazı vuruşlarını hayal etmek (3.6) ve yalnızca vücudu sol elle hayal etmek (2.5), ki bu dördünün ortalama sınıflandırma doğruluğunun sıralamasıyla tamamen aynıdır. (Sınıflandırma doğruluğu literatürdendir). Monomodalite ile karşılaştırıldığında, multimodal bilinçli görevler daha karmaşık düşünme aktivitelerini içerir, bu nedenle daha fazla serebral korteks dahil edilir, bu da EEG sinyallerini daha ayrılabilir hale getirir. Bu makalenin sonuçları, EEG sinyal özelliği çıkarma ve sınıflandırmanın sonuçlarını entegre ettikten sonra, EEG sinyal sınıflandırma doğruluğunun iyileştirilmesinin doğal nedenini buldu ve son olarak multimodal deneysel paradigmanın uygulanabilirliğini ve rasyonalitesini tam olarak doğruladı.
5. Sonuç
Eşdeğer çift kutup analizi yöntemi, sinyal kaynağının uzamsal konumunu tespit etmek için EEG sinyalini tersine çevirebilir Bu yöntem nispeten ucuz ve uygundur. Bu makale, çok modlu ve tek modlu iki aşamalı alt deneylerin uzamsal kaynak konumunu analiz etmekte ve bu iki aşamalı alt deneylerdeki çift kutupların sayı ve dağılımını karşılaştırmaktadır.Çok modlu alt deneylerin düşünme etkinlikleri ile ilgili daha fazla olaya sahip olduğu bulunmuştur. Kutup oğlu. Daha fazla dipol aynı zamanda daha fazla serebral korteksin aktive olduğu anlamına gelir, bu da multimodal bilinç görevlerinin geliştirilmiş sınıflandırma doğruluğunun doğal nedenini de doğrular. Bu nedenle, çok modlu deneylerin rasyonelliği ve fizibilitesi, mekansal kaynak konumlandırma perspektifinden doğrulanır.
Referanslar
RABIE AR, ATHANASIOS V V.Beyin bilgisayar arayüzü: kontrol sinyalleri incelemesi. Neurocomputing, 2017, 223: 26-44.
He Wei, Zhao Yue, Tang Haoyue ve diğerleri Giyilebilir robotlar için kablosuz bir BCI ve BMI sistemi. Sistemler, İnsan ve Sibernetik Üzerine IEEE İşlemleri: Sistemler, 2016, 46 (7): 936-946.
HWANG H J, KIM S, CHOI S, ve diğerleri. EEG tabanlı beyin-bilgisayar arayüzleri: kapsamlı bir literatür araştırması. International Journal of Human-Computer Interaction, 2013, 29 (12): 814-826.
Jin Jing, ALLISON B Z, SELLERS E W, ve diğerleri Uyarlanabilir P300 tabanlı kontrol sistemi Journal of Neural Engineering, 2011, 8 (3): 036006.
WACKER M, WITTE H. Biyomedikal sinyal analizinde zaman-frekans teknikleri: benzerlik ve farklılıkların öğretici bir incelemesi Tıpta Bilgi Yöntemleri, 2013, 52 (4): 279-296.
FATTAHI D, NASIHATKON B, BOOSTANI R. EEG sinyal sınıflandırması için uzamsal ve uzamsal-spektral süzgeçleri tahmin etmek için genel bir çerçeve. Neurocomputing, 2013, 119: 165-174.
Wang Li, Zhang Xiong, Zhong Xuefei ve diğerleri, beyin-bilgisayar arayüzleri için ilgili konuşma görüntüleriyle zihinsel görevlerin iyileştirilmesi Ölçme, 2016, 91: 201-209.
HYVARINEN A, KARHUNEN J, OJA E. Bağımsız bileşen analizi New York: Wiley, 2001.
Wang Li, Zhang Xiong, Zhong Xuefei, et al.Dil hayal gücünün beyin-bilgisayar arayüzünde frekans analizinin uygulanması. Journal of Southeast University (Natural Science Edition), 2014, 44 (6): 1126-1130.
MUSHA T, OKAMOTO Y. EEG dipol lokalizasyonunun ileri ve ters problemleri Biyomedikal Mühendisliğinde Kritik İncelemeler, 1999, 27 (3-5): 189-239.
DELORME A, MAKEIG S. EEGLAB: bağımsız bileşen analizi dahil tek denemeli EEG dinamiklerinin analizi için açık kaynaklı bir araç kutusu Journal of Neuroscience Methods, 2004, 134 (1): 9-21.
yazar bilgileri:
Wang Li1, Dong Qianyan1, Huang Zhipeng1, Xie Yuhuai2, Hu Xiao1
(1. Makine ve Elektrik Mühendisliği Okulu, Guangzhou Üniversitesi, Guangzhou 510006, Guangdong; 2. Guangzhou Laiming Biotechnology Co., Ltd., Guangzhou 510330, Guangdong)
