Çinli profesör beyin-bilgisayar arayüzünde bir atılım gerçekleştirdi ve ilk kez "Soru ve Cevap Diyaloğu" nun sinir sinyallerini gerçek zamanlı olarak çözdü.
Bu yılın Nisan ayında, Nature dergisi beyin-bilgisayar arayüzleri alanında büyük bir ilerleme yayınladı.San Francisco Kaliforniya Üniversitesi'nde bir Çin nöroşirürji profesörü olan Edward Chang ve meslektaşları, beyin aktivitesini konuşmaya dönüştürebilen bir sinirsel kod çözücü geliştirdi. Sistem, insan telaffuzuyla ilgili beyin sinyallerinin kodunu çözer ve deneğin ifade etmek istediği konuşmayı başarıyla sentezleyerek felçli ve afazili hastaların karşılaştığı büyük zorlukları çözer ve afazideki konuşma fonksiyonunun restorasyonunun temelini oluşturur.
Üç ay sonra, Profesör Edward Chang, beyin-bilgisayar arayüzü alanında bir kez daha büyük bir atılım yaptı, sadece istenen konuşmayı gerçek zamanlı olarak tanımak ve sentezlemek için değil, aynı zamanda araştırmacılar bu sefer duyulan konuşmanın gerçek zamanlı tanıma ve sentezini de gerçekleştirdiler.
Bu araştırma makalesi 30 Temmuz'da Nature Communications'da "Soru-cevap diyaloglarını gerçek zamanlı olarak çözmek için insan serebral korteks aktivitesini kullanma" başlıklı yayınlandı. Araştırmada, Edward Chang'ın ekibi deneklerin işitme ve cevaplama sorularıyla ilgili beyin sinir sinyallerini başarıyla çözdü ve ilgili metin kayıtlarını gerçek zamanlı olarak oluşturdu.
Resim - Profesör Edward Chang (Kaynak: UCSF)
Bu, yalnızca öznenin konuşması sırasında kaydedilen sinir sinyallerine dayalı olarak ilk kez, öznenin ne zaman dinlediğini veya konuştuğunu belirleyebilir ve öznenin ne duyduğunu veya söylemek istediğini tahmin edebilir.
Ek olarak, sinirsel kod çözme sistemi, bağlamla bağlantı kurabilir ve sorunun bilgisinin kodunu çözerek kodu çözülmüş yanıtların doğruluğunu geliştirebilir (çünkü bazı yanıtlar yalnızca belirli sorulara karşılık gelir). Nihai test sonuçları, sistemin üretilen ve algılanan konuşmayı sırasıyla% 61 ve% 76 gibi yüksek doğruluk oranları ile çözebildiğini göstermektedir.
Bu araştırma aynı zamanda bilim insanlarının konuşamayanlara gerçeklikten bir adım daha uzak olan "düşünceler" aracılığıyla iletişim kurma çabasını gerçekleştirmelerine yardımcı olduğu anlamına geliyor.
"Şu anda, felç nedeniyle afazili hastalar, bilgisayar arayüzünü kontrol etmek ve kelimeleri yavaşça hecelemek için yalnızca kalan göz hareketlerini veya kas seğirmelerini kullanabilirler. Ancak çoğu durumda, beyinlerinde akıcı bir dil üretmek için gereken bilgiye hâlâ sahipler. Ve şimdi ifade etmelerine izin vermek için yeni teknolojiyi kullanmamız gerekiyor. "Dedi Profesör Edward Chang.
"Laboratuvarım uzun yıllardır beyin sinyalleri aracılığıyla dili nasıl tanıyıp üreteceğimize odaklandı. Son on yılda bu alanda gördüğümüz ilerlemeyle, bu bulguları afazili hastalara yardımcı olmak için kullanabileceğimizi açıkça görüyoruz. "
Konuşmayı sentezlemek için beyin dalgalarını tanıyın
"Konuşma" basitçe son derece basit ve zahmetsiz bir şeydir, ancak aslında "konuşmak" insanlar tarafından gerçekleştirilen en karmaşık faaliyetlerden biridir.
Konuşma yeteneğini kaybetmek son derece talihsizdir ve kurtarması zordur. İnme, amiyotrofik lateral skleroz (Hawking bu hastalıktan muzdariptir) veya diğer nörolojik hastalıklar nedeniyle dil ve iletişim becerilerini kaybeden birçok hasta vardır.
Bu afazilerin tekrar "ifade etme" yeteneği kazanmasına nasıl izin verileceği, birçok bilim insanının üzerinde çalıştığı şeydir. Şu anda, beyin kontrollü yazım için bazı beyin-bilgisayar arayüz teknolojileri var Başın veya gözlerin artık sözel olmayan hareketini izleyerek ve imleci harfleri tek tek seçmek ve kelimeleri hecelemek için kontrol ederek, felçli hastaların kendilerini ifade etmelerine yardımcı olur.
Ancak hayatı boyunca Hawking'in "konuştuğu" videoyu izleyenler, bir dakika içinde birkaç kelimenin çöküşünü deneyimleyebilirler.
(Kaynak: iStock)
2017 yılında, yapay konuşma sentezi elde etmek için nöronları deşifre etmeye odaklanan Profesör Edward Chang ve yüksek lisans öğrencisi Claire Tang, Science dergisinde, dilde serebral korteksin üstün temporal girusundaki nöronların önemini açıklayan bir makale yayınladı. Araştırmalar ilk kez insan beynindeki göreceli ton değişikliklerini ayırt etmek için kullanılan nöronları keşfetti ve bu nöronlar, insanların duyguları ifade etmesine ve düşüncelerini dilde net bir şekilde iletmesine yardımcı olabilir.
Daha sonra, bu yılın Nisan ayında Nature'da yayınlanan bir çalışmada, Profesör Edward Changın ekibi, insan kortikal aktivitesinde kodlanmış kinematik ve ses temsillerini açıkça kullanan bir nöral kod çözücü tasarlayarak anlaşılır sentetik konuşmayı sentezleyerek akıcı bir sonuç elde etti. Konuşmacının hızının konuşma çıkışı.
Şekil Konuşma sentezi için beyin-bilgisayar arayüzü (Kaynak: Doğa)
Geleneksel konuşma sentezi araştırması, yukarıdaki Şekil a'da gösterilen yöntemi kullanır, yani beynin konuşmayla ilgili alanlarının sinir sinyallerini izlemek için EEG ekipmanı kullanır ve bu sinyalleri sentezlenmiş konuşmaya doğrudan çözmek için döngüsel sinir ağlarını kullanmaya çalışır.
Edward Chang ve meslektaşları, kod çözme işlemini iki adıma ayıran farklı bir yöntem geliştirdiler (yukarıdaki b): ilk adım, sinirsel sinyali vokal kapanma kısmının (kırmızı) hareketine dönüştürmektir; ikinci adım, dönüştürmektir. Ses yolunun oklüzal kısmının hareketi sentezlenmiş konuşmaya dönüştürülür.
Ek olarak, konunun konuşmasını gerektirmeyen (sadece telaffuz eylemleri yapan) bir testte, sessiz konuşmanın özelliklerini çözerek belirli bir derecede konuşma sentezi başarıyla sağlandı.
Edward Chang ve meslektaşlarının araştırma sonuçlarının, konuşmanın yeniden yapılandırılmasının doğruluğu veya izleyicinin oluşturulan cümleleri tanıma yeteneği açısından, konuşma sentezi beyin-bilgisayar arayüzü kavramının kanıtı için ikna edici kanıtlar sağladığı söylenebilir. .
Daha fazla "ruh iletişimi"
Beyin sinyalleri çözülebildiğinden, ağzı konuşmak için açmak yerine yapay olarak istenen konuşmayı sentezleyin, sonra kulak sesi duyduğunda beyin sinyallerini nasıl daha fazla tanımlayıp çözebiliriz, dil diyaloğu olmadan "ruh iletişimi" yapabilir miyiz? Ne?
30 Temmuz'da yayınlanan son araştırmada, Edward Chang ve meslektaşları, etkileşimli bir konuşma ortamında gerçek zamanlı olarak konuşma "konuşma" ve "dinleme" kodunu çözmek için böyle bir girişimde bulundular.
Doğal iletişimin dinleme ve konuşma sürecinde, işitme ve telaffuz hareketiyle ilgili farklı beyin bölgeleri buna katılır. Geçmişte, konuşmanın kodunu doğrudan insan beyninden çözme girişimleri genellikle dinleme veya konuşma görevlerini tek başına ele alırdı.
Ve Edward Chang ve laboratuvarındaki araştırmacılar, deneğin konuşmasındaki beyin sinyallerini gerçek zamanlı olarak tanıyabilen ve duyulan veya söylenmek istenen şeyi çözebilen bir yöntem geliştirdiler.
Özellikle, denekler doğal konuşma sırasında konuşma algılama (işitme soruları) ve telaffuz (yüksek sesle cevaplama) görevlerini yerine getirdiklerinde, araştırmacılar yüksek yoğunluklu bir elektroensefalogram (ECoG) dizisinden sinirsel aktiviteyi (işitsel ve vokali kapsayan) kaydetti. Sensorimotor korteks alanı), deneğin kelimeleri ne zaman duyduğunu veya söylediğini algılar ve ardından bu beyin sinyallerinin içeriğini çözer.
Şekil Soruyu duyan (mavi) ve cevabı cevaplayan denekler (kırmızı) sırasında gerçek zamanlı konuşma kod çözmenin şematik diyagramı (Kaynak: Doğa)
Her denemede, katılımcılar bir soru duyacak ve ekranda bir dizi olası yanıt seçeneği görecektir (yukarıdaki a) Ekranda yeşil komut istemi göründüğünde, katılımcının özgürce seçmesi ve sözlü olarak vermesi gerekir Cevaplardan biri (yukarıda b);
Şu anda, serebral kortekse implante edilen ECoG elektrotları, serebral korteks aktivitesinin gerçek zamanlı sinyallerini (c'nin üstünde) elde eder ve ses algılama modeli, deneğin bir soruyu duyup duymadığını veya bir cevap üretip üretmediğini veya her ikisini birden tahmin etmek için elde edilen serebral korteks sinyallerini kullanır. Yok (d'nin üstünde);
Ses algılama modeli "işitme sorusu" olayını algıladığında, sinir sinyali, kod çözme için nöral kod çözücüye gönderilir ve kodu çözülen soru çıkarılır (yukarıdaki e ve f); çünkü bazı yanıtlar yalnızca bazı sorular içindir Mantıklıdır, bu nedenle araştırmacılar, her bir cevabın önceki olasılığını dinamik olarak güncellemek için bağlam olarak kodu çözülmüş soru olasılığını kullanır (yukarıdaki g ve h).
Ses algılama modeli "cevap" olayını algıladığında, nöral sinyal, olası cevapların kodunu çözmek ve hesaplamak için bir cevap kod çözücüye geçirilir (yukarıda i). Bağlam entegrasyon modeli, bu cevapların olasılığını cevapların önceliğiyle birleştirir. Cevabın son olasılığını (mor) oluşturmak için yukarı çıkın ve son kodu çözülmüş cevabı girin (yukarıda j ve k).
Edward Chang, "Önceki yöntemlerin çoğu yalnızca konuşmanın kodunu çözmeye odaklandı, ancak burada bir konuşmanın her iki tarafını da çözmenin değerini gösteriyoruz - insanların duyduğu sorular ve cevapları." Edward Chang dedi.
Test sonuçları, deneklerin işitme sorularını gerçek zamanlı olarak çözerken ve cevap verirken sistemin doğruluğunun sırasıyla% 76 ve% 61 kadar yüksek olduğunu göstermektedir. Bu sonuçlar aynı zamanda etkileşimli bir konuşma ortamında gerçek zamanlı konuşma kod çözme işleminin uygulanabilirliğini de kanıtlamaktadır; bu, iletişim kuramayan hastalar için ilgili beyin-bilgisayar arayüz cihazlarının geliştirilmesi için büyük önem taşımaktadır.
Araştırmacılar ayrıca, daha iyi algoritmaların ve daha hızlı bilgisayarların araştırmada kod çözme hızını artırdığını da belirttiler.Önceden haftalarca, aylarca süren çevrimdışı işlemler artık gerçek zamanlı olarak yapılabiliyor.
Beyin-bilgisayar arayüzlerinde iş bahisleri
Edward Chang ekibinin beyin-bilgisayar arayüzleriyle ilgili son iki hakem tarafından gözden geçirilmiş çığır açan çalışması, beyin-bilgisayar arayüz şirketi Neuralink Elon Musk'un bu ay kaydettiği ilerlemeyi anımsatıyor.
17 Temmuz'da Musk, yatırım yaptığı beyin-bilgisayar arayüzü girişimi Neuralink için bir basın toplantısı düzenledi ve şirketin beyin-bilgisayar arayüzlerindeki en son teknolojik ilerlemesini ve gelecekteki beklentilerini ilk kez açıkladı: Neuralink, bunun böyle olduğunu gösterdi Fareler üzerinde test edilen "dikiş makinesi" adı verilen bir sonda cihazı, farenin beynine 1500 elektronik sonda gönderebilir ve aynı anda birden fazla nörondan bilgi alabilir. Şu anda Neuralink'in cihazı hayvanlar üzerinde en az 19 operasyon gerçekleştirdi ve tel implante etme başarı oranı% 87'ye ulaştı.
Şekil Neuralink'in beyin-bilgisayar arayüzü ekipmanı tanıtım resmi (kaynak: Neuralink)
Bu sürüm aynı zamanda Neuralink'in iki yıl önce kuruluşundan bu yana yayınlanan en ağır sonuç sürümüdür. Ancak bu hareket akademik camianın sözleşmelerine aykırıdır.Kağıt yayınlanmadan önce sonuçların bir basın açıklaması yapılmıştır. Basın toplantısında Musk, FDA'nın onaylaması durumunda teknolojinin önümüzdeki yılın sonuna kadar hastalar üzerinde kullanılabileceğini söyledi.
Pek çok eleştirmen bunun Musk'ın riskli çılgın girişimi olduğuna inansa da, son yıllarda beyin-bilgisayar arayüzleri alanında sermayenin ticari odağını da vurguluyor. Örneğin, Edward Chang'ın laboratuvarı tarafından yürütülen beyin-bilgisayar arayüzü araştırması Facebook Reality Labs tarafından finanse edildi.
Beyin-bilgisayar arayüzü araştırması da Facebook'un iddialı ana hedeflerinden biridir. Facebook'un beyin-bilgisayar arayüz programının araştırma direktörü Mark Chevillet 2017'de bir konferansta beyin aktivitesinden dakikada 100 kelimeyi okuyabilen invazif olmayan bir teknolojiyi tanımladı. O sırada bu yeni "beyin yazma" Plan kulağa tamamen çılgınca geliyor.
Şimdi, iki yıl sonra Chevillet bu hedefe daha çok güveniyor. Edward Chang'ın Nature Communications ekibi tarafından yayınlanan en son araştırma, Facebook'un yüksek sesle ve daha gerçekçi konuşmak zorunda kalmadan kontrol edilebilen artırılmış gerçeklik (AR) gözlükleri geliştirme hedefini oluşturuyor.
(Kaynak: Facebook)
Görünüşe göre Facebook ve Neuralink'in eylemleri, insanları beyin aktivitesini çözmek için ilk ticari beyin-bilgisayar arayüz teknolojisini sağlama rekabeti hissettiriyor. Bununla birlikte, şu anda, bu hedefe ulaşma süreci muhtemelen yavaş bir süreç olacaktır.
Chevillet, IEEE Spectrum ile yaptığı röportajda, "Henüz gerçek bir ürün planımız yok çünkü bu teknoloji çok erken bir çalışma." Dedi.
Ve Edward Chang, mümkün olan en kısa sürede konuşamayan insanlara anlamlı değişiklikler getirmeyi umduğunu söyledi. Şimdiye kadar ekibin tüm çalışmaları gönüllülerle konuşmak üzerine yapıldı, bu yüzden ekip şimdi bir afazi hastasıyla çalışarak bir yıl geçirecek.
Edward Chang, Facebook ile işbirliğinin tüm sonuçlarının yayınlanacağını ve akademik topluluğa açık olacağını da vurguladı. "Umarım bu sadece yaptığımız işten değil, tüm sahadan yararlanır."
