Çinli profesör AI beyin dalgalarını deşifre etti ve "beyin okumasının" gerçekçi bir versiyonunu sahneledi
Görüntü kaynağı @Visual China
Makale Akademik Başlıklar
Nörolojik hastalıkları olan birçok hasta dil yeteneğini kaybeder ve iletişim kurmak için belirli iletişim cihazlarına güvenmesi gerekir. Bu cihazların çoğu, imleci ekranda hecelemek için harfleri seçmek üzere kontrol etmek için beyin-bilgisayar arayüzleri veya baş ve göz hareketleri kullanır. Söylemek istedikleri cümle. Ancak, bu sözcük atlama süreci, normal insan konuşma süreciyle gerçekten kıyaslanamaz.
30 Mart, "Nature-Neuroscience", Kaliforniya Üniversitesi, San Francisco'da Çinli bir profesör olan Edward Chang ve meslektaşları tarafından geliştirilen ve beyin aktivitesi sinyallerini doğrudan cümle metnine dönüştürebilen bir beyin dalgası AI kod çözücüsü yayınladı.
Özellikle, araştırmacılar ilk önce deneklerin konuşurken sinirsel aktivite sinyallerini kaydetmek için elektrotlar kullandılar ve AI algoritmasını eğitmek için belirli cümleler ve sinirsel sinyal özellikleri arasındaki korelasyon verilerini kullandılar.Deneyler, eğitimli makine çeviri algoritmasının alıcıları doğru bir şekilde çözebileceğini kanıtladı. Sınava giren kişinin sinirsel aktivitesi ve bunu neredeyse gerçek zamanlı olarak cümle metnine çevirmesi, % 3 kadar düşük hata oranı .
İnsanların niyetlerini beyinden "okumak"
Konuşma zahmetsiz bir iş gibi görünse de aslında konuşmak insanlar tarafından gerçekleştirilen en karmaşık faaliyetlerden biridir. On yıldan daha uzun bir süre önce, bilim adamları dili ilk kez beyin sinyallerinden çözdüler, ancak dil çözme doğruluğu ve hızı, doğal dil iletişiminden çok daha düşüktü.
Beyin kontrollü yazım için kullanılan bazı güncel beyin-bilgisayar arayüz teknolojileri, aslında başın veya gözlerin artık sözel olmayan hareketlerine ya da harfleri seçmek ve kelimeleri birer birer hecelemek için imleç kontrolüne güveniyor. Bu yöntem şu anda felçli insanlara yardımcı olabilir. Cihaz aracılığıyla dakikada 8 kelimeye kadar çıktı alın.
Bununla birlikte, süreçte doğal dil iletişiminde dakikada 150 kelimelik ortalama hız ile karşılaştırıldığında, mevcut teknolojinin çıktı hızı hala çok yavaş.
Teoride, beyin-bilgisayar arayüz teknolojisi, insanların niyetlerini beyinden doğrudan "okuyabilir" ve bilgileri, harici cihazları kontrol etmek veya felçli insanların konuşma veya egzersizi tamamlamasına yardımcı olmak için felçli uzuvlarını hareket ettirmek için kullanabilir.
Beyin-bilgisayar arayüzü ile dilin doğrudan kod çözülmesinde daha yüksek doğruluk elde etmek için araştırmacılar, makine çevirisi görevi ile sinirsel aktiviteden konuşmanın kodunu çözme arasındaki benzerliği kullandılar. Diğer bir deyişle, makine çevirisine benzer şekilde, kod çözme dili de bir dilden diğerine algoritmik bir çeviridir.İki görev aslında aynı çıktıya, yani bir cümleye karşılık gelen sözcük dizisine eşlenir. sadece, Makine çevirisinin girdi içeriği metindir, kod çözme dilinin girdi içeriği ise sinirsel sinyaldir. .
Bu nedenle, araştırmacılar makine çevirisi alanındaki en son gelişmeleri değerlendirdiler ve bu yöntemleri tekrarlayan sinir ağlarını eğitmek için kullandılar ve ardından sinir sinyallerini doğrudan cümlelere haritalamaya çalıştılar.
Dil ile ilgili sinirsel aktivite kod çözme süreci
Özellikle, araştırmacılar, cümleleri yüksek sesle okurken dört deneğin sinirsel aktivitesini kaydetmek için elektrotlar kullandılar. Daha sonra araştırmacılar, konuşmanın tekrarlayan özellikleriyle (ünlüler, ünsüzler veya telaffuz organları tarafından alınan talimatlar gibi) düzenli olarak ortaya çıkan sinirsel özellikleri temsil etmek için bu verileri tekrarlayan bir sinir ağına ekledi. .
Daha sonra, araştırmacılar, algoritmik gösterimi kelime kelime çözmek için cümle oluşturmak için başka bir tekrarlayan sinir ağı kullandılar. Araştırmacılar, konuşma kod çözmede önemli ölçüde yer alan beyin bölgelerinin konuşma üretimi ve konuşma algısında da rol oynadığını buldular. Bu makine çeviri algoritması sayesinde, araştırmacılar bir konu üzerinde deneyler yaptılar ve sonuçlar, sinirsel aktivite yoluyla sözlü cümlelere kod çözme hata oranının% 3 kadar düşük olduğunu kanıtladı.
Ek olarak, tekrarlayan ağı önceden eğitmek için birinin sinirsel aktivitesini ve konuşmasını kullanırsanız ve daha sonra onu başka bir konu üzerinde eğitirseniz, nihai kod çözme sonucu geliştirilir, bu da bu yöntemin farklı kişiler arasında kullanılabileceği anlamına gelir. Devredilebilir. Bununla birlikte, bu sistemin işlevini daha eksiksiz bir şekilde araştırmak ve kod çözme aralığını çalışmanın kısıtlı dilinin ötesine genişletmek için daha fazla araştırmaya ihtiyaç vardır.
Beyin-bilgisayar arayüzü + AI sentezlenmiş konuşma
Beyin aktivitesi sinyallerini çözerek doğrudan metin veya konuşma sentezlemek sadece bir bilim kurgu "zihin okuma" değil, aynı zamanda umut verici bir tedavi planıdır.
İmleci kelimeleri hecelemek için kontrol etmek yalnızca kesintisiz bir dizi ayrı harftir, kod çözme dili ise verimli bir iletişim biçimidir. Yazım temelli yöntemlerle karşılaştırıldığında, doğrudan konuşma veya metin sentezinin birçok avantajı vardır.Kısıtlanmamış kelimeleri doğal konuşma hızında iletme yeteneğine ek olarak, doğrudan konuşma sentezi, ses perdesi ve tonlama gibi konuşmanın prozodik öğelerini de yakalayabilir.
Ayrıca amiyotrofik lateral skleroz veya beyin sapı felci nedeniyle oluşan felçli hastalar için, serebral korteksten gelen sinir kontrol sinyallerini doğrudan kaydederek konuşmayı sentezlemek, yüksek bir doğal dil iletişim oranı elde etmenin tek yoludur ve aynı zamanda en sezgisel yöntemdir.
Geçen yıl Nisan ayında, Edward Chang ve diğerleri Nature dergisinde beyin aktivitesini konuşmaya dönüştürebilen bir kod çözücü yayınladılar. Bu insan konuşma sentez sistemi, insan çene, boğaz, dudak ve dil hareketleriyle ilgili beyin sinyallerini deşifre eder ve öznenin ifade etmek istediği konuşmayı sentezler.
Edward Chang
Araştırmacılar, konuşmayı yeniden yapılandırmak için, önce kaydedilen kortikal sinir sinyallerini vokal oklüzal eklem hareketlerine dönüştüren ve ardından bu kodu çözülmüş hareketleri sözlü cümlelere dönüştüren tekrarlayan bir sinir ağı (RNN) tasarladılar.
Tüm süreç iki aşamaya bölünmüştür: İlk adım sinir sinyalini konuşma üretiminin anatomik yapısını (dudaklar, dil, boğaz ve çene) içeren vokal oklüzyon kısmının (kırmızı) hareketine dönüştürmektir. Sinir sinyallerinin ses yolu oklüzal kısmının hareketine dönüşümünü gerçekleştirmek için, ses yolunun hareketi ve sinirsel aktivitesi ile ilgili büyük miktarda veriye ihtiyaç vardır. Bununla birlikte, araştırmacıların her bir kişinin ses yolu hareketini doğrudan ölçmesi zordur, bu nedenle, önceden toplanmış çok sayıda ses yolu hareketi ve ses kayıt veri tabanına dayalı ilişkiler kurmak için tekrarlayan bir sinir ağı kurdular. İkinci adım, ses yolunun tıkanma kısmının hareketini sentetik konuşmaya dönüştürmektir.
Araştırmacıların iki aşamalı kod çözme yöntemi, doğrudan kod çözme yöntemi kullanılarak elde edilenden önemli ölçüde daha düşük bir konuşma bozulma oranı üretir. 101 cümlelik bir deneyde, dinleyiciler sentezlenmiş konuşmayı kolayca tanıyabilir ve kaydedebilir.
Bilimkurgu dünyasında düşünce sinyalleri ile harici cihazları kontrol etmek çok güzel, hatta gerçek dünyada arkasındaki beyin-bilgisayar arayüz teknolojisi neredeyse yüz yıllık bir geçmişe sahip.
Beyin-bilgisayar arayüzü alanındaki bilimsel araştırma ve uygulama teknolojisinin sürekli atılımıyla, özellikle AI algoritmalarının kutsaması ile, hala cevaplanmamış birçok problem için daha iyi keşif araçları sağlar.İnsanların sadece kendi beyinlerini daha iyi anlamalarına yardımcı olmakla kalmaz, aynı zamanda daha da önemlisi. Beyin ve diğer ciddi hastalıkların teşhis ve tedavisine çözümler sunar ve hatta uyku yönetimi, zeki yaşam ve engellilerin rehabilitasyonunda bile yaygın olarak kullanılmaktadır.
Referans malzemeleri:
https://nature.com/articles/s41593-020-0608-8
https://www.nature.com/articles/s41586-019-1119-1
https://mp.weixin.qq.com/s/ZjAW1CDUli1VXpWcNnF-sQ
