"Kafa bandı" olmadan gizlice gözlemleyin: AI kamera, sınıfta dikkatinizin dağınık olup olmadığını anlayabilir
Yeniden basıldı: Heart of the Machine
Bu makale 2478 Word, önerilen okuma 4 dakika.
Bu makale, öğrencilerin duygusal değişikliklerini kaydedip analiz edebilen, HKBTÜ ve Harbin Engineering araştırmacıları tarafından geliştirilen AI kamerayı tanıtmaktadır.
AI kamerası sınıfa girdikten sonra, dikkatlice dinliyormuş gibi yapmak gittikçe zorlaştı. Son zamanlarda, Hong Kong Bilim ve Teknoloji Üniversitesi'nden ve Harbin Engineering'den araştırmacılar, öğrencilerin duygusal değişikliklerini kaydetmek ve analiz etmek için yapay zeka kameraları kullanan bir sistem geliştirdiler. Öğrencilerin ne zaman dolaşmaya başladığını bilmekle kalmayıp, aynı zamanda tüm sınıfta her öğrencinin "zihin yolunu" da görebiliyorlar. kurs ".
Birçok kişi, AI'nın sınıfta tamamlayabileceği izleme görevlerine alıştı.
"Bir profesör dersten sonra bilgisayarını kontrol etti. Bir yazılım yardımıyla sınıf boyunca öğrencilerin duygusal değişimlerini görebiliyordu. 30 dakikalık dersten sonra öğrencilerin çoğu ilgisini kaybetti ve uzaklaşmaya başladı. Muhtemelen konudan bahsettiği zamandı. Bu yüzden profesör, gelecekte konunun dışına çıkmamamı hatırlatmak için kendime bir not yazdı. "
Gerçekte çoğu sınıf böyle değildir, ancak teknolojinin gelişmesiyle bu tür senaryolar giderek daha yaygın hale gelecektir.
Yakın zamanda, "Görselleştirme ve Bilgisayar Grafikleri Üzerine IEEE İşlemleri" başlıklı sınıf izleme teknolojisi üzerine bir makale yayınlandı. Makalede, Hong Kong Bilim ve Teknoloji Üniversitesi, Harbin Mühendislik Üniversitesi ve diğer kurumlardan araştırmacılar EmotionCues adlı bir sistem önerdiler. Sistem esas olarak öğrencilerin yüz ifadelerinin nasıl kaydedileceği ile ilgilenir ve buna dayanarak öğrencilerin sınıftaki duygusal değişimlerini ve konsantrasyonunu analiz eder.
Yazarlardan biri ve Hong Kong Bilim ve Teknoloji Üniversitesi'nde bir bilgisayar profesörü olan Qu Huamin, bu sistemin "öğretmenlerin sınıfa öğrenci katılımını ölçmeleri için daha hızlı ve daha uygun bir yol sağladığını" söyledi.
Bu araştırmanın asıl amacı "iyi niyettir" : Sınıftaki öğrencilerin duygusal geri bildirimlerini izlemek ve öğrencilerin ne zaman sıkılmaya başladıklarını ve dikkatleri daha yoğunlaştığını yargılamak için sisteme güvenmek, böylece öğretmenlere sınıf içeriğini nasıl iyileştireceklerini ve öğretim kalitesini nasıl iyileştireceklerini hatırlatmak.
Araştırma ekibi, önerilen sistemi iki sınıfta test etti: Bir sınıf, bir grup üniversite öğrencisini temsil eden Hong Kong Bilim ve Teknoloji Üniversitesi öğrencileriydi; diğer sınıf, Japonya'da bir grup genç öğrenciyi temsil eden bir anaokuluydu.
Test, bu görsel analiz sisteminin, öğrenmeye olan ilgi kuvvetli olduğunda haz duygusu gibi "bariz duyguları" tespit etmede daha iyi olduğunu buldu. Ancak sistem, öfke veya üzüntü gibi ifadeleri yorumlama yeteneğinden hâlâ yoksundur. . Öğrenciler sadece derin düşündükleri için kaşlarını çatarak sınıfın içeriğine konsantre olabilirler, ancak sistem tarafından kolayca "öfke" olarak yorumlanabilirler.
Sistem iş akışı
Aşağıdaki Şekil 2, iki aşama dahil olmak üzere tüm sistemin iş akışını göstermektedir: veri işleme ve görsel keşif.
şekil 2.
Veri işleme
İlk aşama, bir dizi ham veriyi işlemek ve yüz algılama, yüz tanıma, duygusal tanıma, özellik çıkarma ve diğer adımlar dahil olmak üzere duygusal bilgileri çıkarmak için bilgisayarla görme algoritmalarını kullanmaktır.
Yüz algılama adımında araştırmacı, her bir örnek çerçevedeki yüzleri tespit etmek için MTCNN'yi (Çok Görevli Kademeli Evrişimli Ağ, yüzlerin ve Yer işaretlerinin konumunu tahmin etmek için kullanılan derin evrişimli bir ağ) kullanır.
Yüz tanıma aşamasında, genel yüz karşılaştırma yöntemi görüntüyü vektörleştirmektir. Araştırmacılar, yüz görüntülerinden kompakt Avrupa alanlarına kadar haritalamayı doğrudan öğrenebilen facenet'i (yüz tanımada daha eksiksiz bir derin öğrenme modeli) kullandılar.
Duygu tanıma aşamasında, araştırmacılar sezgisel ve anlaşılır düşünceler için sınıflandırma modelini kullanmayı seçtiler. FER 2013 veri setini kullanarak bir CNN modeline (ResNet-50) ince ayar yaptılar. Bu veri seti, yüz ifadesi tanıma için yaygın olarak kullanılmaktadır.
Duygu tanımanın çok doğru olmayabileceğini düşünen araştırmacılar, bazı etkileyici faktörleri (yüz boyutu, kapanma, görüntü çözünürlüğü, aydınlatma vb.) Seçti ve öğrencileri yargılamak için bunları sisteme görsel olarak kodladı. Duygusal durumları.
Bu etkileyen faktörler, sistem duyarlılığı analizinde önemli bir rol oynayabilir. Örneğin, kameradan uzakta yüzü videoda daha küçük bir alanı kaplayan bir kişinin yanlış tanımlanma olasılığı daha yüksektir. Buna ek olarak, bir kişinin yüzü başkaları tarafından sık sık gizleniyorsa, sistemin yanlış yargılanma riski de yüksektir. Araştırmacılar, bu faktörleri sistem analizi sürecine entegre ederek sistem performansını iyileştirmek için daha zengin etkileşimli işlevler sağladı.
Etkileşimli görme sistemi
İkinci aşama, beş ana gerekliliğe dayalı etkileşimli bir görsel sistem tasarlamaktır (ayrıntılar için makaleye bakın) Sistem, öğrencinin genel duygusal gelişimi ve bir öğrencinin bireysel duygusal gelişimi dahil olmak üzere, sınıf video görsel analizinin iki parçalılığını destekleyebilir.
Araştırmacılar, aşağıdaki Şekil 3'te gösterildiği gibi, Vue.js ön uç çerçevesine ve Flask arka uç çerçevesine dayalı web tabanlı bir sistem uyguladılar. Sistem üç ana görünüm içerir: özet görünüm (Şekil 3a-b); karakter görünümü (Şekil 3c) ve video görünümü (Şekil 3d).
3. resim
Öğretmenlere öğrencilerin duygusal değişimlerinin genel durumunu sağlamak çok önemlidir, bu nedenle araştırmacı öğretmenlerin öğrencilerin duygularının statik ve dinamik evrim verilerini görmelerine izin vermek için bir özet görünüm tasarladı. Şekil 3 (a), öğrencinin duygusal dağılımını (statik özet) göstermek için kullanılan öğrencinin duygusal profilini gösterir; Şekil 3 (b) öğrencinin duygusal değişim eğrisini (dinamik özet) gösterir.
Karakter görünümü, portre sembolü aracılığıyla seçilen hedef karakterin duygusal durumunu görsel olarak ifade eder. Farklı duygusal portreler arasındaki farklılıklar, kullanıcıların farklı insanların özelliklerini tanımasına ve karşılaştırmasına olanak tanır. Aşağıdaki Şekil 5'te gösterildiği gibi, araştırmacılar tasarımda özelleştirilmiş bir pasta grafik kullandılar:
Şekil 5: Duygusal değişikliklerin görsel anlatımı.
Bu özelleştirilmiş pasta grafik tasarımı sayesinde kullanıcılar, ayrıntılı duygusal bilgileri ve ilgilerini çeken faktörleri kolayca gözlemleyebilirler. Aynı zamanda, ekran anlık görüntü işlevi, farklı kişiler arasındaki duygusal bilgileri karşılaştırmayı kolaylaştırır. Kullanıcılar ayrıntılı bilgileri görüntülemek isterlerse, görüntülemek için ilgilendikleri anlık görüntüye tıklayabilirler. Bir anlık görüntü örneği, karakter görünümünün sol tarafındadır (Şekil 3c).
Sistemde araştırmacı, kullanıcıların video görünümünde göz atmaları için orijinal videoyu sağladı (Şekil 3d). Aynı zamanda, kullanıcı videoyu farklı hızlarda oynatabilir ve kullanıcı videoyu duraklattığında, her karede karşılık gelen yüz vurgulanır. Kullanıcılar ayrıca duygusal akış gözlemlerine dayanarak daha fazla keşif ve madencilik için ilgi alanlarını seçebilirler.
Öğretimi "geliştirmek" mi yoksa öğretimi "izlemek" mi?
Bu araştırmanın asıl amacı, öğretim görevlilerinin öğrencilerden geri bildirim almalarına ve öğretim kalitesini artırmalarına yardımcı olmaktır. Ama gerçekler beklendiği gibi olabilir mi?
Duyguları video kayıtlarına göre analiz etmeye kıyasla, ev sınıflarında daha da abartılı "akıllı saç bantları" var.
Jinhua, Zhejiang'daki bir ilkokuldaki bir sınıfta, koltuktaki her öğrenci "altın çember" şeklinde siyah bir kafa bandı takar. Odaklanırken kırmızı ışıkla yanar ve dikkati dağıldığında mavi ışıkla yanar. Bu dikkat puanı her 10 dakikada birdir. Bunu öğretmenin bilgisayarına bir kez gönderin ve okul dışındaki ebeveynlerin çocuklarının sınıf durumunu takip edebilmesi için WeChat ebeveyn grubu ile senkronize edin.
Ancak bu tür bir kafa bandı veya bu tür bir sınıf izleme teknolojisi, birçok şüpheyle karşı karşıyadır. Örneğin, etik sorunlar: Sınıfta öğrencilerin kişisel duygularını açığa çıkararak öğretmenlerin sınıfa kimin odaklandığını veya odaklanmadığını bilmelerini sağlar. Bu, öğrencilerin mahremiyetini içerir.
Ayrıca 40 dakikalık bir kursta öğrencilerin dikkatinin tam konsantrasyonunu sürdürmesi imkansızdır.Öğrencilerin dikkatini sürekli izlemek ve herhangi bir dikkatsizlik davranışını düzeltmek anlamsızdır.
Öte yandan, bu tür bir izleme sistemi öğretmenlerin ve öğrencilerin dikkatini dağıtabilir, çünkü içindeki insanlar "her zaman kendilerine bakan" bir çift gözleri olduğunu hissedeceklerdir. Altın bir çember takıyorsa, bu duygu daha belirgin hale gelecektir. Bu gerçek zamanlı izlenme duygusu, sınıf katılımcılarının düşüncelerinin özgürce ifade edilmesini bir ölçüde etkileyecektir.
Referans bağlantısı:
https://spectrum.ieee.org/the-human-os/biomedical/devices/ai-tracks-emotions-in-the-classroom
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=arnumber=8948010
-Bitiş-
Tsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " THU Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.
