AAAI 2020 | Çin Bilim ve Teknoloji Üniversitesi: Akıllı eğitim sisteminde nörobilişsel tanı, verilerden etkileşimli işlevleri öğrenme
Yazar | Chen Enhong ve Liu Qi Ekibi
Editör | Camel
Bu makale, Çin Bilim ve Teknoloji Üniversitesi'nden Chen Enhong ve Liu Qi'nin ekibi tarafından tamamlanan ve AAAI-20 tarafından kabul edilen "Akıllı Eğitim Sistemleri için Sinirsel Bilişsel Tanı" makalesini açıklamaktadır.
Makaleye bağlantı: https://arxiv.org/abs/1908.08733v1
Bilişsel tanı ve bilgelik eğitimi
Eğitim, oyun rekabeti ve tıbbi teşhis gibi birçok gerçek hayat senaryosunda, bilişsel teşhis çok gerekli ve temel bir görevdir ve en çok akıllı eğitim senaryolarında kullanılır. Akıllı eğitim, büyük veri ve yapay zeka çağının gelişmesiyle ortaya çıkan yeni bir eğitim türüdür.Öğretimi daha verimli ve akıllı hale getirmek için bilgisayar rehberliği ve çevrimiçi öğretimi kullanır ve öğrenciler özerk ve kişisel olarak öğrenirler.
Bilgelik eğitiminde bilişsel teşhis, öğrencilerin mevcut bilgi durumunu çıkarmak için öğrenci davranış kayıtlarını (genellikle cevap kayıtları) ve test sorusu bilgilerini (test metni gibi) toplayarak. Örneğin Şekil 1,
Şekil 1 Bilişsel tanı örneği
Öğrenci pratik yapmak için bazı soruları seçer ve karşılık gelen cevap kaydını alır.Her soru belirli bilgi noktalarını içerir.Kognitif tanı teknolojisi sayesinde, öğrencinin her bilgi noktasında ustalığı elde edilir. Örneğin, öğrenci soruyu doğru cevaplamış ve "Trigonometrik Fonksiyon" bilgi noktası dahil edilmiş, böylece öğrencinin yüksek derecede "Trigonometrik Fonksiyon" bilgisine sahip olduğu (örneğin, 0.8) teşhis edilmiş raporun radar grafiğine yansıtılmıştır. Mavi çizgi dışarıya yakın. Bilişsel tanı sonuçları, eğitimsel kaynak önerisi, öğrenci performans tahmini ve çalışma grubu gruplaması gibi takip eğitim uygulamalarında kullanılabilir.
arka fon
Bilişsel tanı yeni bir kavram değildir, eğitim psikolojisi alanında onlarca yıldır geliştirilmiştir. Eğitim psikolojisi ile ilgili araştırmalar arasında, madde tepki teorisi (Madde Tepki Teorisi, IRT) ve DINA (Belirleyici Girdi, Gürültülü Ve) modeli en klasik iki çalışma türüdür. IRT modelinde, her öğrenci ve test sorusu tek boyutlu bir sürekli değişkenle ( ve olarak gösterilir) temsil edilir, burada öğrencinin kapsamlı yeteneğini ve testin genel zorluğunu temsil eder. Öğrenciler ve test soruları arasındaki ilişki Sigmoid işlevi kullanılarak modellenmiştir.Basit bir IRT yanıt işlevinde, öğrencinin j test sorusunu doğru yanıtlama olasılığı şöyledir:
DINA modelinde, her bir öğrenci ve test sorusu ayrı bir vektörle temsil edilir ( ile ), test sorusu karakterizasyonu nerede Doğrudan Q matrisinin ilgili satırından alınır ve soruda bulunan bilgi noktalarını gösterir. Burada Q matrisi, manuel olarak etiketlenmiş bir test sorusu-bilgi noktası ilişkilendirme matrisidir. Her satır bir test sorusuna karşılık gelir ve her sütun, aşağıdakiler dahil önceden tanımlanmış bir bilgi noktasına karşılık gelir:
DINA modelinde, öğrenci i ile test sorusu j arasındaki ilişki şu şekilde modellenmiştir:
Soruyu tahmin etme olasılığı nerede ve hata olasılığıdır. İşlev, öğrencilerin test sorularını doğru yanıtlamaları gerektiği, test sorularının gerektirdiği tüm bilgi noktalarında ustalaşmaları ve hata yapmamaları gerektiği varsayımına dayanmaktadır, aksi takdirde yalnızca olasılıkla doğru soruyu tahmin edebilirler.
Takipte birçok iyileştirme olmasına rağmen, genel olarak, uzmanlar öğrenciler ve test soruları arasındaki etkileşim işlevini tasarlar (IRT'deki Sigmoid işlevi gibi) ve bazı varsayımlara dayanarak gerçek sahneyi basitleştirir.Bu yaklaşım sadece bir işlev tasarımı değildir. Zaman alıcı ve yoğun emek gerektirir ve basitleştirilmiş işlevin öğrenci ile test soruları arasındaki gerçek ve karmaşık ilişkiyi doğru bir şekilde yakalamak zordur. Bu nedenle, öğrenciler ve test soruları arasındaki karmaşık ilişkiyi otomatik olarak modellemenin bir yolunu bulmak çok gereklidir. Buna ek olarak, geleneksel yöntem yalnızca öğrenci testi sorularından oluşan sayısal matrisi işleyebilir ve test sorularının metni gibi heterojen bilgileri modelleyemez. Bitirmek için İyi araştırma noktası.
Son yıllarda öğrenci modellemesi için derin öğrenme yöntemlerini kullanan çalışmalar yapılmaktadır. DKT (Derin Bilgi İzleme) tarafından temsil edilen çoklu bilgi izleme görevleri, öğrencilerin bilgi durumundaki dinamik değişiklikleri izlemeyi amaçlar. Bununla birlikte, bu görevler ile bilişsel tanı arasındaki en büyük fark, ana hedeflerinin, öğrencilerin her soruyu bir sonraki anda doğru cevaplama olasılığını tahmin etmektir.Çoğu görev, test soruları ile içerdikleri bilgi noktaları arasında kesin bir ayrım yapmaz, bu nedenle bilişsel tanıları yoktur. Gerekli yüksek derecede yorumlanabilirlik, doğrudan bilişsel tanı için uygun değildir.
Bu bağlamda, özlü formlar aracılığıyla oldukça etkili ve son derece yorumlanabilir evrensel bilişsel tanı çerçevelerinden oluşan bir sınıf tasarlamak için sinir ağlarını kullanmayı umarak bir Sinirsel Bilişsel Tanı (NeuralCD) çerçevesi öneriyoruz. Yapay tasarım yerine verilerdeki öğrenciler ve test soruları arasındaki etkileşim işlevini öğrenin. Ve sinir ağlarının çeşitli alanlardaki başarısı sayesinde, çerçeve, modelin öğrenme yeteneğini geliştirmek için test metinleri gibi heterojen verileri kullanabilir.
Sinir ağına dayalı bilişsel tanı
1. Problem tanımı
Bir öğrenme sisteminde N öğrenci, M testi sorusu ve K bilgi noktası olduğunu varsayalım. Öğrenci koleksiyonu, test sorusu toplama, bilgi noktası toplama. Öğrencinin cevap kaydı, öğrencinin test sorusundaki puanı (bir yüzdeye dönüştürülmüş) olan üçlü bir set olarak ifade edilebilir. Ek olarak, test sorularını bilgi noktalarıyla ilişkilendiren bir Q matrisi vardır (örneğin, öğretim ve araştırma uzmanları bunları önceden işaretler).
Öğrencinin cevap kaydı ve Q matrisi göz önüne alındığında, bilişsel teşhisimizin görevi, öğrencinin cevap tahmini süreci yoluyla öğrencinin her bilgi noktasında ustalığını elde etmektir.
2. Nörobilişsel teşhis çerçevesi
Bilişsel teşhis için sinir ağlarını kullanmak kolay değildir.Başlıca nedenlerinden biri, yaygın olarak eleştirilen "kara kutu" özelliğidir, yani model parametrelerinin yorumlanması zordur ve bilişsel teşhis, öğrencilerin çeşitli bilgi noktalarında ustalaşmalarını gerektirir. Bu aşılması gereken bir engeldir. Sinir ağı aynı zamanda yeni fırsatlar da getiriyor.Güçlü uydurma yeteneği, verilerden daha karmaşık ve gerçekçi etkileşim fonksiyonlarını öğrenmesini sağlıyor ve sinir ağının doğal dil işlemedeki başarısı da test metnini yapıyor. Bilişsel tanıya başvurmak mümkündür.
Neredeyse tüm geleneksel bilişsel tanı yöntemleri üç bölümden oluşur: öğrenci parametreleri, test parametreleri ve öğrenci-test etkileşim fonksiyonları.Rasyonellikleri birçok çalışma ile doğrulanmıştır.Bu nedenle, nörobilişsel tanı çerçevesi NeuralCD de bu yöntemi kullanır. Yapısı şekilde gösterilmiştir. 2:
NeuralCD, bilişsel tanıyı üç bölüme ayırır: öğrenci faktörleri, test sorusu faktörleri ve etkileşim fonksiyonları (şekilde farklı renklerle işaretlenmiştir). En temel öğrenci faktörü, bilgi noktası yeterlilik vektörüdür ve test sorusu faktörleri, temel bilgi noktası korelasyon vektörünü ve diğer isteğe bağlı faktörleri (test sorularının zorluğu, ayrımcılık derecesi vb.) İçerir. Etkileşim işlevi, geleneksel yöntemlerden en büyük farkı olan çok katmanlı bir sinir ağından oluşur. NeuralCD'nin girdisi, öğrencilerin tek sıcak vektörü ve cevap kaydındaki test sorularıdır ve çıktı, öğrencilerin testi cevaplama olasılıklarıdır.
Eğitimden sonra elde edilenin açıklayıcı niteliğini sağlamak için (yani, her boyut, öğrencilerin ilgili bilgi noktalarına hakimiyetine karşılık gelir), aşağıdaki kısıtlamaları yaparız:
1. Girdi katmanının içermesi gerekir ("", elemanla çarpma anlamına gelir), bu, her bir boyutu, içindeki karşılık gelen boyutun bilgi noktasına karşılık gelen yapmaktır;
2. Çok katmanlı sinir ağını kısıtlamak için "monotonluk varsayımını" kullanın. Monotonluk hipotezi eğitim psikolojisi yöntemlerinde yaygın olarak kullanılan bir hipotezdir.İçeriği şudur: Öğrencilerin test sorularını tekdüze yanıtlama olasılığı, öğrencinin herhangi bir tek boyutlu bilgi noktasının yeterliliği ile artar (tam anlamıyla tekdüze değil). Diğer bir deyişle eğitim sürecinde modelin öngörülen değeri gerçek puandan düşükse öğrencinin ortanca değerinin artırılması gerekir, aksi takdirde medyan değeri azalır. Ve belirli ayarlamadaki hangi boyutlar kontrol edilir.
3. Nöral Bilişsel Tanı Modeli (NeuralCDM)
NeuralCD çatısı altında bir model uygulaması yaptık ve yapısı Şekil 3'te gösterilmiştir:
Öğrencinin bilgi noktası yeterlilik vektörü (yukarıda belirtilene karşılık gelir) özellikle buradadır, burada öğrencinin tek sıcak vektörü ve tüm öğrencilerin yeterlilik matrisidir. Test sorusu faktörlerinde yer alan bilgi noktası alaka vektörü (yukarıda belirtilene karşılık gelir), özellikle test sorusunun tek sıcak vektörü olan yapay olarak etiketlenmiş Q matrisinden doğrudan alınır; ayrıca, test sorusunun bilgi noktası zorluk vektörü, her bilgi için test sorusunun bilgi noktasını temsil etmek için kullanılır. Nokta incelemesinin zorluğu ve test sorularının ayrımcılık derecesi, test sorularının farklı seviyelerdeki öğrencileri ayırt etme yeteneğini gösterir. A, B ve D, veriler aracılığıyla öğrenilen eğitilebilir parametrelerdir. Bu şekilde, çok katmanlı sinir ağının giriş katmanı:
NeuralCDM, modelin karmaşıklığını değil, NeuralCD'nin etkinliğini doğrulamak için araştırır, bu nedenle etkileşim işlevi, en yaygın çok katmanlı, tam bağlantılı katmandan oluşur. Monotonluk varsayımını karşılamak için, her katmanın ağırlığını pozitif (kısmen 0) olacak şekilde sınırlandırıyoruz, böylece yeterlilik vektörünün medyan değerinin ayarlama yönü, çıktı öngörülen değerinin değişim yönü ile tutarlıdır. Son olarak, tahmin edilen değerin çapraz entropisi ve gerçek puan eğitim sırasında kullanılır:
Eğitimden sonra, öğrencinin karşılığı öğrencinin tanı sonucudur ve her boyut öğrencinin bilgi puanındaki ustalığına karşılık gelir (aralık (0, 1)).
4. NeuralCD'yi genişletmek için test sorularının metnini kullanın
Test sorusu metni ve test sorusu bilgileri birbiriyle çok ilişkilidir, örneğin, Ölçek Sorunun zorluğu, ayrımın derecesi, bilgi noktaları vb. Burada tüm korelasyonları tartışmayacağız, ancak NeuralCD'nin ölçeklenebilirliğini göstermek için bunlardan birini seçeceğiz.
NeuralCDM'de ve bazı geleneksel yöntemlerde (DINA gibi), test soruları ve bilgi noktaları arasındaki ilgili bilgiler Q matrisi aracılığıyla elde edilir. Bununla birlikte, yapay olarak etiketlenmiş Q matrisi kaçınılmaz olarak öznel ve hatta yanlıştır. Örneğin, denklem çözme problemi için, uzmanlar yalnızca ana test noktası olan "Denklem" i işaretleyebilir, ancak çarpma ve bölme bilgi noktalarını göz ardı edebilir. Ve test sorularının metni aracılığıyla, bu bilgi noktasını tamamlayabilecek "÷" bölme sembolünü içerdiği bulunmuştur. Buna dayanarak, NeuralCDM + olarak adlandırılan NeuralCDM'yi genişletmek için test sorusu metnini kullanıyoruz, yapısı Şekil 4'te gösterilmektedir:
Önce bir evrişimli sinir ağını (CNN) önceden eğittik, test sorusuyla ilgili bilgi noktalarını tahmin etmek için test sorusu metnini girdik ve tahmin sonucu olarak Top-k bilgi noktası setinin çıktısını aldık.
Sonra, Q matrisini kullanacağız Birleştirmek Optimize edilmiş olanı almak için. Bir sorudaki her bilgi noktasının alaka düzeyini ifade etmek için aşağıdaki kısmi sıra ilişkisini kullanın:
Bunun nedeni, yapay olarak etiketlenmiş Q matrisinin bazı eksiklikleri olmasına rağmen, yine de yüksek derecede güvenilirliğe sahip olmasıdır, bu nedenle Q matrisinde etiketlenen bilgi noktalarının büyük olasılıkla yüksek derecede bir korelasyona sahip olmasıdır. Ne etiketlenmiş ne de tahmin edilmiş bilgi noktaları soruyla ilgisiz kabul edilir. Bu kısmi düzen ilişkisini elde etmek için olasılıklı bir model kullanıyoruz ve sonunda NeuralCDM yerine metin tahmini ile desteklenen bilgi noktası korelasyon matrisini elde ediyoruz.
5. NeuralCD'nin Genelleştirilmesi
NeuralCD, güçlü bir genellemeye sahip bir bilişsel tanı çerçevesidir.Bazı geleneksel bilişsel tanı modelleri, NeuralCD'nin özel durumları olarak kabul edilebilir (matris çarpanlara ayırma, IRT, MIRT, vb.). Örneğin, IRT ve NeuralCD arasındaki ilişki aşağıdaki Şekil 5'de özetlenebilir,
NeuralCD çok boyutludan tek boyutluya dejenere edilirse, bilgi korelasyon vektörü 1'e sabitlenir ve sinir ağı tarafından oluşturulan etkileşim işlevi tek bir Sigmoid işlevine dejenere olur, model IRT'ye dönüşür. Diğer örnekler ve özel türetmeler için lütfen makaleye bakın.
Deney
Deney, iki veri seti üzerinde gerçekleştirildi. Bunlardan biri, iFlytek'in çevrimiçi öğrenme platformu Zhixue.com tarafından sağlanan ve birden çok lisenin final sınav sorularını, metinlerini ve cevap kayıtlarını içeren Math özel veri kümesidir. Diğeri, matematik testi sorularını ve öğrenci cevap kayıtlarını içeren genel veri seti ASSISTment 2009-2010 Skill-Builder'dır. İkincisi test sorularının metnini sağlamadığından, NeuralCDM + bu veri seti üzerinde deneyler yapmadı.
1. Öğrenci cevap tahmini
Öğrencilerin gerçek bilgi yeterlilik etiketleri mevcut olmadığından, tanı sonuçlarının doğruluğunu ölçmek için dolaylı bir yöntem benimsiyoruz, yani öğrencinin eğitim dışı verilerdeki test sorularındaki puanını tahmin etmek için öğrencinin tanı sonuçlarını kullanıyoruz ve bu da geleneksel bir bilişsel tanıdır. Modelin normal uygulaması. Deneyin sonuçları Tablo 1'de gösterilmektedir. NeuralCD modelimiz, iki veri setindeki geleneksel modele göre daha büyük bir gelişme kaydetmiştir.
2. Yorumlayıcı önlemler
Öğrencinin teşhis sonuçlarının sezgisel beklentileri karşılayacağını umuyoruz: eğer öğrenci bilgi puanlarını içeren soruları doğru cevaplarsa, ancak öğrenciler doğru cevap vermezse, o zaman öğrencinin bilgi puanlarına hakim olma olasılığı bundan daha muhtemel olmalıdır. Bu amaçla, bu açıklayıcı niteliği ölçmek için DOA kullanıyoruz (DOA ne kadar yüksekse, beklentilerle o kadar uyumludur):
Normalleştirme terimi nerede? Aksi takdirde. = 1 test sorusu bilgi puanları içeriyorsa; aksi takdirde. Hem öğrenci hem de öğrenci test sorularını yanıtladıysa; aksi takdirde.
Model tanı sonuçlarındaki her bilgi noktasının ortalama DOA değerini hesaplayın ve her modelin sonuçları Şekil 6'da gösterilmektedir:
(a) (Karşılaştırmalı değerlendirme modelinin bir kısmı yapılmaz çünkü öğrenci vektörü bilgi noktasına karşılık gelmez). (b) ASSIST veri setinde bir öğrencinin tanı sonucunun bir örneğidir.
Üst kısım, 3 test sorusunun Q matrisidir ve bunlara karşılık gelen gerçek cevap sonuçlarıdır.Alt kısımdaki çubuk grafik, öğrencinin her bilgi noktasındaki teşhis yeterliliğini gösterir.Veri noktaları, 3 soruda yer alan bilgi noktalarını temsil eder. Araştırma zorluğu. Teşhis sonucunda, öğrencilerin bilgi puanlarındaki ustalıkları test sorularının gerekliliklerini aştığında, test sorularını doğru yanıtlama olasılıkları daha yüksektir. Örneğin, 2. test sorusu "Tam Sayıları Topla" ve "Mutlak Değer" olmak üzere iki bilgi noktasını içerir ve zorluk sırasıyla 0,47 ve 0,48'dir ve öğrencinin bu iki bilgi noktasındaki ustalığı sırasıyla 0,77 ve 0,56'dır, bu da zorluğu aşar Talep, yani soru doğru cevaplandı. Teşhisin sonucu sağduyu ile tutarlıdır.
Sonuç
Akıllı eğitimin yükselişiyle birlikte, bilişsel teşhis çok değerli bir görev haline gelecektir. Geleneksel bilişsel tanı yöntemleri artık mevcut çok disiplinli, büyük veri hacmi ve heterojen veri türü senaryolarına uyarlanmamaktadır. Bilişsel teşhis için sinir ağlarının kullanılması, keşfetmeye değer bir yöndür. Bu makale hala bir ilk araştırmadır ve teori ve model yapısında iyileştirilmesi gereken ve gelecekteki çalışmalara bırakılan birçok alan vardır.
Makalenin NeuralCDM kodu https: // github'da yayınlandı .com / bigdata-ustc / NeuralCD, ekibin Akıllı Eğitim Araştırma Grubu'nun ana sayfası: http : //base.ustc.edu .cn /.
