Rochester Institute of Technology: Dil kavramlarının vaka çalışması için analiz ve görselleştirme araçları
EMNLP 2017 Sistem Gösterileri
Dil kavramlarının vaka çalışması için bir analiz ve görselleştirme aracı
Dilbilimsel Kavramların Vaka Çalışması Öğrenimi için Bir Analiz ve Görselleştirme Aracı
Rochester Teknoloji Enstitüsü
Rochester Teknoloji Enstitüsü
Özet Hesaplamalı dilbilim kaynaklarını teknik olmayan lisans dil bilimi derslerine entegre eden bir eğitim aracı sağlıyoruz. Öğrencilere dil kavramlarını anlama ve gerçek problemler perspektifinden analiz etme fırsatı vermenin pratik yollarını sağlamak için bu aracı kanıta dayalı öğretim vaka çalışmaları ile birleştirmeyi taahhüt ediyoruz. Vaka çalışmaları genellikle hukuk, iş ve sağlık eğitimi ortamlarında kullanılır, ancak dilbilimin öğretim ve öğreniminde nadiren kullanılırlar. Bu makalede tanıtılan yöntemler, farklı eğitim geçmişlerine sahip öğrencileri hesaplamalı dil analizi kurslarına devam etmeye teşvik etmeye de yardımcı olur.
1. Giriş
Hesaplamalı dilbilim topluluğu, dil girdisinin yapısı ve anlamı ile ilgili dil analizi için mevcut yazılım kaynakları sağlar. Bu araçlar ve modeller, araştırma ortamlarında yaygın olarak kullanılmasına ve hesaplamalı dilbilim öğretiminde uzun süredir kullanılmasına rağmen (Meurerset diğerleri, 2002; Baldridge ve Erk, 2008), aynı zamanda hesaplamalı olmayan dilbilimini de geliştirebilirler. öğretme yöntemi.
Öğrencilere, ders kitaplarında ve sınıf tartışmalarında karşılaşılan dil kavramlarıyla aktif olarak yüzleşebilmeleri için (veya öğrenmeyi teşvik etmek için ek materyaller olarak) aktif olarak ders çalışma fırsatı sağlamayı amaçlayan bir eğitim yeniliği önerdik. Ve yöntemler, öğrenmenin uygulamalı doğasını vurgulayan ve pratikte dil bilimini uygulama. Hesaplamalı dilbilim yazılım kaynakları, bilgi işlem, hesaplamalı dilbilim, kurslar veya benzer ortamlarda bilgi edinmeyi bekleyen teknoloji meraklısı kullanıcılar için tasarlanma eğilimindedir. Genellikle bilgisayar programlamanın ve hesaplamalı dilbilimin ilkeleri ve yöntemleri hakkındaki teknik ayrıntıları bilmeleri gerekir. İnternet dili külliyat kaynakları olmasına rağmen, potansiyel kullanıcıların etkileşimi, uzmanlar arası öğrencilere hesaplamalı dilbilime dayalı yönetim ve geliştirme modelleri sağlamak yerine, genellikle "anahtar kelime bağlamı" arama ve arama işlevleri gibi nispeten basit yapısal modellerle sınırlıdır. Değerlendirme ve kritik analiz yetenekleri.
Şekil 1 Linguine'nin etiket tabanlı arayüzü, üç tam analiz sayfası gösterir
Linguine (demo: tinyurl.com/ritlinguine), kullanıcı dostu bir arayüze sahip web tabanlı bir araçtır (Şekil 1), dil bilimi dersleri öğretmek için uygundur (github.com/ritlinguine). Kullanıcılara bir dizi dil yapısını inceleme ve yazılı dilde anlamsal kalıplar girme yeteneği sağlamak için açık alanda doğal dil işlemeyi kullanır.
Linguine'nin motivasyonları şunları içerir: (1) Bilgisayar kullanmayan öğrencilerin lisans dilbilimi derslerinde hesaplamaya dayalı dil analizini kullanmalarını kolaylaştırın; (2) Dil bilgi analizi için pratik ve biçimlendirilmiş fırsatlar sağlayın; (3) Öğrencilere, kullanıcı dostu analiz yapma ve otomatik işlemenin sonuçlarını görsel olarak görüntüleme konusunda rehberlik ederek yorumlamalarını kolaylaştırın. Bu nedenle, dilbilim, öğretim amaçlarının ve görsel analizin eşleştirilmesinde CLARINO dil analiz portalı (Lapponi ve diğerleri, 2013) gibi kaynaklarla çelişir. Linguine, daha geniş bir dil analizi işlevleri yelpazesi sağlayabilir.
Bu çalışmanın ana yeniliği, bu aracın uygulamasını eşleştirmek ve vaka çalışmalarını dil bilimi için aktif bir öğrenme aracı olarak kullanmaktır. Vaka çalışması görevinin öğrencileri, gerçek dünyadaki dil problemleri için kanıta dayalı çözümler ve öneriler ararlar. Ayrıca sözlü ve yazılı iletişimde öğrencilerin analizlerini, önerilerini ve yorumlarını geliştirmeye kararlıdırlar. Vaka çalışması yöntemi, işletme ve hukuk alanlarında tanınan bir öğrenme aracı olmasına rağmen, dilbilim derslerinde yaygın olarak kullanılmamaktadır. Bu yöntem, geleneksel dilbilimsel kavramları öğretmek ve analiz etmek için kullanılan standart yöntemden farklıdır. Dilbilimsel işlevler ve görselleştirme desteği, durumsal sorunların çözümünü ve vaka analizini kullanabilen pratik eleştirel düşünceyi destekler. Vaka çalışması yöntemini kullanarak, öğrencilerin toplumdaki sorunları çözmek için dili kullanma deneyimlerini geliştirmeye çalışın. Öğrenciler ayrıca dil teknolojisinin sınırlamaları ve potansiyel faydaları konusundaki anlayışlarını da geliştirebilirler.
Bu makale esas olarak Linguine'yi ve dil biliminde vaka çalışması pedagojisini nasıl kullandığını tanıtmaktadır. Linguine sistemi ile ilgili vaka çalışması modellerinin faydasına ilişkin içgörüler sağlamak için öğrenci anketlerini ve öğretmen gözlemlerini raporluyoruz.
2 Linguine ile dilbilim öğrenin
Linguine, eğitim amaçlı tasarlanmış bir web uygulamasıdır. Dil tabanlı analiz gerçekleştirmek için önceden yüklenmiş varsayılan veya özel yüklenmiş düz metin ile etkileşime izin veren kullanımı kolay bir arayüz sağlar. Şekil 1, sonuç analizinin seçilmesi için arayüzü göstermektedir. Linguine, analiz işlevleri için doğal dil işlemeyi gerçekleştirmek için NLTK (Bird ve diğerleri, 2009), Stanford CoreNLP (Manning ve diğerleri, 2014) ve SPLAT [ dahil olmak üzere çok sayıda mevcut kaynağı devralır, Ve web teknolojisi NodeJS [https://nodejs.org/en/about/https://nodejs.org/en/about/] ve d3 [https://d3js.org/]. Linguine'i ayıran bazı yönler, sınıf etkinlikleri ve aktif öğrenmeye odaklanması ve makine işleme sonuçlarını sezgisel görselleştirmelere dönüştürme becerisidir. Görselleştirme, sözdizimsel ağacın cümle cümle gösterimi, veri özet tabloları, sıralı açıklamaları görüntülemek için araç ipuçları ve metinde renkli işaretleme dahil olmak üzere gerçekleştirilen analize dayanır. Kullanıcılar, sonuçları araç içinde yapılandırılmış bir sunumla kontrol edebilir. Ayrıca, kullanıcıların gerekli bağlamda çevrimdışı analiz gerçekleştirmesi için sonuçlar JSON formatında indirilebilir.
Şekil 2 Linguine çerçevesine genel bakış. Noktalı çizgi, metin yüklemesini gösterir. Kesintisiz çizgi, analiz oluşturmayı temsil eder. NodeJS, kullanıcının analiz talebini veri tabanındaki metni bulan, analiz yoluyla ön işleme gerçekleştiren ve işlenen metni analiz için uygun çerçeveye gönderen Python'a iletir. Oluşturulan analiz daha sonra kullanılmak üzere saklanır. NodeJS, uygun görselleştirmeyi oluşturur.
Şekil 2, yaygın Linguine bileşenleri arasındaki veri akışını gösterir. Mimari, NodeJS sunucusu ve MongoDB (https://www.mongodb.com/) veritabanı ile etkileşime giren bir Python sunucusundan oluşur. Bu bileşenler, RHEL7 sanal makinesinin sistem hizmetleri olarak çalışır. Python sunucusu, NodeJS sunucusundan analiz isteklerini alır. Veritabanından ilgili metni alır ve ön işleme işlemlerini gerçekleştirir. Ön işlenmiş metin analiz için kuyruğa geçirilir. Analiz, beklenen kaynaklarla paralel olarak gerçekleştirilir. Analiz süresi, metnin boyutuna ve analiz türüne bağlıdır. Şu anda, Linguine, İngilizce Bölümü'ndeki hesaplamalı dilbilimciler tarafından sunulan dil bilimi kurslarını hedefleyen İngilizce merkezli bir ortamdır. Ancak çerçeve desteği, metin tabanlı analiz için ek kaynaklar sağlar. Örneğin, başka dillerde eğitilmiş modeller veya muhtemelen diğer yapılandırılmamış veri formları, ayarlama görselleştirmesiyle birleştirilebilir.
SPLAT kitaplığı ngramlar, bazı konuşma etiketleri, heceler ve sessizlikle ilgili istatistikleri hesaplar. SPLAT ayrıca içerik ve düşünce yoğunluğu, Flesch okunabilirliği, Flesch-kincaid derecesi ve tür etiketi oranı dahil olmak üzere dil karmaşıklığı ölçümlerini de hesaplar. Şekil 3, Şekil 4 (sol) ve 6 (sağ) Linguine tarafından SPLAT fonksiyonu ile yapılan görsel grafikleri göstermektedir. Stanford CoreNLP'nin çıktısını kullanan Linguine, söz dizimi ağaçları (Şekil 5) ve adlandırılmış varlık tanıma (Şekil 6, sol) dahil olmak üzere karmaşık modelleme gerektiren analiz seçeneklerini birleştirir. Analiz veritabanına kaydedilir ve kullanıcıların analizlerini yeniden işlemeye gerek kalmadan görselleştirmeye geri dönmelerine olanak tanır.
Şekil 3 Görselleştirme: Pazartesi günü köpeğini gezdirdi. POS (solda); zamir sıklığı (sağda)
Şekil 4 Arthur Conan Doyle'dan alıntı (solda) ve sabit oran (sağda) terimi karmaşık ölçüler
Şekil 5 "Bu, tüm yıl boyunca duyduğum en iyi haber!" Duygu etiketleri içeren sözdizimi ağacı
Entegre teknolojinin Python ile diğer alt sistemler arasındaki eşzamansız iletişimi yönetmesi gerekir. Linguine'deki veri iletimi, bilgi iletmek için HTTP isteklerini kullanan bir Python çerçevesi olan Tornado [ tarafından yapılır. Şu anda, araç 25 kişilik sınıflarda kullanılmak üzere tasarlanmıştır. Gelecekte farklı kullanıcı gruplarının kaynak kullanımının ayrıntılı bir analizi yapılacaktır.
Şekil 6 Görsel isimli varlık tanıma (solda) ve konuşma transkripsiyonunda tutarlılık (sağda)
3 vaka analizi
Şimdiye kadar, iki kurs için üç vaka çalışması geliştirdik: temel bir dil bilimi kursu ve bir İngilizce dili tarihi kursu. Örnek olay incelemelerini ve Linguine'nin işlevlerini birleştiren öğrencilere, dil verilerini kullanarak aktif sorguları çözmeleri için sanal gerçeklik senaryoları sunulur. Her örnek olay incelemesi, görevi net ve etkili kılan bir tasarım şablonunu ve prototipi takip eden bir dizi tasarım öğesi içerir:
- Vaka açıklaması, soruyu oluşturan bir anlatım içerir ve Linguine kanıt toplarken dil temelli analiz yapmak için gereken verilerin arka planını sağlar. Bu, adım adım analiz talimatlarını ve soruları yanıtlamayı, ayrıca çalışma yönergelerini sağlamayı, yazılı raporlar hazırlamayı ve bir değerlendirme kuralını ve bir testi tamamlamayı içerir.
- Ders dışı ve ders içi analiz için verileri seçin ve hazırlayın.
- Öğrenciler iki okuma için vaka temelli muhakeme hakkında danışabilirler: bir uygulama, geniş bir okuyucu kitlesine karşı akademik okuma.
Vaka çalışması, metin seçimi, ayrıntılı metin ön işleme motivasyonunu özetleyen ve sorularına beklenen yanıtları içeren bir geliştirme ve öğretme kılavuzunu genişletir. İlk vaka çalışması:
- Demansın dili: Öğrenciler, bir tıbbi araştırmacının Alzheimer hastalığının dil belirteçlerini tanımlamasına yardımcı olmak amacıyla DementiaBank korpusundaki (Becker ve diğerleri, 1994) bir dizi resim tanımını analiz ettiler. Okuma materyalleri arasında Szatloczki ve diğerleri (2015); Goldstein ve diğerleri (2010) bulunmaktadır.
- İngilizcenin tarihsel varyantları: Öğrenciler, çeşitli dönemlerde edebi alıntıları kontrol ederek okul öğretmenlerinin kursları için uygun okuma materyalleri seçmelerine yardımcı olur. Okuma materyalleri arasında örneğin Perera (1980) bulunmaktadır.
- İş İletişimi Görgü Kuralları: Eğitim kurumlarında analist olarak öğrenciler, işyeri iletişimi kurallarını eleştirel bir şekilde tasavvur etmek için e-posta verilerini (Klimtand Yang, 2004; Pavlick ve Tetreault, 2016) kullanırlar. Okuma materyalleri arasında Pavlick ve Tetreault (2016); Lebowitz (2015) bulunmaktadır.
4 Vaka analizi ve keşif sonuçları
Giriş dilbilimi kursunda, öğrenciler ilk önce Linguine'yi belirlenmiş bir ekipte demans dilini öğrenmek için kullanırlar ve birkaç hafta sonra iş iletişimi görgü kurallarını öğrenirler. Her iki durumda da öğrenciler Linguine'i kullandılar ve sağlanan verilerle hem sınıf içinde hem de dışında iletişime geçti. Öğrenci grubu öğrencilere kısa konuşmalar ve vaka tartışma raporları şeklinde sözlü raporlar verdi. İngilizce tarih dersinin üçüncü vakası, yalnızca daha az öğrenci tarafından tamamlandı (bu makaledeki işbirlikçilerden biri öğretim görevlisi olarak görev yaptı). Öğrencilerden vaka bileşenlerini tamamlamaları ve ardından anonim bir vaka memnuniyeti anketini yanıtlamaları istenir (Tablo 1-2). Bu, öğrenme deneyimini kendi kendine bildirme fırsatı sağlar.
Tablo 1 Memnuniyet Anlaşması Beyanı
Tablo 2 Memnuniyet anketinden açık geribildirim
Öğretmenlerin sınıf etkileşimi gözlemi, bazı öğretim faydalarının ortaya çıktığını göstermektedir. Birincisi, öğrenciler sınıftaki analiz, veri ve yöntemler hakkında eleştirel düşünürler. İkinci olarak, raporlama alıştırması ortak öğrenmeyi teşvik eder.Öğrenciler, diğer insanların problemlerle nasıl başa çıktığını gözlemleyebilir ve sonuçları görselleştirmeyi, özetlemeyi ve sunmayı seçebilirler. Üçüncüsü, vaka yöntemi ekip çalışması için yapılandırılmış bir çerçeve sağlar.
Şekil 7, öğrencilerin aktiviteye ilişkin değerlendirmelerinin çoğunun olumlu olduğunu, bunun çekici, eğitici ve ilginç bir deneyim olduğuna inandığını ve eleştirel düşünme ve öğrenmeyi teşvik ettiğini göstermektedir (S1, S5, S9, S14, S15). Öğrenciler, etkinliklerin ve araçların açık ve doğrudan olduğunu bildirirler (Q2, Q11, Q12). En önemlisi, çoğu öğrenci bu deneyimin sınıf materyalleri ile ilgili olduğunu hisseder ve sınıf materyallerini uygular, dilbilim anlayışlarını geliştirir ve onları problem çözmeye adamıştır (S3, S6, Q7, S8) .
Şekil 7 Bir sınıftaki iki vakaya verilen yanıtların yüzdesi (N = 14'e karşı 11). Üst: Vaka çalışması faaliyetleri 1 ve 2 hakkındaki geri bildirimler, kullanıcıların Tablo 1'deki ifadelerin çoğu ile tutarlı olduğunu göstermektedir. Alt: Araçla ilgili geri bildirim ve girdisi, olumlu bir kullanıcı deneyimini gösterir ve aracın aşinalık arttıkça artar.
Öğrenciler ayrıca Tablo 2'de (sayfa 6) gösterildiği gibi deneyimleri hakkında nitel geribildirim sağlama fırsatına da sahiptir. Öğrencilerin yaklaşık yarısı, özellikle dilbilimin pratik uygulamalarını öğrenmekten keyif aldıklarını bildirdi. Sınıfta görülen kavramlar ve vaka çalışmaları arasındaki bağlantıyı tanırlar. Öğrenciler ikinci vaka çalışmasında özellikle ilginç bir metin buldular (e-posta verilerinden) İlk vaka çalışmasına kıyasla, bu vaka çalışmasının açıklığını takdir ediyorlar.
Olumsuz yorumlar üç konuya odaklanmıştır: (1) analiz için sağlanan sınırlı veri miktarı; (2) Linguine'nin kısıtlamaları (örneğin, indirme sonucunun csv yerine JSON olmasına izin verilmesi); (3) ilk vaka çalışmasında Bunların arasında, az sayıda öğrenci, tekrarlayan raporlama deneyimleri buldu. Bu geri bildirim, Linguine ve vaka temelli öğretim materyallerini güçlendirmeye devam etmek için değerlidir.
