Feng Jun, Tsinghua Üniversitesi: Pekiştirme öğreniminin doğal dil işlemeyle buluştuğunda ortaya çıkan harika kimyasal reaksiyonlar nelerdir? | Özeti paylaş
Leifeng.com AI Teknolojisi İnceleme Basın : Robotik ve oyun yapay zekası gibi alanlarda pekiştirmeli öğrenmenin başarısıyla, bu yöntem de giderek daha fazla ilgi gördü. Son Leifeng.com GAIR konferans salonunda, Tsinghua Üniversitesi Bilgisayar Bilimleri Bölümü'nden bir doktora öğrencisi olan Feng Jun, doğal dil işlemede iki klasik görevi daha iyi çözmek için pekiştirmeli öğrenme teknolojisinin nasıl kullanılacağını tanıttı: ilişki çıkarma ve metin sınıflandırması. Bu makale, canlı video paylaşımına göre düzenlenmiştir. İçerikte herhangi bir eksiklik varsa, orijinal video konuğu geçerli olacaktır.
Video oynatma adresi:
İlişki çıkarma görevinde, uzaktan denetim yöntemi ile otomatik olarak oluşturulan eğitim verilerinde gürültü problemini çözmek için pekiştirmeli öğrenmeyi kullanmaya çalışıyoruz. Metin sınıflandırma görevlerinde, cümlelerin daha iyi yapılandırılmış temsillerini elde etmek için pekiştirmeli öğrenme kullanılır ve daha iyi metin sınıflandırma etkileri elde etmek için temsiller kullanılır. Bu kez paylaşılan iki çalışma AAAI2018'de yayınlandı.
Feng Jun, Profesör Zhu Xiaoyan ve Huang Minlie'nin vesayeti altında, Tsinghua Üniversitesi Bilgisayar Bilimleri Bölümü'nde beşinci sınıf doktora öğrencisidir. Ana araştırma yönü bilgi grafikleri ve pekiştirmeli öğrenmedir. AAAI, COLING, WSDM gibi uluslararası konferanslarda birçok makale yayınladı.
İçerik paylaşma:
Herkese merhaba, ben Tsinghua Üniversitesi'nden Feng Jun. Paylaşım konusu, pekiştirmeli öğrenmenin doğal dil işlemeyle buluştuğu zamandır. Paylaşımın içeriği temel olarak aşağıdaki üç husustur:
-
Pekiştirmeli öğrenmenin temel kavramlarına kısa bir giriş
-
Uzaktan denetim yöntemiyle otomatik olarak oluşturulan eğitim verilerindeki gürültü sorununu çözmek için güçlendirme öğrenmeye dayalı ilişki çıkarma yöntemi
-
Takviye öğrenmeye dayalı cümle yapılandırılmış temsil öğrenme yöntemi
Pekiştirmeli öğrenmenin temel kavramları
Durum, aracının ortamdan aldığı eylemdir; temsilci, aldığı mevcut duruma göre ilgili eylemi gerçekleştirir. Ödül, çevreden temsilciye bir geri bildirimdir. Ödülü aldıktan sonra, eylemin iyi mi yoksa kötü mü olduğunu bileceksiniz. Bir temsilcinin amacı, tüm ödülleri en üst düzeye çıkarmak için eylemler seçmektir.
Temsilci, çevreyle çok fazla etkileşimde bulunacak ve çevrenin yaptığı her eylem, yalnızca mevcut ödül değil, uzun vadeli bir etkiye sahip olabilir. Ödül de gecikebilir. İşte politika kavramına kısa bir giriş. Politika, bir temsilcinin eylemlerini belirleyen bir işlevdir.
Okuyucu yukarıdaki kavramlar konusunda net değilse, videodaki labirent örneğini izleyebilirsiniz:
Grubumuz tarafından yapılan iki çalışma, ilişki çıkarma ve metin sınıflandırmadır.
İlki ilk çalışma: Gürültülü Verilerden İlişki Sınıflandırması için Takviye Öğrenme
Görev arka planı
İlişki sınıflandırma görevinin yapması gereken şey varlıklar arasındaki ilişkiyi belirlemektir ve cümlenin içerdiği varlık çiftleri bilinmektedir. İlişki sınıflandırmasının görevi, her cümlenin manuel olarak etiketlenmesini gerektiren güçlü bir şekilde denetlenen öğrenmedir, bu nedenle önceki veri seti nispeten küçüktür.
Birisi daha önce de daha büyük bir veri seti elde etmek için cümleleri otomatik olarak etiketlemek için mevcut kaynakları kullanmayı umarak Uzaktan Denetim yöntemini önerdi. Ancak bu yöntem, bir cümlenin varlık ilişkisini tahmin etmek için mevcut bilgi grafiğindeki varlık ilişkisine dayanmaktadır ve etiketi doğru olmayabilir.
Bu makale, bu sorunu çözmek için pekiştirmeli öğrenmeyi kullanır. Çok örnekli öğrenmeye dayalı bazı yöntemler de vardır.
Bunun yerelliği, cümle düzeyinde öngörüleri iyi idare edememesidir.
Yukarıdaki eksikliklerden yola çıkarak yeni bir model oluşturduk. İki bölümden oluşur: Instance Selector ve Relation Calssifier.
Bu modelin iki zorluğu vardır: Birincisi, her bir cümlenin etiketlemesinin doğru olup olmadığını bilmemek. İkinci zorluk, iki parçanın nasıl birleştirilip birbirlerini etkilemelerine izin verilmesidir.
Instance Selector ve Relation Calssifier'ın yapı diyagramı
Örnek Seçicideki "durum", hangi cümlenin mevcut cümle, daha önce seçilmiş olan cümle ve mevcut cümlenin içerdiği varlık çifti anlamına gelir.
İlişki Sınıflandırıcı, cümle temsilini elde etmek için doğrudan bir CNN yapısı kullanır.
Model eğitim adımları
Veri seti ve temel kaynakla ilgili deneysel kısım
sonuç olarak
Sadece çanta düzeyinde ilişkileri tahmin etmekle kalmayıp, gürültü varlığında bile ilişkileri cümle düzeyinde sınıflandırabilen yeni bir modelden bahsettik.
İkinci görev
Görev arka planı
Bir cümleyi sınıflandırmak istiyorsanız, önce cümle için bir temsil yapmalısınız.Cümle temsilini almak için cümle temsili kullanıldıktan sonra, sınıflandırıcıya "temsil" i girin ve sonunda cümlenin kategorisini alacaksınız.
Geleneksel cümle temsili aşağıdaki klasik modellere sahiptir:
-
kelime torbası
-
CNN
-
RNN
-
Dikkat mekanizması eklemenin yolları
Yukarıdaki birkaç yöntemin ortak bir kusuru vardır, cümlenin yapı bilgisini hiç dikkate almazlar. Yani beşinci bir ağaç yapılı LSTM var.
Bununla birlikte, bu yöntemin bazı eksiklikleri de vardır.Yapısal bilgi kullanılmasına rağmen, ön işleme gerektiren bir sözdizimi ağacı yapısı kullanır. Ve farklı görevlerde aynı yapıya sahip olabilir çünkü dilbilgisi aynıdır.
Bu nedenle, görevle ilgili yapıyı öğrenmeyi ve cümleyi öğrenilen yapıya göre ifade etmeyi umuyoruz, böylece daha iyi bir sınıflandırma yapısı elde edebiliriz. Ancak asıl zorluk, bu görev için ne tür bir yapının iyi olduğunu bilmememiz ve bu yapıyı öğrenmemiz için bize rehberlik edebilecek bir yapı açıklamasına sahip değiliz. Ancak bu yapının iyi olup olmadığını yeni yapının sınıflandırma sonucuna göre yargılayabiliriz.
Bu görev aynı zamanda pekiştirmeli öğrenme problemi olarak modellenebilir ve pekiştirmeli öğrenme fikri ile çözülebilir. Benzer şekilde, bu görevdeki ödül de ertelenir, çünkü cümle temsilini almadan önce tüm yapıyı öğrenmeniz gerekir ve daha sonra sınıflandırmak için cümle temsilini kullanabilirsiniz.Orta süreçte, yapının iyi olup olmadığını bilmiyorum. iyi değil.
Deneysel bölüm için veri kümesi kaynağı
Deneyin sınıflandırma sonuçları; son iki satır bizim yöntemlerimizdir.
sonuç olarak
Bu çalışmada göreve ilişkin cümle yapısını öğrendik, cümle yapısına göre farklı cümle temsilleri elde ettik ve daha iyi bir metin sınıflandırma yöntemi elde ettik. İki farklı gösterim yöntemi sunuyoruz: ID-LSTM ve HS-LSTM. Bu iki temsil de iyi sınıflandırma sonuçları aldı ve çok ilginç ve görevle ilgili temsiller aldı.
Leifeng.com canlı video oynatma sağlar. Metin hakkında net olmayan bir şey varsa, videoyu izlemek için tıklayabilirsiniz:
