OpenAI'nin en son araştırması: Denetimsiz öğrenme yoluyla dil anlayışını geliştirme
Xin Zhiyuan bugün
Xinzhiyuan Derlemesi
Kaynak: Açık AI
Derleme: Xiaopan, Craig
Xin Zhiyuan Rehberi Ölçeklenebilir, görevden bağımsız bir sisteme dayanan OpenAI, farklı dilleri içeren bir dizi görevde en iyi deneysel sonuçları elde etti. Yöntem, mevcut iki kavramın birleşimidir: Öğrenimi ve denetimsiz ön eğitimi aktarın . Bu sonuçlar, denetimli öğrenme yönteminin denetimsiz ön eğitim ile mükemmel şekilde birleştirilebileceğini kanıtlamaktadır. Geçmişte pek çok insan bu fikri araştırdı ve OpenAI, sonuçların daha fazla araştırmaya ilham vereceğini ve ardından bu fikri daha büyük ve daha çeşitli veri kümelerine uygulayacağını umuyor.
Sistemimiz iki aşamaya ayrılmıştır: Birincisi, büyük bir veri seti üzerinde denetimsiz bir şekilde bir aktarım öğrenme modeli eğitiyoruz ve dil modelinin eğitim sonuçlarını eğitim sürecinde bir sinyal olarak kullanıyoruz ve ardından daha küçük bir denetimli veri seti kullanıyoruz Belirli görevleri çözmesine yardımcı olmak için bu modele ince ayar yapın. Bu yöntem bizden önce geliştirildi duygu nöronu Duygu nöronu görevindeki (duygusal nöronlar) çalışmasından sonra, modeli yeterli veriyle eğiterek, denetimsiz öğrenmenin şaşırtıcı ayırt edici özellikler elde edebileceğini fark ettik. Burada, bu fikri daha fazla araştırmak istiyoruz: Modeli denetimsiz bir şekilde eğitmek için büyük miktarda veri kullanan bir model geliştirebilir ve ardından farklı görevlerde iyi performans elde etmek için modele ince ayar yapabilir miyiz? Araştırma sonuçlarımız, bu yöntemin şaşırtıcı derecede iyi çalıştığını gösteriyor. Aynı çekirdek model, göreve uyacak şekilde tamamen farklı görevler için ince ayarlanabilir.
Bu araştırma, nasıl geçileceğini gösteren yarı denetimli sıralı öğrenmede sunulan yönteme dayanmaktadır. LSTM'nin denetimsiz ön eğitimi Ardından, metin sınıflandırma yeteneğini geliştirmek için denetimli ince ayar yapın. Ayrıca, çeşitli metin sınıflandırma veri setlerinde en iyi performansı elde etmek için tek veriden bağımsız bir LSTM dil modelinin nasıl ince ayar yapılacağını gösteren ULMFiT araştırmasını genişletir. Çalışmamız, sağduyu muhakemesi, semantik benzerlik ve okuduğunu anlama gibi metin sınıflandırmasının ötesinde daha geniş görevlerde başarılı olmak için bu yöntemde transfer öğrenme modellerinin nasıl kullanılacağını göstermektedir. ELMo'ya benzer, ancak görevden bağımsız bir sorundur.Ön eğitimi içerir ve en iyi sonuçları elde etmek için görev için özel bir model mimarisi kullanmayı umar.
Birkaç parametreyi ayarlayarak hedefimize ulaşıyoruz. Tüm veri kümeleri, herhangi bir kombinasyon içermeyen yalnızca bir ileri dil modeli kullanır ve sonuçların çoğu tam olarak aynı hiperparametre ayarlarını kullanır.
Bizim yöntemimiz COPA, RACE ve ROCStories'in üç veri seti Yukarıdaki performans özellikle iyidir Bu veri setleri sağduyu muhakeme ve okuduğunu anlamayı test etmek için kullanılır. Modelimiz bu veri setlerinde en iyi sonuçları elde etti. Bu veri setlerinin tanınmasının çok cümleli muhakeme ve önemli dünya bilgisi gerektirdiğine inanılıyor, bu da modelimizin bu yetenekleri geliştirmek için esas olarak denetimsiz öğrenmeyi kullandığını gösteriyor. Yukarıdakiler, denetimsiz teknolojinin karmaşık dil anlama yetenekleri geliştirme potansiyeline sahip olduğunu göstermektedir.
