Wu Enda neden geleceğin transfer öğrenmeye ait olduğuna inanıyor?
Lei Feng.com'a göre: Birkaç gün önce, İrlanda Ulusal Üniversitesi'nde tanınmış bir AI blog yazarı ve NLP doktora öğrencisi olan Sebastian Ruder, "Migration Learning: The Next Frontier of Machine Learning" başlığını verdi ve transfer öğrenmenin teknik ilkeleri, önemi ve önemi ve uygulama yöntemleri hakkında bir sunum yaptı. Ayrıntılı. Bu makale, transfer öğrenmenin ilkelerini ve önemini ve Wu Enda'nın tahminini tartışan bölümden bir alıntıdır. Orijinal metni (İngilizce) okumak için lütfen buraya tıklayın. Leifeng.com tarafından derlenmiştir.
Sebastian Ruder
Sebastian Ruder: Son yıllarda, derin sinir ağlarını eğitmek ve girdiden çıktıya doğru doğru haritalamayı öğrenmek konusunda daha iyi ve daha iyi iş çıkardık. Görüntüler, cümleler veya etiket tahmini için olsun, artık sorun olmayan çok sayıda etiketli örnek vardır.
Günümüzün derin öğrenme algoritmalarında hala eksik olan şey, yeni durumlarda genelleme yeteneğidir (eğitim setinin durumundan farklıdır).
Bu yetenek ne zaman gereklidir? Modeli dikkatlice organize edilmiş bir veri kümesi yerine gerçek bir duruma uyguladığınızda. Gerçek dünya, sayısız özel durum içeren oldukça kaotiktir ve eğitim aşamasında modelin karşılaşmadığı pek çok durum olacaktır. Bu nedenle, yeni durumları tahmin etmek için uygun olmayabilir.
Başka bir yerde öğrenilen bilgileri yeni senaryolara aktarma yeteneği, öğrenmeyi aktarmaktır.
Transfer öğrenmenin ilkeleri
Makine öğreniminin geleneksel denetimli öğrenimi durumunda, belirli bir görev / alan A için bir model eğiteceksek, görev / alan A'daki etiketli verileri elde etmek öncül olacaktır. Şekil 1 bunu çok açık bir şekilde göstermektedir: A modelinin eğitim ve test verilerinin görevleri / alanları aynıdır.
Şekil 1: Geleneksel ML denetimli öğrenme
Bu veri seti üzerinde eğittiğimiz A modelinin aynı görev / alandaki yeni veriler üzerinde iyi performans göstermesi beklenebilir. Öte yandan, belirli bir görev / alan B için, model B'yi eğitmek için bu alanın etiketli verilerine ihtiyacımız var ve sonra bu görevde / alanda iyi sonuçlar elde edebiliriz.
Ancak geleneksel denetimli öğrenme yöntemleri de başarısız olacaktır - belirli bir görev / alan için etiketli verilerin yokluğunda, genellikle güvenilir bir modele ulaşmada başarısız olur. Örneğin, gece yaya görüntülerini izlemek için bir model eğitmek istiyorsak, gündüzleri benzer bir tarla-yaya izlemede bir eğitim modeli uygulayabiliriz. Bu teorik olarak mümkün. Ancak aslında, modelin performansı çoğu zaman önemli ölçüde bozulur veya hatta çöker. Bu anlaşılması kolay.Model, gün boyunca eğitim verilerinden bazı sapmalar elde etti ve yeni sahnelere nasıl genelleme yapacağımı bilmiyorum.
Bisiklet sürücülerini izlemek gibi yepyeni görevler gerçekleştirmek istiyorsak, orijinal modeli yeniden kullanmak işe yaramayacaktır. Çok önemli bir neden var: Farklı görevlerin veri etiketleri farklı. Ancak transfer öğrenimi ile bu sorunu bir ölçüde çözebilir ve benzer görevlerde / alanlarda mevcut verileri tam olarak kullanabiliriz. Transfer öğrenimi, Şekil 2'de gösterildiği gibi, kaynak görevi işleyerek edinilen bilgiyi yeni hedef probleme uygulamaya çalışır.
Şekil 2: Öğrenmeyi aktar
Uygulamada, kaynak sahneden hedef göreve veya sahneye mümkün olduğunca fazla bilgi aktarmaya çalışacağız. Buradaki bilginin birçok tezahürü olabilir ve verilere bağlıdır: anormal nesneleri bulmayı kolaylaştırmak için bir nesnenin bileşenleri hakkında olabilir; aynı zamanda insanların fikirlerini ifade etmeleri için ortak bir kelime olabilir.
Transfer öğrenimi neden bu kadar önemli?
Wu Enda, geçen yılki NIPS 2016 konferansında şunları söyledi: "Denetimli öğrenmeden sonra, aktarım öğrenimi makine öğrenimi teknolojisinin ticarileştirilmesinin bir sonraki dalgasına öncülük edecek."
Leifeng.com, o sırada Wu Enda'nın konumunu açıklamak için beyaz tahtaya bir çizim yaptığını öğrendi. Sebastian Ruder, aşağıda gösterildiği gibi bir bilgisayarla çizdi:
Bu resim, Wu Enda'nın makine öğreniminin ticarileştirilmesini teşvik eden ana itici teknolojisidir. Buradan, Öğretmen Wu'nun bir sonraki adımın transfer öğrenmenin ticari uygulamalarının patlaması olacağına inandığı görülebilir.
Şüphesiz bir şey var: Şimdiye kadar, makine öğreniminin sektördeki uygulaması ve başarısı esas olarak denetimli öğrenmeden kaynaklanıyor. Ve bu, derin öğrenmedeki ilerlemelere, daha güçlü bilgi işlem olanaklarına ve büyük etiketli veri kümelerine dayanmaktadır. Son yıllarda, yapay zeka teknolojisine, yatırım ve satın alma dalgasına ve makine öğreniminin günlük yaşamdaki ticari uygulamasına yönelik bu halk ilgisi dalgası, esas olarak denetimli öğrenim tarafından yönetildi. "AI Winter" terimini görmezden gelirsek ve Wu Enda'nın tahminine inanırsak, makine öğreniminin bu ticarileştirme dalgası devam etmelidir.
Başka bir nokta o kadar net değil: Transfer öğrenimi neden onlarca yıldır var ama sektördeki hiç kimse tarafından kullanılmıyor? Daha ileri, Wu Enda, transfer öğrenmenin iş uygulamalarının patlayıcı büyümesinin gerçekleşeceğini öngördü?
Denetimsiz öğrenme ve güçlü kimya departmanları ile karşılaştırıldığında, transfer öğrenmenin mevcut maruziyeti yüksek değildir, ancak giderek daha fazla insan buna odaklanmaktadır.
Örneğin, "Genel Yapay Zeka" nın anahtarı olarak kabul edilen denetimsiz öğrenmenin ilk ikisi için önemi, Yann LeCun'un vaazları olarak kabul edildi ve "kek teorisi", başka bir dikkat dalgası uyandırarak gittikçe daha fazla kabul edildi. . Üretken yüzleşme ağı, içinde teknolojik bir öncü rol oynar. Takviye öğrenimi için en önemli itici güç Google DeepMind'dir. Evet, AlphaGo demek istiyorum. Takviye öğrenme teknolojisi, Google veri merkezi sıcaklık kontrolünün maliyetini% 40 düşürmek gibi gerçek dünya senaryolarında başarıyla uygulandı.
Yann LeCun kek teorisi. Ona göre, pekiştirmeli öğrenme kiraz, denetimli öğrenme şeker kaplamadır ve denetimsiz öğrenme pastadır. Ancak ilginç bir şekilde, transfer öğrenimi yoktur.
Her iki alanın da parlak beklentileri var. Bununla birlikte, öngörülebilir gelecekte, yalnızca nispeten sınırlı ticari sonuçlar üretebilirler - en son araştırma ve makalelerde mevcut olan daha akademik sonuçlar. Bunun nedeni, bu iki alanın karşılaştığı teknik zorlukların hala çok şiddetli olmasıdır.
Transfer öğrenmenin özelliği nedir?
Şu anda, makine öğreniminin sektördeki uygulaması ikicidir:
-
Bir yandan son yıllarda giderek daha doğru modeller yetiştirme yeteneği kazandık. Şimdi yeni bir aşamadayız: Birçok görev için, en gelişmiş modellerin performansı daha önce hayal edilen bir seviyeye ulaştı: bu modeller piyasaya ne pahasına olursa olsun getirilirse, tüketiciler temel yeteneklerinden şikayet etmeyecek.
Son teknoloji modelin performansı ne kadar güçlü?
En son kalan ağlar (artık ağlar) ImageNet'te insanüstü seviyeye ulaşmayı başardı; Google Akıllı Yanıt, cep telefonu yanıtlarının% 10'unu otomatik olarak işleyebilir; konuşma tanıma hata oranı düşüyor ve doğruluk oranı daktilocularınkini aştı; makineden cilde Kanserin tanınma oranı dermatologlar seviyesine ulaştı; Google Translate'in ürün tarafına Google NMT sistemi uygulandı; Baidu DeepVoice gerçek zamanlı ses üretimini gerçekleştirdi ...
Bu liste çok uzun olabilir. İfade etmek istediğim şey şudur: bu olgunluk düzeyi, milyonlarca kullanıcı için büyük ölçekli model dağıtımını mümkün kılmıştır.
-
Ama diğer yandan, Bu başarılı modeller, veriye son derece açtır ve bu etkiyi elde etmek için büyük miktarda etiketli veri gerektirir. Bazı görev alanlarında, bu tür veri kaynakları uzun yıllar süren zor veri toplamanın arkasında bulunmaktadır. Bazı durumlarda veriler, ImageNet gibi halka açıktır. Bununla birlikte, büyük miktarda etiketlenmiş veri genellikle tescillidir, fikri mülkiyet haklarına sahiptir veya tıbbi, ses ve MT veri setleri gibi toplanması son derece pahalıdır.
Aynı zamanda bir makine öğrenimi modeli gerçek dünyadaki durumlara uygulandığında, daha önce karşılaşılmamış sayısız durumla karşılaşacaktır; bununla nasıl başa çıkacağını bilemez. Her müşteri ve kullanıcının kendi tercihleri vardır, bu da eğitim setinden farklı veriler üretecektir. Modelin, daha önce eğitilmiş görevlere benzeyen ancak tam olarak aynı olmayan birçok görevle uğraşması gerekir. Günümüzün en yeni modelleri, eğitildikleri görevlerde insanlara veya süper insanlara eşdeğer yeteneklere sahip olsalar da, performansları bu koşullar altında büyük ölçüde tehlikeye girecek ve hatta tamamen çökecektir.
Transfer öğrenimi, bu özel durumlarla başa çıkmak için bir katildir. Birçok ürün düzeyinde makine öğrenimi uygulamasının, etiketli verilerin az olduğu görev alanına girmesi gerekir.Bu tür ticari uygulamalar için, aktarım öğrenimi kuşkusuz gereklidir. Bugün, verilerin "düşük ağaç meyveleri" temelde toplanmış, sonra öğrendiklerimizin yeni görevlere ve alanlara aktarılması gerekiyor.
