Yang Qiang, Hong Kong Bilim ve Teknoloji Üniversitesi KDD Çin Teknoloji Zirvesi konuşması: transfer öğrenmenin doğası ve pratik uygulaması
Lei Feng.com'un basını: Tencent ve KDD Çin Büyük Veri Zirvesi Shenzhen'de düzenlendi. Hong Kong Bilim ve Teknoloji Üniversitesi'nde profesör ve Dördüncü Paradigmanın Baş Bilimcisi Yang Qiang, "Derin Öğrenmeden Göç Öğrenmeye" konulu bir konferans verdi. Bu makale esas olarak açıklıyor Profesör Yang Qiang, Lei Feng Wang Yafeng, Yameng ve Zong Ren tarafından ortaklaşa düzenlenen toplantıda göç öğreniminin sektördeki pratik uygulamasını açıkladı.
Transfer öğrenimi nedir?
Basitçe söylemek gerekirse, mevcut model algoritmasının yeni bir alana ve işleve uygulanabilmesi için biraz ayarlanmasına izin veren bir teknolojidir. Geçiş öğrenimi, kişiselleştirilmiş geçişi sağlamak için büyük verilere uygun modelleri küçük verilere aktarabilir.
İnsanlar doğal olarak benzetme yoluyla göç etme yeteneğine sahipler.Örneğin, bisiklete binmeyi öğrendikten sonra, motosiklete binmeyi öğrenmek çok basit; eğer badminton oynayabilirsek, tenis oynamayı öğrenmek o kadar da zor değil.
Transfer öğrenmenin dört uygulama yöntemi:
1. Örnek taşıma
Örnek taşıma, veri kümesindeki (kaynak alan) hedef alana benzer verileri bulmak ve bu verileri hedef alandaki verilerle eşleşecek şekilde birçok kez büyütmektir. Özellikleri şunlardır: farklı örnekleri ağırlıklandırma ihtiyacı; eğitim için verileri kullanma ihtiyacı.
2. Özellik geçişi
Özellik geçişi, kaynak etki alanı görüntüsü ile hedef etki alanı görüntüsü arasındaki ortak özellikleri gözlemlemek ve ardından farklı düzeylerdeki özellikler arasında otomatik olarak geçiş yapmak için gözlemlenen ortak özellikleri kullanmaktır.
3. Model geçişi
Model taşıma, bir görüntü tanıma sistemini eğitmek için on milyonlarca görüntü kullanır. Yeni bir görüntü alanıyla karşılaştığımızda, eğitmek için on milyonlarca görüntü bulmamız gerekmez. Orijinal görüntü tanıma sisteminden geçiş yapabiliriz. Yeni bir alana, yani yeni alandaki yalnızca on binlerce resim aynı etkiyi yaratabilir. Model göçünün faydalarından biri, ayırt edebilmemiz, yani derin öğrenme ile birleştirilebilmesidir.Farklı seviyelerin aktarılabilirliğini ayırt edebiliriz ve benzerliği daha yüksek olanların aktarılma olasılığı daha yüksektir.
4. İlişki geçişi
Sosyal ağlar, sosyal ağlar arasında geçiş gibi.
Sektörde transfer öğrenmenin pratik uygulaması
1. Transfer öğreniminin makine okumada uygulanması
Sözde "makine okuma", doğal dil metnini makinenin anlayabileceği bir modele dönüştürmektir ve daha sonra makine bu modele göre kişiye hizmet eder.
Bu model farklı düzeylerden "anlaşılabilir". Örneğin, sözcüklerde, cümlelerde, paragraflarda, belgelerde ve birden çok belgede çeşitli örtük ifadeler oluşturabilir ve bu ifadeler uzamsal benzerlikle değiştirilebilir, bu nedenle bir kelime ekleyin, Yüksek boyutlu uzay ile eşleştirilebilir.
Bu ifade ile, örneğin LSTM'ye bir cümle alabilirsiniz ve buna karşılık gelen çıktı, bize diyalogda bir fenomen verecek olan çıktıdır.
Aynı zamanda, bazı sorulardaki kavramları belirtmek için Dikkat modelini de kullanabiliriz ve bu kavramı bulmak için aynı karşılaştırmalı benzerliği kullanabiliriz. Dahili örtük ifadesi bir metin olduğundan, çevreleyen kelimelerin adı anlaşılır ve uygulaması otomatik olarak bir metin özeti (Otomatik Özetleme) oluşturabilir.
Buna Bilgi Erişiminde Özetleme adı verilir ve geçmiş Özetleme yöntemi "Ayıklama" yöntemidir.
Ancak bugün Özetleme, bunu kişinin kendi dilinde veya kullanıcının favori dilinde "anlayabilir" ve ifade edebilir. Bu nedenle, burada geleneksel Özetlemeyi birleştirmek ve kullanıcı geri bildirimi eklemek için yeni bir yöntem önerilmektedir (örneğin, kullanıcının bir makaleyi okuduğu, kullanıcının okuduğu süre veya beğenilerin davranışı).
O zaman modeli kişiselleştirebilirsiniz.Zang San'a gösterilen özet, Li Si'ye gösterilen Özetlemeden farklıdır. Tıpkı bir makale gibi, göz alıcı bir başlık oluşturmamız gerekiyor, ancak Zhang San ve Li Si'yi gösteriyorsunuz. Başlıklar tamamen farklı.
2. Transfer öğreniminin diyalog sisteminde uygulanması
Genel amaçlı bir diyalog sistemini eğitin. Sistem küçük sohbet veya görev tabanlı olabilir. Ancak, bu diyalog sisteminin farklı görevlere uyarlanmasını sağlamak için belirli bir alandaki küçük verilere dayanarak onu değiştirebiliriz. Örneğin, bir kullanıcı kahve almak isterse, büyük bir fincan ve küçük bir fincan, sıcak ve soğuk gibi tüm sıkıcı soruları cevaplamak istemez mi?
Bu nedenle, bu sistemin kullanıcıların tercihlerini anladığını ve geçmiş veri analizine dayanarak, kullanıcıların ihtiyaçlarını tek adımda karşılayan bir fincan kahve sağladığını umuyoruz.
İşte bir örnek: Kahve alırken her seferinde tüm soruları cevaplamak istemeyebilirsiniz, mesela irili ufaklı bir fincan ister misiniz? Sıcak ve soğuk? Bunun yerine, bu asistanın beni anlamasını istiyorum, böylece bunu geçmişteki küçük verilerimize dayanarak tek adımda yapabiliriz.
Buna dayanarak bir öneri sistemi yaptım. 30.000 diyaloğa dayalı genel bir diyalog sistemi veya görev tabanlı bir diyalog sistemi yaptım ve kişiselleştirilmiş bir istatistiğe taşıdım. Sadece 9 tane vardı Diyalogda (küçük veri), sizi anlayan küçük bir sekreter gibidir. Aynı şekilde bu, finansal sistemde bazı finansal ve stok soruları sormak için de kullanılabilir ve daha sonra pekiştirmeli öğrenme yoluyla size bazı Adaylar önerecektir. Ve geliri ve kullanıcı ihtiyaçlarını sıralayın.
Bu süreçte görüyoruz:
İlk bölüm derin öğrenmenin etkisidir.
İkinci bölüm, pekiştirmeli öğrenmenin etkisidir.
Üçüncü kısım, transfer öğrenmenin etkisidir.
Son olarak, transfer öğrenimi üzerine son zamanlarda yapılan bazı çalışmalardan bahsetmek istiyorum. İki alan varsa doğrudan göç işe yaramaz, bazı ara alanlar bulabiliriz. Derin öğrenme yöntemlerini kullanabiliriz. Büyük veri ve eğitimli bir sistem kullandığımızı varsayalım ve şimdi hedefimiz bir hedef alana ulaşmaktır. Bunu tek adımda yapamazsak, küçük verileri kullandığımızda, Çeşitli verilerin nitelikleri oldukça farklı, ne yapmalıyım? Biraz ara alanlar bulalım, ara alanlar orta derecede değiştirilebilir ve değiştirilmemesi gereken bazı kısımlar değişmeyecektir. Makul değişikliklerden sonra, verilerin bir kısmı düzenlenir ve nihayet, istediğimiz taşınmış verileri elde ederiz.
3. Transfer öğreniminin kamuoyu analizinde uygulanması
Transfer öğrenimi, kullanıcı değerlendirmesi gibi kamuoyu analizlerine de uygulanabilir. Elektronik ürünleri ve video oyunu mesajlarını örnek olarak alın. Yukarıdaki resimde yeşil iyi bir yorum etiketi ve kırmızı kötü bir yorum etiketidir. Yukarıdaki şeklin sol tarafında elektronik ürünlerin değerlendirilmesinden elde edilen özellikleri bulabiliriz, bu alanda bir model oluşturmasını isteriz (elektronik ürün değerlendirme) ve ardından modeli video oyunlarına aktarmak için kullanabiliriz. Burada görülebileceği gibi, kamuoyu da büyük ölçekte taşınabilir ve yeni alanlarda etiketlere ihtiyaç yoktur.
4. Transfer öğreniminin öneri sisteminde uygulanması
Daha önce de IMBD ile çevrimiçi bir öneri sistemi yaptık, belirli bir alanda bir öneri sistemi yaptık ve daha sonra seyrek, yeni bir dikey alanda uyguladık.
Güçlü transfer öğrenimi
Bugün, tüm dünya transfer öğrenmeyi teşvik ediyor Bugün AAAI'de transfer öğrenmeyle ilgili yaklaşık 20 makale var, ancak önceki yıllarda sadece beş veya altı. Aynı zamanda Wu Enda gibi derin öğrenme temsilcileri de transfer öğrenmeye başladı.
neden? Bir alanda yüksek kaliteli veri bulmak çok zor olduğu için yüksek kaliteli verinin düşük olduğu alanlarda hazır modeller kullanmak çok iyi bir çözümdür.
Son olarak bir özet yapacağım Dün derin öğrenmede büyük bir başarı elde ettik. Bununla birlikte, derin öğrenmenin, anında geri bildirimin olduğu, ancak diğer alanlarda olmadığı alanlarda ve uygulama yönlerinde belirli avantajları olduğunu gördük. Bir benzetme yapmak gerekirse: Tıpkı bugün bir şaka yaptığım gibi, ertesi güne kadar gülemeyeceksiniz.Bu tür bir geri bildirim gecikmesi problemini çözmek için bugün yoğun bir öğrenme gerekiyor. Ve yarın, aktarım öğrenmenin gerekli olduğu daha fazla yer olacak: bu çok değerli büyük ve küçük veriler üzerinde makine öğreniminin tüm yeteneklerini ortaya çıkaracak. Birbirinizden öğrenin ve birbirinizden öğrenin.
İlgili Okuma:
Tencent ve KDD Çin Büyük Veri Zirvesi'nden önce Profesör Yang Qiang, 2016 yılında Leifeng.com tarafından düzenlenen CCF-GAIR Küresel Yapay Zeka ve Robot Zirvesi'nde başarılı olmak için yapay zekanın beş temel unsurunu açıkladı. Transfer öğrenmenin koşulları ve doğası.
