Nano sinir ağı NanoNet: veriler sınırlıdır, yine de derin öğrenmeyi oynar
1 Xinzhiyuan derlemesi
Son zamanlarda derin öğrenme çok popüler hale geldi ve dil çevirisi, strateji oyunları oynamak ve sürücüsüz arabalar gibi konularda çok yüksek bir seviyeye ulaştı. Derin öğrenmeyi kullanmanın önündeki ortak bir engel, modeli eğitmek için gereken verilerdir. Makinenin öğrenmesi gereken model çok sayıda parametre içerdiğinden, gerekli eğitim verileri de keskin bir şekilde artmıştır.
İşte birkaç örnek:
Derin öğrenmeyi kullanmanın önündeki ortak bir engel, modeli eğitmek için gereken verilerdir. VGGNet'in 140 milyon parametresi ve Google GNMT'nin 380 milyon parametresi vardır. Bunun için gerekli eğitim verileri de son derece büyük.
Derin öğrenme, bir araya getirilmiş yapı taşlarıdır
Derin öğrenme yalnızca büyük ölçekli bir sinir ağıdır. Bunu bir akış şeması, girdi verileri ve çıktı muhakemesi (veya bilgi) olarak düşünebilirsiniz. Ayrıca sinir ağını parçalara ayırabilir ve istediğiniz yerden çıkarımlar elde edebilirsiniz. Herhangi bir sebep olmadan derin öğrenmeyi bile kullanabilirsiniz.Google'ın DeepDream'i buna bir örnektir.
Model hacmi veri hacmi problem karmaşıklığı
Model boyutu ile gerekli eğitim verisi miktarı arasında neredeyse doğrusal bir ilişki vardır. Basitçe ifade etmek gerekirse, modelinizin verilerinizdeki ilişkiyi (görüntü verilerinin dokusu ve şekli, ses verilerinin dilbilgisi ve telaffuzu gibi) ve sorunun belirli durumunu (kaç sınıflandırma gibi) doğru bir şekilde yansıtacak kadar büyük olması gerekir. Modelin ilk birkaç katmanı, girdinin farklı bölümlerinin (kenarlar ve desenler gibi) üst düzey soyutlamalarını yakalar. Modelin sonraki katmanları, nihai karara yardımcı olan bilgileri, genellikle çıktı sonuçlarını ayırt etmeye ve tanımlamaya yardımcı olan bilgileri yakalar. Bu nedenle, problem çok karmaşıksa (görüntü sınıflandırması gibi), birçok parametre olacaktır ve gerekli eğitim verileri çok büyük olacaktır.
Transfer öğrenimi: sektördeki en iyi korunan sır
Özel uzmanlık alanınızdaki sorunlarla uğraşırken, bir model oluşturmak için gereken verileri bulmak genellikle imkansızdır. Bununla birlikte, bir problem türü üzerine eğitilmiş bir model, aynı alandaki başka bir problem üzerinde tekrar kullanılabilir. Buna transfer öğrenimi diyoruz.
Transfer öğreniminin makine öğrenimi endüstrisinde en iyi saklanan sır olduğuna dair bir söz var.Sektördeki herkes bunu biliyor ama çevrenin dışındaki hiç kimse bilmiyor.
En iyi derin öğrenme belgeleri arasında,% 50'den fazlası bir tür transfer öğrenimi veya ön eğitim kullanıyor. Transfer öğrenimi, sınırlı kaynakları olan (veri ve hesaplama gücü dahil) insanlar arasında gittikçe daha yaygın bir şekilde kullanılmaktadır, ancak ne yazık ki bu kavram buna göre teşvik edilmemiştir. Transfer öğrenmeye en çok ihtiyaç duyanlar transfer öğrenmeyi bilmiyorlar.
Derin öğrenme, kabinde gizli kutsal kaseyse ve veriler koruma ise, aktarım öğrenimi kilidi açmanın anahtarıdır.
Transfer öğrenimiyle, mevcut bir veri setiyle eğitilmiş önceden eğitilmiş bir modelimiz var (tamamen farklı görevleri, tamamen aynı girdiyle ancak farklı çıktılarla ele almak için). Ardından, yeniden kullanılabilen özellikler çıkaran katmanları arayın. Daha sonra bu katmanların çıktılarını, daha az parametre gerektiren daha küçük bir ağı eğitmek için girdi özellikleri olarak kullanın. Bu daha küçük ağ, verilerdeki kalıpları önceden eğitilmiş modelden öğrenmiştir ve şimdi yalnızca belirli problemin ilişkisini öğrenmesi gerekmektedir. Bu yöntemi kullanarak, kedi yüzlerini tanımak için eğitilmiş bir model Van Gogh'un resimlerini oluşturmak için kullanılabilir.
Transfer öğrenmeyi kullanmanın bir diğer önemli avantajı, modelin iyi bir şekilde genelleştirilmesidir. Daha büyük modeller verilere fazla uyma eğilimindedir ve modelin daha önce görmediği verileri kullanırken performans çalışmayacaktır. Transfer öğrenimi, modelin farklı veri türlerini görmesine izin verdiğinden, model dünyanın temel kurallarını öğrenmede daha iyi performans gösterir.
Aktarımı öğrenerek verileri azaltın
Sıcak bir tartışma vardı: Bir eteğin mavi ve siyah mı yoksa beyaz ve altın mı olduğu. Şimdi bu sorunu çözmek için çeşitli mavi ve siyah elbiseler ile platin elbiselerin resimlerini toplamaya başlıyorsunuz. Metnin başında bahsedilen kadar doğru bir model oluşturmak (140 milyon parametre!) Ve bu modeli eğitmek için 1,2 milyon görüntü bulmanız gerekebilir ki bu çok büyük bir görevdir. Bu nedenle, öğrenmeyi aktarmaya dönersiniz.
Bu sorunu eğitmek için gereken parametre sayısını hesaplamak için transfer öğrenmeyi kullanın:
Parametre sayısı = *
= * 4098 parametre
Parametre sayısının 1.4 * 10 ^ 8'den 4 * 10 ^ 3'e düştüğünü görüyoruz, bu da 5 kat daha azdır. Bu nedenle, sadece 100'den az etek resmi toplamamız gerekiyor.
Aşağıda, aktarımla öğrenmeyi kullanarak verileri nasıl analiz edeceğinizi öğreteceğim.
Elbette, kıyafetleri doğrudan nasıl modelleyeceğinizi görmek için aşağıya da kaydırabilirsiniz.
Transfer öğrenmenin pratik örnekleri: duyarlılık analizi
Bu örnekte 72 film incelememiz var
Belirgin duygu belirteçleri olmayan 62 kelime, bunlar eğitim öncesi model için kullanılacak
8 çubuk bariz duygular içeriyor, bunlar modeli eğitmek için kullanılacak
2 çubuk bariz duygular içerir, bunlar modeli test etmek için kullanılacaktır
Yalnızca 8 etiketli cümleye sahip olduğumuz için, önce modeli yalnızca bağlam tahmini gerçekleştirecek şekilde önceden eğitiyoruz. Yalnızca 8 cümleden oluşan bir model eğitirsek, bu% 50 doğruluk sağlayacaktır ve% 50, tahmin etmek için yazı tura atmakla aynıdır.
Bu sorunu çözmek için, önce modeli önceden eğitmek için 62 cümle kullanarak transfer öğrenmeyi kullanırız. Daha sonra, ilk modelin bir parçasını kullanırız ve üzerinde duyarlılık sınıflandırıcıyı 8 cümle eğitmesi için eğitiriz. Son olarak, kalan 2 cümle üzerinde test yapılırken% 100 doğruluk elde edilebilir.
ilk adım
Kelimeler arasındaki ilişkiyi simüle etmek için bir ağ eğitiyoruz. Bir cümleye bir kelime giriyoruz ve bu kelimeyle aynı cümledeki diğer kelimeleri tahmin etmeye çalışıyoruz. Kodda, gömme matrisi, her bir kelimenin vektör temsilini saklayan bir kelime boyutu x gömme_size'ne sahiptir (burada, boyut 4 kullanılır).
İkinci adım
Bu grafiği, benzer bağlamlarda görünen kelimelerin benzer vektör temsilleri elde etmesi için eğitiyoruz. Bu cümleleri önceden işlerken, durdurma kelimelerini siliyoruz ve her kelimeyi bir simgeye dönüştürüyoruz. Her seferinde bir kelime giriyoruz ve bu kelime ile çevresindeki kelimeler arasındaki uzaklık vektörünü en aza indirmeye ve bu kelime ile bağlamında olmayan birkaç rastgele kelime arasındaki mesafeyi artırmaya çalışıyoruz.
üçüncü adım
Şimdi cümlenin duyarlılığını tahmin etmeye çalışıyoruz. Olumlu ve olumsuz olarak işaretlenmiş 10 (8 eğitim + 2 test) cümlemiz var. Önceki model zaten tüm kelimeleri öğrenmek için bir vektöre sahip olduğundan ve vektör, kelimenin bağlamını temsil eden bir sayı niteliğine sahip olduğundan, bu duyguları tahmin etmeyi kolaylaştıracaktır.
Cümle vektörünü cümledeki kelime sayısının ortalamasına ayarlayın (asıl görevde LSTM'ye benzer bir şey kullanacağız). Cümle vektörü modelde girdi olarak geçirilecek ve çıktı pozitif veya negatif bir puan olacaktır. Etiketli cümleler arasında gizli bir katman eğitim modeli kullanıyoruz. Kodda gösterildiği gibi, yalnızca 10 örnekle, bu modeli% 100 test doğruluğuna ulaşmak için kullanıyoruz.
Bu bir örnek olsa da, transfer öğrenmeyi kullandıktan sonra doğruluğun% 50'den% 100'e önemli ölçüde arttığını da görebiliriz.
Tüm örneği ve kodu görmek için burayı ziyaret edebilirsiniz:
https://gist.github.com/prats226/9fffe8ba08e378e3d027610921c51a78
Transfer öğrenmeyi kullanmanın zorlukları
Transfer öğrenimi bir model oluştururken daha az veri gerektirse de, bu yöntemi kullanmak onu etkili kılmak için daha fazla uzmanlık gerektirir. Yukarıdaki örneğe bakarak, sadece sabit kodlanmış parametrelerin sayısını sayarak, model çalışana kadar bunlarda hata ayıklamanın ne kadar zahmetli olduğunu tahmin edebilirsiniz. Bu nedenle, transfer öğrenmeyi uygulamada kullanmak çok zordur.
Transfer öğrenmeyle ilgili bazı problemler aşağıdaki gibidir:
-
Ön eğitim için büyük veri kümeleri bulun
-
Ön eğitim için hangi modeli kullanacağınıza karar verin
-
Hangi modelin ve eğitim öncesi modelin sorun yaşadığını ayıklamak zordur.
-
Modeli eğitmek için ne kadar fazla verinin yeterli olduğunu bilmiyorum
-
Önceden eğitilmiş modelleri kullanmayı nerede bırakacağınıza karar vermek zor
-
Önceden eğitilmiş modelin üstünde kullanılan modeldeki katman ve parametre sayısına karar verin
-
Barındırma ve hizmet portföy modeli
-
Daha fazla veri veya daha iyi teknoloji mevcut olduğunda, önceden eğitilmiş modeli güncelleyin
Bu sorunları bizzat yaşadıktan sonra, kullanımı kolay bulut tabanlı bir derin öğrenme hizmeti oluşturarak bu sorunları çözmeye başladık. Sonunda, milyonlarca parametreyle eğitilmiş bir dizi önceden eğitilmiş modeli içeren bir makine öğrenimi API'si geliştirdik. Kendi verilerinizi yükleyin (veya ağ verilerini arayın), göreviniz için en iyi modeli seçecek, mevcut önceden eğitilmiş modelin üzerine yeni bir NanoNet oluşturacak ve NanoNet'i verilerinize uyarlayacaktır.
Şimdi mavi-siyah etek ve beyaz-altın eteklerin sınıflandırmasına bakalım.
Ziyaret etmek www.nanonets.ai, Kendi NanoNet'lerinizi oluşturun.
Önce sıralama seçenekleri
Ardından modeli oluşturmak için NanoNets ile birlikte gelen arama motorunu kullanın (kendi görsellerinizi de yükleyebilirsiniz).
Son olarak, model hazır olduğunda, sistem size test görüntülerini yüklemeniz için kullanımı kolay bir web arayüzü ve herhangi bir dilde (mavi ve siyah etek ve platin etek) kullanılabilen bir API verecek.Sorun çözüldü.
Orijinal adres: https://medium.com/nanonets/nanonets-how-to-use-deep-learning-when-you-have-limited-data-f68c0b512cab#.vnvcisivv
[AI Unicorn'u Arıyor] Xinzhiyuan, 10 büyük başkentle güçlerini birleştirdi
2017 Girişimcilik Yarışması'nı başlatın
AI Girişimcilik Yarışması, Xinzhiyuan ve 10 ana akım AI girişim sermayesi kuruluşundan oluşur: Blue Run Ventures, Sequoia Capital China Fund, Hillhouse Smart Artificial Intelligence Fund, Blue Lake Capital, Blue Elephant Capital, IDG Capital, Gaorong Capital, CITIC Jiantou Securities, Mingshi Capital ve Songhe Yuanwang Fund tarafından ortaklaşa başlatılan, Xinzhiyuan sponsorluğunda, Pekin Zhongguancun Bilim Parkı Yönetim Komitesi ve Zhongguancun Bilim Parkı Haidian Park Yönetim Komitesi tarafından desteklenen, AI teknoloji liderleri ve yatırım liderlerinin bir araya gelmesidir. Büyük olay. Xinzhiyuan, risk sermayesi kaynaklarıyla geleceğin iddialı AI tek boynuzlu atlarına bağlanmak için güçlü bir fırsat sunuyor ve en iyi risk sermayesi TS sizi bekliyor.
Orijinal metni okumak ve çevrimiçi başvuru formunu doldurmak için makalenin altına tıklayın. Seçime katılmak için kayıt formu gereklidir.
Daha fazla bilgiye sahipseniz (BP, vb.), Xzy100@aiera.com.cn adresine gönderebilirsiniz.Lütfen e-postanın konusuna şirket adını belirtin. Herhangi bir sorunuz varsa, posta kutusuna bir mektup da gönderebilirsiniz.
