Özel | Üst düzey özellikler oluşturmak için büyük ölçekli denetimsiz veriler nasıl kullanılır?
Yazar: Jae Duk Seo
Çeviri: Nicola
Redaksiyon: Ding Nanya
Bu makale hakkında 3000 Word, önerilen okuma 9 dakika.
Bu makale sizi Twitter'ın tüm ürün zincirinin yapısına götürür ve çeşitli şirket türlerinde veri biliminin nasıl çalıştığını anlar.
Daha güçlü bir özellik dedektörü nasıl oluşturulur? Bunu denetimsiz öğrenme yoluyla yapabilir miyiz?
Lütfen bu makalenin kendi kullanımım için bir inceleme özeti materyali olduğunu unutmayın.
Bu makalenin yazarları, belirli sınıflandırma özelliği tanıyıcıları yapmak için etiketlenmemiş verileri kullanmayı severler. (Örneğin, bir yüz tanıyıcı yapmak için etiketlenmemiş yüz görüntüleri kullanmak.) Bu amaca ulaşmak için yazar, büyük bir veri kümesi üzerinde 9 katmanlı bir otomatik seyrek kodlayıcı yaptı. Popüler inanışın aksine, bu, herhangi bir etiket verisi olmadan bir yüz dedektörü oluşturabilir ve ImageNet verilerinin en son performansından daha iyidir. (2012'de).
Giriş
Bu makalenin amacı, yalnızca etiketlenmemiş görüntülere dayalı belirli bir sınıflandırma özelliği tanıyıcı oluşturmaktır. Bu aynı zamanda sinirbilimin fikridir: "İnsan beyninde oldukça spesifik nöron türleri vardır", genellikle gayri resmi olarak "anne Nöronlar ". Geleneksel bilgisayar vizyonunda, çoğu araştırmacı bu tanıyıcıları elde etmek için etiketli verileri kullanır, ancak büyük miktarda veri için bu zordur. Bu deneyin başarısı, gelişmiş özelliklerin ve ana nöronların etiketlenmemiş verilerden öğrenilebileceğini gösteriyor. Bu yöntemlerin çoğu (otomatik seyrek kodlayıcılar gibi) yalnızca kenarlar veya lekeler gibi düşük seviyeli özellikler için kullanılabilir.
Yazar, derin öğrenmenin bu kadar zaman almasının nedeninin gelişmiş özelliklerin eksikliğinden kaynaklandığını varsayar.Örneğin, görüntü daha küçük olacak şekilde yeniden boyutlandırılır.Bu tür bir bozulma, gelişmiş özelliklerin öğrenilmesini yok edecektir. Yazar görüntüyü küçültmedi ve çok fazla bilgi işlem gücü kullanmadı. Etiketsiz verilerden üst düzey özellikleri öğrenmenin mümkün olduğu kanıtlanmıştır. Son olarak, öğrenme filtresini kullanarak, ImageNet veri setinin en son teknik performansını geçmeyi başardılar. (2012).
Veri seti yapısı / algoritması
Yukarıda bahsedildiği gibi, Youtube videolarının rastgele seçilmiş 10 milyon segmentinden, OpenCV yüz tanıma özelliğini kullanarak 10 milyon örneklenmiş segmentte bir yüzün görünme olasılığının% 3'ten az olduğu sonucuna vardılar.
Burada kullanılan algoritma esinlenmiştir Farklı denetimsiz öğrenme algoritmaları türleri Başarı. (RBM, seyrek otomatik kodlayıcı, vb.). Yazarın amacı, sadece düşük seviyeli değil, daha yüksek seviyeli özellikleri öğrenmektir.
Yukarıda belirtildiği gibi, yazar tarafından kullanılan mimari, bazı bükülmelerle derin bir otomatik seyrek kodlayıcı olarak düşünülebilir ve aynı zamanda yerel sensörler, havuzlama ve yerel yanıt normalleştirmesidir (L2 havuzunu kullanarak). Beynin benimsediği mimari, bir dizi birleşik modülü bir araya getirerek seçicilik ve tolerans katmanları arasında geçiş yapmaktır. Dikkat edilmesi gereken önemli bir nokta, ağın yerel sensörleri kullanmasına rağmen, bunların evrişimli olmamasıdır (parametreler görüntüdeki farklı konumlarda paylaşılamaz), bu da biyolojik olarak daha makuldür.
Öğrenin ve optimize edin
Öğrenme süresi boyunca, ikinci alt katman tek tip bir ağırlığa sabitlenecek ve tüm kodlayıcılardaki ve kod çözücülerdeki diğer ağırlıklar yukarıdaki maliyet fonksiyonu tarafından işlenecektir. Optimizasyon problemine Topografik ICA (Topografik ICA) da denir Temel olarak, ilk öğe kodlamadaki veriler hakkında önemli bilgiler sağlar ve ikinci öğe varyans elde etmek için benzer özelliklere sahip özelliklerin kombinasyonunu teşvik eder.
Bu makalenin yazarı kullandı Asenkron Stokastik Gradyan İniş (ASGD) , Ağı üç gün boyunca işlemek için 1000 makine kümesi kullandı.
Yüz deneyi
Bu test verisi, Wild'daki Etiketli Yüzler veri kümesinden ve ImageNet veri kümesinden alınan 37.000 görüntüden oluşur. Eğitimden sonra yazar, yüzleri tespit etmede her bir nöronun performansını ölçmek için test setini kullanır. Şaşırtıcı bir şekilde, en iyi nöronlar yüzleri% 81,7 doğrulukla algılayabilir. Yerel kontrast normalizasyonu olmayan katmanlar için doğruluk% 78,5'e düşürülecektir.
Yukarıdaki tabloyu elde etmek için aktivasyon değerini bir histograma dönüştürdüler.Etiketli veriler olmadan bile bir yüz dedektörü eğitmenin mümkün olduğu açıkça görülebilir.
Yazar, nöronal uyarımı en üst düzeye çıkarmak için iki teknik kullanır. (Test setindeki en pozitif uyaranı görselleştirin ve en iyi uyaranı bulmak için değeri en üst düzeye çıkarın). Bu, nöronun gerçekten bir yüz arayıp aramadığını doğrulayabilir. Ve ek deneyler aracılığıyla sonuçlar, bilinen ağırlıkların dikey veya sola-sağa döndürme ve ölçekleme gibi farklı varyanslara karşılık geldiğini gösteriyor.
Kedi ve insan dedektörü
Yazar ayrıca ağın kediler ve insanlar gibi daha üst düzey özellikleri öğrenip öğrenemeyeceğini bilmek istiyor. Yukarıda bahsedildiği gibi, ağdaki bazı nöronlar, kediler veya insanlar gibi üst düzey özelliklere sahip şekilleri algılayabilir. Kendi veri setlerinde yapılan testlerin sonuçları, kedilerde ve insanlarda sırasıyla% 74,8 ve% 76,7'ye ulaştıklarını gösterdi.
ImageNet aracılığıyla görüntü tanıma
Eğitilmiş ağırlıklara tüm mantıksal sınıflandırıcılardan bir çift ekledikten sonra, o sırada temelden (2012) daha iyi performans gösterebilen ImageNet veri setinde ağı yeniden eğittiler (bu yönteme denetimsiz ön eğitim de denir) . 22.000 kategoriye sahip ImageNet'te, diğer en iyi sonuçları% 70 oranında geride bıraktı. Aynı zamanda tüm performans yukarıdaki tabloda görülebilir.
sonuç olarak
Özetle, büyük miktarda veri ve bilgisayar gücü kullanarak, yalnızca etiketlenmemiş verileri kullanarak gelişmiş yüz ve vücut tanıma performansı elde etmek mümkündür. Ek olarak, bu yöntem 2012 ImageNet veri setinin temel performansından daha iyi performans gösterecektir.
sonBu çok güzel bir deney, ancak gerekli veri miktarı (ve hesaplama gücü) çok büyük, belki de uygulanmamasının nedeni budur.
referans1, Le, Q., Ranzato, M., Monga, R., Devin, M., Chen, K., ve Corrado, G. ve diğerleri (2011). Büyük ölçekli denetimsiz öğrenmeyi kullanarak üst düzey özellikler oluşturma. Arxiv.org. 15 Ağustos 2018 tarihinde https://arxiv.org/abs/1112.6209 adresinden erişildi.
Orjinal başlık:
Büyük Ölçekli Denetimsiz Öğrenim Kullanarak Üst Düzey Özellikler Oluşturma
Çevirmen Profili
Doğu Kuzey Amerika'da son sınıf öğrencisi olan Nicola, siyaset ve verileri seven bir işletme öğrencisi. Boş zamanlarımda akademik belgeleri çevirerek, tatillerde farklı yerlere seyahat ederek, koku ve cilt bakımı okuyarak bilgimi genişletiyorum. Aynı zamanda, gelecekteki daha fazla veri bilimcisini tanımayı umarak veritabanı analizi vb. İle de iletişim kuruyorum.
Tsinghua-Qingdao Veri Bilimi Enstitüsü'nün resmi WeChat kamu platformunu takip edin " THU Veri Pastası "Ve kız kardeş numarası" Veri Pastası THU "Daha fazla ders avantajı ve kaliteli içerik elde edin.
