Verileriniz yeterince güçlü değil! Google Brain "Data Enhancement" açık kaynaktır, QuocLe tarafından üretilmiştir
İçbükey tapınaktan on üç Qubit Raporu | Genel Hesap QbitAI
Verileriniz yeterince güçlü değil.
Derin öğrenmeyi oynayan herkes, yapay zeka algoritmalarının çoğunun Veri tabanlı . Verilerin kalitesi modelin kalitesini bir ölçüde belirler.
Bunun doğal bir derin öğrenme eksikliği vardır: Yeterli veri yok, yeterince iyi değil .
ve Veri geliştirme Bu sorunu çözmenin etkili bir yoludur.
Google Brain, geçen yıl otomatik bir veri büyütme yöntemi (AutoAugment) önerdi ve bu, görüntü sınıflandırması ve hedef tespiti gibi görevlere gerçekten de fayda sağladı.
Ancak dezavantajları da açıktır:
1. Bu tür yöntemlerin geniş ölçekte benimsenmesi, eğitim karmaşıklığını artıracak ve hesaplama maliyetlerini artıracaktır;
2. Düzenleme yoğunluğu, modele veya veri seti boyutuna göre ayarlanamaz.
O zamandan beri, Google Brain ekibi bir veri geliştirme yöntemi önerdi. RandAugment .
Bu yöntem ne kadar iyi?
Google Brain Kıdemli Araştırma Bilimcisi Barret Zoph şunları söyledi:
RandAugment, AutoAugment'dan daha basit ve kullanımı daha kolay olan yeni bir veri geliştirme yöntemidir.
Ana fikir, dönüşümleri rastgele seçmek ve boyutlarını ayarlamaktır.
Nihai deneysel sonuçlar şunları göstermektedir:
1. ImageNet veri setinde, önceki seviyeden% 0.6 daha yüksek ve taban çizgisinden% 1.0 daha yüksek olan% 85.0 doğruluk oranına ulaşılır.
2. Hedef tespiti açısından RandAugment, temel geliştirme yöntemlerine kıyasla% 1.0-1.3 iyileştirebilir.
Bu çalışmanın ilgili yazarının Google'ın AutoML'sinin arkasındaki kahraman olan Quoc Viet Le olduğunu belirtmekte fayda var.
Quoc Viet Le
Böyle iyi bir teknoloji elbette açık kaynak kodu: https://github.com/tensorflow/tpu/blob/master/models/official/efficientnet/autoaugment.py
RandAugment bunu nasıl yapıyor?
Daha önce de belirtildiği gibi, sorunun özü, ayrı arama yapmaktır.
Yani araştırmacının amacı, Veri iyileştirme sırasında ayrı arama ihtiyacını ortadan kaldırın .
Ekip, önceki veri geliştirme yöntemlerinin 30'dan fazla parametre içerdiğini göz önünde bulundurarak, odak noktasını nasıl yapılacağına da kaydırdı. Veri geliştirme için parametre alanını önemli ölçüde azaltın .
Araştırmacılar, verilerin (görüntülerin) çeşitliliğini korurken parametre alanını azaltmak için Parametresiz prosedür Strateji ve olasılıkları öğrenmek yerine.
Bu stratejiler ve olasılıklar her dönüşüm için geçerlidir ve süreç her zaman tek tip 1 / k olasılıkla bir dönüşümü seçer.
Başka bir deyişle, eğitim görüntüsünün N dönüşümü verildiğinde, RandAugment KN potansiyel stratejilerini temsil edebilir.
Son olarak, dikkate alınması gereken bir dizi parametre, her bir büyütme distorsiyonunun büyüklüğüdür.
Araştırmacılar, her dönüşümün gücünü belirtmek için doğrusal bir ölçek kullandılar. Basitçe söylemek gerekirse, her dönüşüm, 0 ila 10 arasındaki tam sayı aralığındadır; burada 10, belirli bir dönüşümün maksimum aralığını temsil eder.
Ekip, parametre alanını daha da azaltmak için, her dönüşümün öğrenilen büyüklüğünün eğitim sırasında benzer bir tabloyu izlediğini gözlemledi:
Ve tek bir global distorsiyon M'nin (global distorsiyon M) tüm dönüşümleri parametrelendirmek için yeterli olabileceğini varsayalım.
Bu şekilde, üretilen algoritma, iki satır Python kodu ile de ifade edilebilen iki N ve M parametresi içerir:
RandAugment Python kodu numpy'ye göre
Bu iki parametre yorumlanabilir olduğundan, N ve M'nin değeri ne kadar büyükse, düzenlilik gücü o kadar büyük olur.
Hiperparametreleri verimli bir şekilde optimize etmek için standart yöntemler kullanılabilir, ancak son derece küçük arama alanı göz önüne alındığında, araştırmacılar naif grid aramanın çok etkili olduğunu bulmuşlardır.
Deneysel sonuçlar
Deneysel kısımda, esas olarak Görüntü sınıflandırması ile Hedef Tespiti Açın.
Araştırmacıların daha çok ilgilendiği veri kümeleri şunları içerir: CIFAR-10, CIFAR-100, SVHN, ImageNet ve COCO.
Bu şekilde, RandAugment'ın veri geliştirmedeki avantajlarını kanıtlamak için önceki çalışmalarla karşılaştırılabilir.
Veri geliştirmenin bir öncülü, daha büyük bir görevi yansıtabilecek küçük bir proxy görevi oluşturmaktır.
Araştırmacılar bu hipoteze meydan okudu:
Sorunu tanımlamak için küçük vekil görevlerini kullanmak, öğrenme verilerinin iyileştirilmesi için uygundur.
Özellikle, bu sorunu, genellikle küçük proxy görevlerinin uygulanmasıyla sınırlı olan iki bağımsız boyuttan tartışın: model boyutu ve veri seti boyutu.
Bu hipotezi keşfetmek için araştırmacılar, veri artırma stratejilerinin CIFAR-10 üzerindeki etkisini sistematik olarak ölçtüler. Sonuç aşağıda gösterilmiştir:
Optimum geliştirme miktarı, modelin ve eğitim setinin boyutuna bağlıdır.
onların arasında:
Şekil (a), Wide-ResNet-28-2, Wide-ResNet-28-7 ve Wide-ResNet-28-10'un çeşitli distorsiyon büyüklükleri altındaki doğruluğunu göstermektedir.
Şekil (b) yedi Wide-ResNet-28 mimarisinde genişleme parametresinin (k) değişmesiyle üretilen en iyi distorsiyon genliğini göstermektedir.
Şekil (c), Wide-ResNet-28-10'un çeşitli distorsiyon genlikleri üzerindeki üç eğitim seti boyutunun (1K, 4K ve 10K) doğruluğunu gösterir.
Şekil (d) 8 eğitim seti boyutunda en iyi distorsiyon genliği.
CIFAR-10, CIFAR-100, SVHN (çekirdek seti) ve SVHN'de test doğruluğu (%).
Bunlar arasında temel, varsayılan veri geliştirme yöntemidir.
PBA: Nüfus Bazlı Artış; Hızlı AA: Hızlı Otomatik Artırma; AA: Otomatik Büyütme; RA: RandAugment.
Bununla birlikte, CIFAR-10 ve SVHN modellerini iyileştirmeye yönelik veri geliştirme yöntemlerinin, ImageNet gibi büyük ölçekli görevler için her zaman uygun olmadığını belirtmek gerekir.
Benzer şekilde, ImageNet'teki AutoAugment'ın performans iyileştirmesi diğer görevler kadar iyi değildir.
Aşağıdaki tablo, RandAugment ve ImageNet'teki diğer geliştirme yöntemlerinin performansını karşılaştırmaktadır.
ImageNet sonuçları.
En küçük modelde (ResNet-50), RandAugment'in performansı AutoAugment ve Fast AutoAugment'e benzer, ancak daha büyük modelde RandAugment'in performansı, taban çizgisinden% 1,3 daha yüksek olan diğer yöntemlerden önemli ölçüde daha iyidir.
Bu yöntemin çok yönlülüğünü daha fazla test etmek için, araştırmacılar daha sonra COCO veri setinde büyük ölçekli bir hedef tespit görevi gerçekleştirdiler.
Hedef tespit sonucu.
COCO hedef tespit görevinin ortalama ortalama hassasiyeti (mAP). Değer ne kadar yüksekse sonuç o kadar iyi olur.
İşin bir sonraki adımı
Veri geliştirmenin görüntü bölümleme, 3 boyutlu algılama, konuşma tanıma veya ses tanıma gibi tahmin performansını artırabileceğini biliyoruz.
Araştırmacılar, gelecekteki çalışmaların bu yöntemin diğer makine öğrenimi alanlarına nasıl uygulanacağını inceleyeceğini söyledi.
Özellikle, bir veri setinin veya görevin, optimum performans için ayrı bir arama aşaması gerektirip gerektirmeyeceğini / ne zaman gerektirebileceğini daha iyi anlamak arzu edilir.
Son olarak, araştırmacılar ayrıca çözülmemiş bir soru ortaya attılar:
Belirli bir modelin tahmin performansını daha da iyileştirmek için belirli bir görev için bir dizi dönüşüm nasıl özelleştirilir.
Bunun hakkında ne düşünüyorsun?
Portal
Kağıt adresi: https://arxiv.org/pdf/1909.13719.pdf
GitHub adresi: https://github.com/tensorflow/tpu/blob/master/models/official/efficientnet/autoaugment.py
- Bitiş -
Qubit QbitAI · Toutiao İmzalı
Bize dikkat edin ve en son teknolojideki en son gelişmeleri alın
-
- 2019 Globally Cited Scholars listesi yayınlandı: Çin'den 735 kişi seçildi ve bilgisayar birinci oldu
