Tang Xiaoou, CNN için güçlü bir hap sürdü
İçbükey tapınaktan Xia Yi
Qubit Üretildi | Genel Hesap QbitAI
Çoğu zaman, çok sayıda GPU beslenir ve sinir ağı eğitilir.
Sonra üzücü bir anınız olabilir:
- Sınıf arkadaşları, test verileri ve eğitim verileri, renk tonu ve parlaklık aynı değildir.
- Sınıf arkadaşları, yeni bir veri seti almalısınız.
Bir modeli yeniden oluşturmalı mıyız, yoksa parametreleri yeni verilerle yeniden ayarlamalı ve bu önceden eğitilmiş model üzerinde aktarım öğrenimi gerçekleştirmeli miyiz?
Hong Kong-Shangtang Ortak Laboratuvarı Çin Üniversitesi'nden Pan Xingang, Luo Ping, Tang Xiaoou ve Shangtang'dan Shi Jianping yeni bir seçenek sundu.
Yalnızca CNN'in orijinal etki alanındaki yeteneklerini geliştirmesine yardımcı olmakla kalmayıp aynı zamanda yeni etki alanlarına daha iyi genellemesine yardımcı olan yeni bir evrişimli mimari tasarladılar.
Bu yeni mimarinin adı IBN-Net .
Berkeley'in ev sahipliği yaptığı WAD 2018 Challenge'da Sürülebilir Alan (sürüş alanı) pist şampiyonluğunu kazandı. İlgili belgeler Aynı Anda İki Adet: IBN-Net ile Öğrenme ve Genelleme Kapasitelerinin Geliştirilmesi Yaklaşan bilgisayarla görme konferansı ECCV 2018'de yayınlandı.
Sinir ağına bir güçlendirme ekleyin
IBN-Net, ResNet gibi bağımsız bir sinir ağı mimarisi değildir.Diğer derin öğrenme modelleriyle birlikte hesaplama maliyetini artırmadan performanslarını artırmak için kullanılabilir. Klasik DenseNet, ResNet, ResneXt, SEnet, vb. Yardımcı olmak için kullanabilir.
Bu, derin öğrenme modeline bir güçlendirme eklemeye veya başka bir deyişle güçlü bir hapı beslemeye eşdeğerdir.
Aynı zamanda, transfer öğrenmenin yerine geçer.
Modeli bir veri seti üzerinde eğittikten sonra, test verilerinin stili ve rengi eğitim setinden biraz farklıysa veya test verileri test için değiştirilirse, modelin performansı büyük ölçüde azalacaktır.
Şu anda, rutine göre geçiş yapma ve öğrenme ve eğitilen modelin parametrelerini ayarlamak için yeni verileri kullanma zamanı.
Bu kadar çok veri kümesiyle gerçek dünya daha da renkli ... Modelleri yeniden oluşturmak veya parametreleri tek tek ayarlamak için kaç mühendis gerekiyor?
Ancak IBN-Net, parametreleri ayarlamak için yeni verilere ihtiyaç duymaz ve modeli otomatik olarak yeni alanlara uyarlayabilir.
Filtreler eklemekten korkmayın, boyut duvarını geçin
Görüntü tanıma ve anlamsal bölümleme görevlerinde IBN-Net, derin öğrenme modellerinin puan kazanmasına yardımcı olabilir.
Örneğin, ImageNet'te IBN-Net'in (çeşitli varyantlar) eklenmesiyle, ResNet50'nin hata oranı aynı parametre ayarları ve aynı hesaplama maliyeti altında 0,5-1,5 yüzde puan azaltılabilir.
Test verileri orijinal ImageNet'e göre değiştirilirse, renk parlaklığını ve kontrastı ayarlayın veya hatta Cycle-GAN ile stili değiştirirseniz, temel ResNet50'nin hata oranı önemli ölçüde artacaktır. IBN-Net versiyonunun eklenmesiyle, yukarıdaki şekilde parantez içindeki verilerde gösterildiği gibi hata oranı daha az artırılabilir.
Aynısı anlamsal bölümleme görevleri için de geçerlidir.
IBN-Net tarafından desteklenen ResNet50, gerçek dünyadaki kentsel sokak görüntüsü veri seti Cityscapes ve sanal dünya GTA5 veri setinde orijinal versiyondan daha iyi sonuçlar elde edebilir.
Modelin sanal ve gerçeklik arasındaki boyutsal duvarı geçmesini istiyorum. Şehir Manzaralarına uyarlanabilir ve GTA5'te kullanılabilir IBN-Net de çok iyi.
Makaleye göre, modeli Cityscapes'den GTA5'e taşımak, IBN-Net kullanmak geçişten sonra performansı% 8,5 azaltabilir; GTA5'ten Cityscapes'e geçiş ise azalmayı% 7,5 azaltabilir.
Boyut duvarı boyunca bu tür bir göç çok faydalı olabilir. Örneğin otonom sürüş alanında, başlangıçta insansız araçları eğitmek için oyunların kullanılması yaygın bir işlemdir, ancak bu şekilde eğitilmiş algoritmaları gerçek ortama taşımak için çok sayıda ayarlamanın gerekli olduğu açıktır.
Modellerin farklı ortamlara daha hızlı ve daha iyi adapte olmasını sağlayan IBN-Net, sadece bir verimlilik iyileştirme aracıdır.
"IBN" tam olarak nedir?
Bu IBN-Net'in mimarisini anlamak için önce iki standardizasyon yöntemi IN (Instance Normalization) ve BN (Batch Normalization) ile başlamalıyız.
Hepsi sinir ağı ayarını daha basit hale getirebilir, daha yüksek öğrenme oranı kullanabilir ve daha hızlı birleşebilirler. Bir görüntü sınıflandırma modeli oluşturduysanız, batchnorm (BN) muhtemelen tanıdık gelirken, IN daha çok stil aktarımı gibi görevlerde kullanılır. BN ile karşılaştırıldığında, IN'nin iki ana özelliği vardır: Birincisi, görüntü özelliklerini standartlaştırmak için eğitim gruplarını kullanmaz, ancak tek bir örneğin istatistiksel bilgilerini kullanır; ikincisi, IN aynı standardizasyon adımlarını her ikisine de uygulayabilir Eğitim, çıkarım için kullanılır.
Pan Xingang ve arkadaşları, IN ve BN arasındaki temel farkın, IN'nin öğrendiği şeyin renk, stil, sanallık / gerçeklik gibi görünüm değişiklikleri ile değişmeyen özellikler olduğunu ve içerikle ilgili bilgileri muhafaza etmek olduğunu bulmuşlardır, BN .
İkisinin kombinasyonu IBN-Net olur.
Modeldeki IN ve BN kombinasyonunu da ihtiyaçlarınıza göre ayarlayabilirsiniz.
Çeşitli varyantların özel koşulları, makalede daha açık bir şekilde anlatılmıştır.
Kağıt: https://arxiv.org/pdf/1807.09441.pdf
(Henüz mevcut değil) Kod: https://github.com/XingangPan/IBN-Net
Hmm ... Açık kaynak kodu henüz yayınlanmadı, ancak depo kuruldu.
Umarım bu repo yakında dolur ~
- Bitiş -
Stajyer işe alım
Qubit, etkinlik operasyonu stajyerlerini işe alıyor, AI yıldız şirketlerinin CEO'larını ve yöneticilerini içeren çevrimiçi / çevrimdışı etkinlikleri planlıyor ve yürütüyor ve AI sektör liderleriyle doğrudan iletişim kurma fırsatına sahip. Çalışma yeri Pekin, Zhongguancun'da. Lütfen özgeçmişinizi quxin@qbitai.com adresine gönderin.
Ayrıntılar için lütfen QbitAI diyalog arayüzünde "Stajyer" yazarak yanıt verin.
Qubit QbitAI · Toutiao İmzalayan Yazar
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
