Hiçbir şeyden daha iyi olmaktan yararlı olmaya kadar, yarı denetimli öğrenme devrimi sessizce geliyor
Lei Feng.com AI teknolojisi yorum notu: Makine öğrenimi mühendisleri için en yaygın durumlardan biri, büyük miktarda veriyi kolayca toplayabilmeleridir, ancak veri ek açıklaması için çok sınırlı kaynaklara sahiptirler. Bu utanç verici durumla karşılaşan herkes, sadece sakinleşebilir ve durumlarını özlü ve net "çok fazla denetlenmemiş veri, ancak çok fazla etiketlenmemiş veri" şeklinde özetleyebilir ve ardından kağıda başvurduktan sonra resme göre bir kategori bulabilir. Uygulanabilir bir çözüm: yarı denetimli öğrenme.
Sonra işler değişmeye başladı.
Kulağa güzel geliyor ama bu büyük bir çukur
Uzun zamandır, yarı denetimli öğrenme, makine öğrenimi alanında büyük bir çukur oldu. Bundan kâr elde etmeye çalışan her mühendis, yalnızca geleneksel ve eski moda veri açıklamalarına daha fazla anlayış katabilir. Farklı problemlerin farklı performansları olabilir, ancak sonuçta benzerler, hadi aşağıdaki resme bakalım:
Çok fazla etiketlenmiş veri olmadığında, yarı denetimli öğrenme gerçekten de belirli performans iyileştirmeleri sağlayabilir. Ancak gerçek kullanımda, bu iyileştirmelerin yalnızca modelin performansını "korkunç ve kabul edilemezden" "biraz daha iyiye" iyileştirmenize yardımcı olabileceğini, ancak yine de kullanmanın bir yolu olmadığını göreceksiniz. Sonuçta, ek açıklama verilerinizin ölçeği yarı denetimli öğrenmenin yardımcı olabileceği kadar küçükse, aynı zamanda sınıflandırıcı performansınızın hala çok zayıf bir seviyede olduğunu ve pratikte kullanılamayacağını gösterir.
Buna ek olarak, yarı denetimli öğrenme ayrıca bazı ek kaynak maliyetleri gerektirir ve yarı denetimli öğrenme yöntemi daha fazla etiketli veriyle yüzleşmek için kullanıldığında, performans büyüme eğrisi denetimli öğrenmeden daha yumuşak olacaktır; nedenlerden biri hayır Açıklamalı veriler yanlılığa neden olabilir (bkz. MITPress-% 20SemiSupervised% 20Learning.pdf, bölüm 4). Derin öğrenmenin ilk günlerinde, yarı denetimli bir öğrenme uygulaması popülerdi.İlk olarak, etiketlenmemiş veriler üzerinde bir otomatik kodlayıcı öğrenildi ve ardından etiketlenen veriler üzerinde ince ayar yapıldı. Şu anda neredeyse hiç kimse bunu yapmadı, çünkü sayısız deney sayesinde herkes, otomatik kodlayıcı aracılığıyla öğrenilen gösterimin, ince ayarlama aşamasında eklenen etiketli verilerin getirdiği performans iyileştirmesini etkileyeceğini keşfetti ve bu bir sınırlamadır. İlginç olan şu ki, bugün üretken yöntemi büyük ölçüde geliştirmiş olsak bile, bu hala bu modeli daha iyi hale getirmekte başarısız oluyor; bunun nedeni muhtemelen, iyi bir üretken formül ve model yapmak ve iyi bir model oluşturmaktır. Sınıflandırıcılar sonuçta aynı şey değildir. Sonuç olarak, günümüz mühendisleri ince ayar yaptıklarında, denetimli öğrenim temelinde ince ayar yapıyorlar (dil modelleri için bile, metin öğrenmek aslında kendi kendine denetlenen bir öğrenme sürecidir) Pratik bir bakış açısıyla, diğer denetimli eğitim öncesi modellerden göç öğreniminin etkisi, denetimsiz öğrenme modellerinden geçişin etkisinden çok daha iyidir. .
Bu nedenle, yarı denetimli öğrenmeyi denemesi gereken bir makine öğrenimi mühendisinin böyle bir yol izlemesi muhtemeldir:
Veri eksikliği nedeniyle, modelin performansı korkunç. Yarı denetimli öğrenmeyi deneyelim (sonuçta, bu hala biraz teknik, standart veriler çok sıkıcı);
Görüyorsunuz, doğruluk oranı arttı! Ancak sayı hala oldukça düşük, görünüşe göre hala daha fazla veriyi işaretlememiz gerekiyor
Sonuçta, standart veriler hala kullanışlıdır.Verileri birkaç kez çarptıktan sonra, yarı denetimli öğrenme modelinin performansı arttı. Ama biraz merak ediyorum, çok fazla veriyi işaretledim, doğrudan denetimli öğrenimi kullanırsam ne olur?
Uygulama, çok fazla veriyle, denetimli öğrenmenin hala daha basit ve daha doğrudan olduğunu ve etkisinin daha iyi olduğunu kanıtlamıştır. Öyleyse neden başlangıçta daha fazla veriyi etiketlemiyoruz? Yarı denetimli öğrenmeyi denemek için çok fazla zaman ve çaba harcadıktan sonra, sonuçlar hala mevcut değil ...
Şanslıysanız, sorununuz böyle bir performans eğrisine sahip olabilir:
Bu durumda, yarı denetimli öğrenmenin etkisi belirli bir veri ölçeği içinde daha iyi olacaktır ve veri kullanımının verimliliğini artırmaktadır. Ama tecrübelerime göre, ilk başta böyle bir duruma ulaşmak zor; ikincisi, yarı denetimli öğrenmenin iyileştirilmesi her zaman çok değil.Akademik makalelerde, pratik uygulamalar üzerinde çok az etkisi olan noktaları fırçalamakta sorun yok. Yöntemin karmaşıklığı ve daha fazla bilgi işlem kaynağının kullanılması, doğrudan çoklu noktalama verilerinin girdi-çıktı oranı kadar iyi değildir.
Devrim geliyor
Ama endişelenmeyin, makalemizin başlığı "Yarı denetimli öğrenme devrimi sessizce geliyor mu?"
Bugün Weiwei için heyecan verici olan şey, yarı denetimli öğrenmenin performans geliştirme eğrisinin yavaş yavaş şu hale gelmesidir:
Bu gerçek bir fark yaratacak. Her şeyden önce, bu eğri herkesin yarı denetimli öğrenmeye ilişkin beklentilerini karşılar: daha fazla veri daha iyi performansa sahiptir ve aynı etiketli veriler için performans, denetimli öğrenme yöntemlerinden her zaman daha iyidir; veri miktarı yeterince büyük olsa bile , Denetimli öğrenmenin iyi sonuçlar üretebildiği ölçüde, yarı denetimli öğrenme hala gelişmektedir. Dahası, bu iyileştirmeleri gerçekleştirmek için gereken ek hesaplama karmaşıklığı ve kaynaklar zaten çok küçüktür. Bu "sihirli alan", daha düşük bir başlangıç noktasına sahiptir ve verilerin boyutuyla sınırlı değildir.
Peki ne oldu? Verileri kendi kendine etiketlemenin birçok akıllıca yolu ve kaybı temsil etmenin yeni yolları gibi birçok alanda yeni gelişmeler olmuştur, böylece verilerdeki kayıp ve gürültü ve kendi kendine etiketlemenin getirebileceği önyargı birbiriyle koordine edilir. Bu iki makale, son gelişmelerin tipik örnekleridir ve ayrıca daha fazla ilgili makaleye göz atmanıza da yol açabilir:
MixMatch: Yarı Denetimli Öğrenmeye Bütünsel Bir Yaklaşım
-
MixMatch: yarı denetimli öğrenmeye bütünsel bir yaklaşım
-
https://arxiv.org/abs/1905.02249
-
Bildiri Özeti: Yarı denetimli öğrenme yöntemi, etiketlenmemiş verileri daha iyi kullanmak ve büyük ölçekli etiketli veri setlerine bağımlılığı azaltmak için önerilmiştir; şimdi bunun güçlü bir öğrenme paradigması olduğunu da kanıtlamıştır. Bu yazıda, yazarlar yarı denetimli öğrenme için farklı görevlerdeki mevcut uygulamaları birleştirdiler ve MixUp tahmin veri büyütme yöntemi ile oluşturulan etiketlenmemiş örnekleri kullanarak çalışan yeni bir algoritma olan MixMatch'i aldılar. Düşük entropili etiketleme, etiketlenmemiş veriler ve etiketlenmiş verilerle birleştirilir. Yazarlar, MixMatch'in çeşitli farklı veri kümelerinde ve çeşitli farklı etiketli veri boyutlarında büyük bir marjla önceki tüm yöntemlere öncülük edebileceğini deneyler aracılığıyla göstermektedir. Örneğin, CIFAR veri setinde sadece 250 etiket olması durumunda, yazarlar hata oranını önceki yöntemin 1 / 4'üne düşürdü ve STL-10 veri setinde de önceki yöntemin yarısına indirdi. Yazarlar ayrıca MixMatch'in farklı gizlilik amacıyla doğruluk ve gizlilik koruması arasında çok daha iyi bir denge sağlayabileceğini gösterdi. Son olarak, yazarlar MixMatch yönteminin hangi bileşenlerinin en kritik olduğunu analiz etmek için kontrollü bir deney yaptılar.
Denetimsiz Veri Artırma
-
Denetimsiz veri artırma
-
https://arxiv.org/abs/1904.12848
-
Makalenin özeti: Büyük miktarda veriye aç olan derin öğrenme karşısında, veri artırma yöntemleri talebin bir kısmını hafifletebilir, ancak veri artırma yöntemleri genellikle yalnızca denetimli öğrenme ortamlarında kullanılır ve getirdikleri iyileştirmeler nispeten sınırlıdır. Bu yazıda yazarlar, yarı denetimli bir öğrenme ortamında etiketlenmemiş verilere veri artırma uygulamak için yeni bir yöntem önermektedir. Onların yöntemi, denetimsiz veri artırma UDA, modelleri etiketlenmemiş veriler ve artırılmış etiketlenmemiş verilerle karşılaştıklarında tutarlı tahminler üretmeye teşvik edecektir. Gauss gürültüsünü ve çıkış gürültüsünü kullanan önceki yöntemlerin aksine, UDA'nın bazı küçük ayarlamaları vardır.Daha zor ve daha gerçekçi gürültü oluşturmak için en gelişmiş veri yükseltme yöntemlerini kullanır. Bu küçük ayarlamalar, kullanılan etiketli veri kümesi çok küçük olsa bile, UDA'nın altı dil görevinde ve üç görsel görevde önemli performans iyileştirmeleri getirmesine izin verdi. Örneğin, IMDb veri setinin sınıflandırma testinde UDA, 25.000 etiketli veri üzerinde önceki en iyi yöntem eğitiminden daha iyi sonuçlar elde etmek için yalnızca 20 etiket kullandı. Standart yarı denetimli öğrenme testinde (CIFAR-10, 4000 etiket; ve SVHN, 1000 etiket), UDA önceki tüm yöntemleri yendi ve hata oranını en az% 30 azalttı. UDA ayrıca büyük ölçekli veri setlerinde iyi bir performansa sahiptir.Örneğin, ImageNet'te yalnızca 1,3 milyon etiketlenmemiş görüntüye ihtiyaç vardır.Önceki yöntemle karşılaştırıldığında, UDA ayrıca ilk ve ilk beş isabet oranını iyileştirmeye devam edebilir.
Yarı denetimli öğrenim dünyasının tamamı yenilendikten sonra, herkes yarı denetimli öğrenmenin makine öğrenimindeki gizlilik sorunları açısından çok şey yapabileceğini fark etmeye başladı. Örneğin, PATE'de kullanılır (denetlenen veriler, korunması gereken özel verilerdir ve güçlü gizlilik koruması yeteneklerine sahip öğrenci modelleri yalnızca etiketlenmemiş veriler üzerinde eğitilebilir). Gizliliği koruyabilen bilgi damıtma yöntemi aynı zamanda birleşik öğrenmenin temel bileşenlerinden biridir ve birleşik öğrenmenin etkisi verimli dağıtılmış öğrenmedir.Modelin tüm kullanıcı verileriyle iletişim kurmasını gerektirmez ve matematiksel olarak güçlü bir gizlilik korumasına sahiptir. . (Daha fazla bilgi için lütfen Leifeng.com AI Technology Review'un farklı gizlilik koruması PATE ve federe öğrenme hakkındaki önceki makalesine bakın)
Günümüzde yarı denetimli öğrenmeyi gerçek kullanım senaryolarında düşünmek yine çok değerli bir şey haline geldi. Önceki araştırmacıların yarı denetimli öğrenmeyi küçümsemeleri şimdi sorgulanmaktadır ve bu da bu alandaki teknolojinin hızlı gelişimini göstermektedir. Bu trendlerin ortaya çıkmasının üzerinden uzun zaman geçmedi ve bu yöntemlerin zamanın testine dayanabileceğini hala gözlemlememiz gerekiyor. Bununla birlikte, yaygın olarak kullanılan makine öğrenimi araçları ve paradigmaları bu yeni gelişmelerden büyük ilerleme sağlayabilirse, şüphesiz çok caziptir.
warddatascience.com, Leifeng.com AI teknolojisi inceleme derlemesi aracılığıyla
