Nanda Didi, zayıf denetimli bir öğrenme yöntemi önerdi, EAA% 5'ten fazla arttı
Yazar | Guo Lanzhe
Editör | Jia Wei
Bu makale, Li Yufeng'in Nanjing Üniversitesi'ndeki LAMDA Makine Öğrenimi ve Veri Madenciliği Enstitüsü'ndeki araştırma grubu ve AAAI 2020'de yayınlanan Didi otomobil selamlama teknik ekibi tarafından tamamlanan "Zayıf Denetlenen Öğrenme, Sürüş Paylaşımı Kullanıcı Deneyimi Geliştirmesiyle Buluşuyor" çalışmasını yorumlamaktadır.
Makaleye bağlantı: https://arxiv.org/abs/2001.09027
Mevcut makine öğrenimi teknolojilerinin başarısı genellikle yeterli etiketli verilere dayanır. Bununla birlikte, yeterli etiketli veri elde etmek çok zordur, çünkü gerçek görevlerdeki veri etiketleme hızı genellikle veri oluşturma hızına ayak uyduramaz. Zayıf bir şekilde denetlenen öğrenme (yeterince etiketlenmiş verilere dayanmayan bir makine öğrenimi çerçevesi) gerçek dünyadaki görevlere daha yakındır, ancak aynı zamanda daha zordur.
Zayıf denetimli öğrenme üzerine araştırmalar, temel olarak çeşitli özel zayıf denetimli veri sinyalleri etrafında yürütülür. Örneğin, yarı denetimli öğrenme, verileri eksik denetim bilgileriyle incelemeyi amaçlar; gürültü etiketli öğrenme, verileri yanlış denetim bilgileriyle incelemeyi amaçlar; çok örnekli öğrenme, verileri tam olmayan denetim bilgileri vb. İle incelemeyi amaçlar. . Nanjing Üniversitesi LAMDA ekibi, yıllardır zayıf denetimli öğrenmeyle ilgili teknik darboğazlar üzerine temel araştırmalar yürüttü ve güvenli yarı / zayıf denetimli öğrenme ve performans garantili otomatik yarı denetimli öğrenme önerdi.
Zayıf bir şekilde denetlenen öğrenme, pratik uygulamalara doğru ilerlemeye devam ettikçe, tamamen zayıf bir şekilde denetlenen öğrenme tekniklerinin gerçek görevlerin ihtiyaçlarını karşılaması gittikçe zorlaşmaktadır. Sebeplerden biri, olağan zayıf denetimli öğrenme tekniğinin yalnızca bir tür zayıf denetimli veri sinyali için uygun olmasıdır, tıpkı bir reçeteye benzer (zayıf denetimli öğrenme tekniği) yalnızca belirli bir hastalık için uygundur (zayıf denetlenen veri sinyali). Bununla birlikte, gerçek dünya görevlerinin verileri bazen aynı anda birden fazla hastalığa benzer şekilde çeşitli zayıf denetlenen veri sinyalleri ile ortaya çıkar. Birden çok hastalıkla işbirliği yapabilen Bileşik Zayıf Denetimli Öğrenme (Bileşik Zayıf Denetimli Öğrenme) teknolojisi çok gereklidir. Bununla birlikte, gerçek iş verileriyle birleştirilmiş uygulama vakalarının analizi dahil olmak üzere bu alanda çok az ilgili temel araştırma çalışması vardır ve araştırmaya acilen ihtiyaç vardır.
Didi Intelligent Drivers tarafından değerlendirilen gerçek iş senaryolarına dayanan bu makale, zayıf denetimli bileşik öğrenmenin gerekliliğini ve pratik faydasını göstermektedir.
Özellikle iş geçmişi şu şekildedir: Mobil internetin yıkıcı değişiklikleriyle, çevrimiçi araç selamlama gelişmeye ve popüler olmaya devam ediyor ve insanların günlük yaşamlarına giriyor. Önde gelen tek noktadan mobil seyahat platformu olarak Didi, insanların seyahatleri ve yaşam tarzları üzerinde derin bir etkiye sahiptir. Kullanıcı deneyimini olabildiğince iyileştirmek ve iyi bir sürücü ve yolcu ekolojisi oluşturmak için, çevrimiçi araç selamlamasına yönelik akıllı araç selamlama değerlendirme sistemi hayati bir rol oynar.Yolcu deneyimini, sürücü siparişlerinin adilliğini ve platform verimliliğini hesaba katmak gerekir.
Akıllı değerlendirme sisteminde, her yolcu, yolculuktan sonra cep telefonunda "Sürücü yoldan saptı mı?" Gibi önerilen bir değerlendirme sorusu alacak. Cevap, bu gezinin yetersizliğini iyi yansıtabilirse, platformun sürücüleri eğitmesine ve kullanıcı deneyimini iyileştirmesine yardımcı olacaktır. Değerlendirme sorularını önermek için makine öğrenimini kullanmak, akıllı değerlendirme sisteminin ana hedefidir.
Bununla birlikte, makine öğreniminin performansını ciddi şekilde etkileyen iki veri sorunu vardır.
Birincisi, verilerde ciddi işaretleme gürültüsü vardır, çünkü değerlendirme sonuçları genellikle yolcuların öznel faktörlerinden etkilenir, bu da yanlış işaretlerin toplanmasına neden olur ve ayrıca yolcular tarafından çok sayıda yanlış işlem ve rastgele değerlendirmeler vardır;
İkincisi, veri etiketi dağılımında bir sapma vardır, yani eğitim verilerindeki kötü incelemelerin ve iyi incelemelerin etiket dağılımı ile gerçek çevrimiçi ortamın etiket dağıtımı arasında açık bir boşluk vardır.
Bu tür bir gerçek veri problemi etrafında, zayıf denetimli bir öğrenme teknolojisi geliştirmek gerekir. Bu makalede önerilen zayıf denetimli öğrenme teknolojisi bileşik, tamamen zayıf denetlenen öğrenme teknolojisinden önemli ölçüde daha iyidir ve AUC performansını% 5'ten fazla artırabilir.
Teknik çözümler
Bu belgedeki teknik çözüm, iki aşamalı optimizasyona dayalı yeni bir çerçeve benimser. Özellikle, etiketleme gürültü problemi için numuneleri ağırlıklandırıyoruz. Amaç, gürültü numunelerine daha düşük ağırlıklar vermek ve böylece model performansı üzerindeki etkisini azaltmaktır. Amaç işlevi aşağıdaki gibidir:
Burada w örnek ağırlığını temsil eder ve model parametresidir.
Uyumsuz etiket dağıtımı sorununu hedefleyerek, etiket dağıtımına daha sağlam olan performans endeksi AUC'yi optimize ediyoruz:
Ek olarak, "iyi" bir örnek ağırlıklandırma mekanizması, elde edilen modelin doğrulama verileri üzerinde iyi performans göstermesini sağlayabilmelidir. Yukarıdaki fikirlere dayanarak, teknik çözüm aşağıdaki iki katmanlı optimizasyon hedefini benimser:
İç optimizasyon adımı, eğitim verilerindeki deneyim riskini en aza indirir ve dış optimizasyon adımı, doğrulama verileri üzerindeki performansı değerlendirir. İkisinin kombinasyonu, eğitim modelini sürekli olarak optimize eder.
Teknik çözümün genel süreci aşağıdaki şekilde gösterilmektedir:
Aynı zamanda makale, teknik çözümler için verimli optimizasyon algoritmaları önermektedir. Ayrıntılı optimizasyon teknik ayrıntıları için lütfen kağıda bakın.
Uygulama etkisi
Didi Sicheng değerlendirme verilerinde, kompozit zayıf denetimli öğrenme teknolojisi şeması, yalnızca zayıf denetimli bir veri sinyalini dikkate alan, tamamen zayıf denetlenen bir öğrenme algoritması ile karşılaştırılır. Karşılaştırma yöntemleri, etiket dağıtımının düzeltilmesinden sonra denetlenen öğrenme algoritmalarını içerir: Lojistik Regresyon (LR), Derin Sinir Ağı (DNN), XGBoost; Etiket gürültüsünün işlenmesi için SOTA algoritması Sıralı Budama, GLC ve LTR.Özel deneysel sonuçlar aşağıdaki gibidir:
Bu makalede önerilen kompozit zayıf denetimli öğrenme teknolojisi, AUC performansını% 5'ten fazla artırabilen ve iyi verimliliği koruyabilen, tamamen zayıf denetlenen öğrenme teknolojisinden önemli ölçüde daha iyidir.
Araştırma sonuçları sadece değerlendirme verilerinin kullanımında tavsiye sonuçlarını iyileştirmekle kalmaz, aynı zamanda sürücü ve yolcu anlaşmazlıklarının adil yargılanması ve harita POI madenciliği gibi senaryolar için iyi bir referans önemine sahiptir.
Referanslar
Zhi-Hua Zhou. "Zayıf denetlenen öğrenmeye kısa bir giriş." National Science Review 5.1 (2018): 44-53.
Yu-Feng Li, Lan-Zhe Guo ve Zhi-Hua Zhou. "Güvenli Zayıf Denetlenen Öğrenime Doğru." Desen Analizi ve Makine Zekası Üzerine IEEE İşlemleri (2019).
Yu-Feng Li, Hai Wang, Tong Wei, Wei-Wei Tu. Otomatikleştirilmiş Yarı Denetimli Öğrenmeye Doğru. AAAI'19, Honolulu, HI, 2019, s. 4237-4244.
Dal Pozzolo, A., Caelen, O., Johnson, R. A. ve Bontempi, G. "Dengesiz sınıflandırma için düşük örnekleme ile olasılığın kalibre edilmesi." Hesaplamalı Zeka üzerine IEEE Sempozyum Serisi, 2015, 159-166.
Northcutt, C. G .; Wu, T .; ve Chuang, I.L. Kendine güvenen örneklerle öğrenme: Gürültülü etiketlerle sağlam sınıflandırma için kademeli budama.
Hendrycks, D .; Mazeika, M .; Wilson, D .; ve Gimpel, K. Gürültü nedeniyle bozulan etiketler üzerinde ciddi ağları eğitmek için güvenilir verileri kullanma. NIPS 2018, 1045610465.
Ren, M .; Zeng, W .; Yang, B .; ve Urtasun, R. Sağlam derin öğrenme için örnekleri yeniden ağırlıklandırmayı öğrenme. ICML 2018, 43314340.
