Dördüncü Paradigma Tu Weiwei: AutoML İncelemesi ve Beklenti
AI Technology Review Press , Bu makalenin yazarı, dördüncü paradigma Tu Weiwei, makale ilk olarak "Communications of China Computer Society" Cilt 15, Sayı 3'te yayınlandı, AI Technology Review, China Computer Society tarafından yeniden basılmasına izin verildi.
Otomatik makine öğrenimi için araştırma motivasyonu
Makine öğrenimi öneri sistemleri, çevrimiçi reklamcılık, finansal piyasa analizi, bilgisayarla görme, dilbilim, biyoinformatik gibi pek çok alanda başarılı olmuştur.Bu başarılı uygulama örneklerinde insan uzmanların katılımı vazgeçilmezdir. Google, Facebook, Baidu, Alibaba ve Tencent gibi teknoloji şirketleri, kuruluş içindeki çeşitli makine öğrenimi uygulamalarını desteklemek için birinci sınıf makine öğrenimi uzman ekiplerine güveniyor. Çeşitli bilimsel araştırma kurumları da makine öğrenimi bilimcilerinden oluşan bir ekip oluşturmak için çok para harcıyor. Bununla birlikte, birçok geleneksel işletme, küçük ve orta ölçekli işletme ve genel bilimsel araştırma kurumları için böyle bir makine öğrenimi uzmanları ekibi oluşturmak zordur. Bunun nedeni, makine öğrenimi uzmanlarının boşluğunun çok büyük olması, yetenek eksikliği, yetenekler için şiddetli rekabet ve uzman ekiplerin yönetimi Maliyet yüksektir ve uzman deneyimi kopyalanamaz vb.
Makine öğreniminin daha fazla şirketi güçlendirebilmesi ve daha geniş bir senaryo yelpazesinde uygulanabilmesi için, düşük veya sıfır eşikli bir makine öğrenimi yöntemi var mı? Makine öğrenimi uygulamalarının uzman yeteneklere bağımlılığını kullanmak ve azaltmak mı? Otomatik / Otomatik Makine Öğrenimi (AutoML) ortaya çıktı. Araştırmasının amacı, makine öğrenimi sürecini otomatikleştirmek ve insan uzmanların bu sürece katılımını azaltmak veya hatta tamamen ortadan kaldırmaktır.
Teorik başlangıç noktası
Makine öğrenimi algoritmaları tasarlamak zor bir iştir. Tüm makine öğrenimi problemlerini çözmek için genel bir makine öğrenimi algoritması bulabilir miyiz? Bu soru 20 yıldan daha uzun bir süre önce cevaplandı ve olası tüm problemler için kanıtlanabilir Bununla birlikte, tüm problemler eşit derecede önemliyse, tamamen rastgele algoritmalar da dahil olmak üzere tüm algoritmalar aynı beklenen performansa sahiptir ve tüm algoritmaların iyi ve kötü arasında hiçbir farkı yoktur.Bu ünlü Bedava Öğle Yemeği Yoktur (NFL) ) Teoremin daha az titiz bir sezgisel ifadesi.
Bu teorem, tamamen genel bir makine öğrenimi algoritması aramanın işe yaramayacağı anlamına gelir. Sonuç olarak, araştırmacılar farklı problemler için ilgili makine öğrenimi araştırmaları yapmaya başladılar, bu da makine öğrenimi teknolojisinin yaygın olarak kullanıldığı ve kopyalanamaması sorununa yol açtı. Belirli bir özel durum problemini çözen makine öğrenimi algoritması ile tüm problemler için tamamen genel makine öğrenimi algoritması arasında, sadece belirli bir özel durum yerine belirli bir kategoriyi çözebilen nispeten genel bir makine öğrenme algoritması olma ihtimali vardır. Otomatik makine öğrenimi, daha genel makine öğrenimi algoritmaları bulmaya çalışan bu tür teorik değerlendirmelere dayanmaktadır.
Otomatik makine öğrenimi araştırmasının mevcut ana senaryoları
Statik kapalı döngü otomatik makine öğrenimi
Statik kapalı döngü otomatik makine öğrenmesi, statik makine öğrenimi problemini dikkate alır, yani sabit bir eğitim seti verildiğinde, test setinde en iyi performansı göstermesi beklenen makine öğrenimi modelini bulmak için harici bilgiyi kullanmaz. Klasik makine öğrenimi süreci, veri ön işleme, özellik işleme ve model eğitimini içerir. Otomatik makine öğreniminin şu üç süreçte kapsamlı araştırması vardır:
(1) Ham verileri anlama ve veri kalitesini geliştirme hedefine ulaşmak için veri ön işlemede, araştırma verilerinin otomatik olarak temizlenmesi, örneklerin otomatik olarak seçilmesi, verilerin otomatik olarak iyileştirilmesi, veri türlerinin otomatik olarak çıkarılması vb.
(2) Özellik işleme yöntemleri üzerine yapılan araştırmalar, temel olarak otomatik özellik üretme ve otomatik özellik seçimini içerir. Otomatik özellik oluşturma üzerine araştırmalar, tek özellik dönüşümü, çoklu özellik kombinasyonu, derin özellik oluşturma, özellik öğrenmeyi vb. İçerir. Otomatik özellik seçimi genellikle otomatik özellik oluşturma ile bağlantılı olarak kullanılır.Özellikler önce otomatik olarak oluşturulur ve ardından otomatik özellik seçimi gerçekleştirilir.Karmaşık özellik işleme için ikisi genellikle dönüşümlü ve yinelemelidir.
(3) Model eğitimi üzerine araştırmalar genellikle otomatik algoritma seçimi ve otomatik algoritma yapılandırmasını içerir. Otomatik algoritma, çok çeşitli makine öğrenme algoritmalarından probleme uygun bir veya birkaç algoritma seçmeye çalışır. Bu algoritmaların yapılandırılması gereken birçok hiper parametresi vardır. Otomatik algoritma yapılandırması, sinir ağlarının nasıl yapılandırılacağı gibi hiperparametrelerin nasıl yapılandırılacağını inceler. Yapı, ikisi birlikte pratik uygulamalarda da kullanılacaktır.
Harici bilginin desteklediği statik otomatik makine öğrenimi
Harici bilgi destekli statik otomatik makine öğrenimi, insan uzmanların otomatik makine öğrenimi için veri işleme yöntemlerini, özellik işleme yöntemlerini, model eğitim algoritmalarını vb. Seçme şeklinden öğrenmeye çalışır. İnsan uzmanları, geçmişte uğraştıkları makine öğrenimi sorunlarından deneyim biriktirecek ve bunu gelecekteki makine öğrenimi sorunlarına genişletecek.
Dinamik ortamlarda otomatik makine öğrenimi
Otomatik makine öğreniminin dinamik bir ortamda araştırılması, sürekli veri birikimi ve kavramların kayması sorununu çözmeye çalışır.
Çekirdek teknolojisi
Otomatik makine öğrenimi araştırmasının özü, öğrenilen modelin beklenen performansını optimize etmek için veri işleme yöntemleri, özellik işleme yöntemleri ve model eğitim yöntemleri gibi temel bileşenlerin nasıl daha iyi seçileceği, birleştirileceği ve optimize edileceğidir (bkz.Şekil 1) .
Şu anda, araştırma esas olarak üç güçlükle karşı karşıyadır:
(1) Hiperparametre konfigürasyonu ile etki arasındaki işlev açıkça ifade edilemez ve "kara kutu" işlevine aittir;
(2) Arama alanı çok büyüktür ve olası işleme yöntemleri ve kombinasyonları üsteldir.Aynı zamanda, farklı işleme yöntemlerinin kendi hiperparametreleri vardır. Özellik boyutu 20'yi aştığında, çok gözlü özellik kombinasyonunun olası arama alanı Go'unkinden çok daha fazla olacaktır. Durum uzayı;
(3) İşlev değerinin her hesaplanması çoğunlukla veri ön işleme, özellik işleme ve model eğitiminin tüm sürecini içerir ve işlev değerinin hesaplanması son derece pahalıdır. Bu sorunları çözmek için kullanılan temel teknolojiler, temel arama yöntemleri, örneklemeye dayalı yöntemler ve gradyan tabanlı yöntemlerdir.
Şekil 1 Otomatik makine öğreniminin çerçevesi
Temel arama yöntemi
En yaygın arama yöntemi ızgara arama yöntemidir. Bu yöntem, uygulaması kolay ve yaygın olarak kullanılan bir ızgara oluşturmak için çok boyutlu parametre kombinasyonunu geçerek optimizasyonu arar Ancak, arama karmaşıklığı parametre boyutuyla katlanarak artar ve arama daha az önemli parametre boyutlarında boşa harcanır. Rastgele arama yöntemi, parametre uzayını rastgele örneklemektir ve her boyut, boyutsal felaket ve kaynak israfı probleminin üstesinden gelen birbirinden bağımsızdır. Pratik uygulamalarda, rastgele arama yöntemleri genellikle ızgara aramasından daha iyi performans gösterir.
Örneklemeye dayalı yöntem
Örneklemeye dayalı yöntemler en çok çalışılan yöntemlerdir ve çoğu teorik temelli yöntemlerdir ve temel arama yöntemlerinden daha iyi performans gösterme eğilimindedir. Bu tür bir yöntem genellikle örnekleme alanında bir veya daha fazla örnekleme noktası oluşturur ve ardından bu örnekleme noktalarını değerlendirir ve değerlendirmenin geri bildirim sonuçlarına göre örneklemenin bir sonraki adımını gerçekleştirir ve son olarak nispeten daha iyi parametre noktaları bulur (bkz.Şekil 2) . Örneklemeye dayalı yöntemler aşağıdaki dört kategoriye ayrılır:
Şekil 2 Örneklemeye dayalı yöntem
-
Model tabanlı sıfır dereceli optimizasyon yöntemi
Bu yöntem, yapılandırma parametreleri ve nihai etki hakkında bir model oluşturmaya çalışır ve modele dayalı olarak optimizasyonu arar. Bu tür bir yöntem genellikle önce örneklenen noktaların etki değerlendirmesine dayalı bir model oluşturur ve daha sonra bir sonraki veya sonraki örnekleme noktaları kümesini oluşturmak için öğrenilen modele dayalı belirli bir örnekleme stratejisi kullanır ve yeni örnekleme noktalarının etkilerine göre modeli daha da günceller. , Ve kara kutu işlevinin optimizasyonunu aramak için yinelemeli olarak yeniden örnekleme. Optimize edilecek fonksiyon bir "kara kutu" fonksiyonu olduğu için, çözüm süreci sırasında sadece fonksiyon değeri elde edilebilir ve fonksiyon gradyanı doğrudan hesaplanamaz, bu nedenle buna sıfır derece optimizasyon yöntemi de denir (sıfır sırası, birinci dereceden veya ikinci adımın geleneksel hesaplamasına göredir Derece optimizasyon yöntemi) veya gradyan olmayan yöntem.
Bu tür yöntemin iki ana sorunu vardır: model ve örnekleme stratejisi. Oluşturulan model genellikle konfigürasyon parametrelerinin etkisini tahmin etmek için kullanılır. Örneklemeye dayalı model yalnızca önceki örneklemeyle elde edilen noktaların geri bildirim öğrenmesine dayandığından, işlev uzayının keşfedilmemiş alanının tahmini genellikle doğru değildir.Örnekleme stratejisinin, işlev optimizasyonu ve uzay araştırması arasında bir denge kurması gerekir, yani, EE olarak adlandırılan, kullanma ve keşif arasında bir ödünleşim vardır.
Bayes optimizasyonu, olasılıksal modellere dayalı bir yöntemdir.Gauss süreci, Bayesçi sinir ağı, rastgele orman vb. Model olarak kullanılır ve daha sonra örnekleme stratejileri olarak artan olasılık, artan beklenti, çapraz entropi, GP-UCB vb. Stratejiler, EE'yi açık veya dolaylı olarak gerçekleştirmektedir. En yaygın olanı Gauss sürecine dayalı Bayes optimizasyon yöntemidir. Bu yöntem türü, parametre boyutu düşük olduğunda ve örnekleme noktaları az olduğunda daha iyi performans gösterir. Ancak, yüksek boyutlar ve çok sayıda örnekleme noktası olduğunda kullanımı zordur. Bu nedenle, bazı bilim adamları Bu tür sorunları çözmek için Bayes sinir ağlarını kullanmaya çalışın.
Sınıflandırma yöntemine dayalı rastgele koordinat küçültme yöntemi (RAndom Koordinat Küçültme, RACOS) ve rastgele koordinat küçültme sınıflandırma modeline dayalı model tabanlı sıfır dereceli optimizasyon, Bayes optimizasyon yönteminin ve sınırlı parametre türlerinin yüksek hesaplama karmaşıklığını etkili bir şekilde çözer. EE için genellikle en basit -açgözlü yöntemi kullanır. Rastgele koordinat küçültme yönteminin, yüksek boyutlu senaryolarda Gauss sürecine dayanan Bayes optimizasyon yönteminden önemli ölçüde daha iyi olduğu kanıtlanmıştır.
-
Yerel arama yöntemi
Yerel arama yöntemi genellikle, ilk çözümden başlayarak, çözümün mahallesini araştırarak ve çözüm alanının optimizasyonunu tamamlamak için sürekli olarak daha iyi mahalle çözümlerini araştırarak mahalleyi yargılamanın belirli bir yolunu tanımlar. En yaygın yöntemler dağcılık, yerel küme araması vb. Yerel arama basit, esnek ve uygulaması kolaydır, ancak yerel optimuma düşmesi kolaydır ve çözümün kalitesi, ilk çözüm ve mahallenin yapısıyla yakından ilişkilidir.
-
Sezgisel yöntem
Sezgisel yöntemler, temel olarak biyolojik olayları simüle etmek veya bazı doğal olaylardan ilham almak için optimize etmektir, en tipik olanı evrimsel hesaplama yöntemlerine dayanır. Bu tür bir yöntemin teorik temeli çok az olduğundan, yöntemin fiili çalışmadaki etkisini analiz etmek zordur.
-
Takviye öğrenmeye dayalı yöntem
Bu tür bir yöntem, bazı yeni sinir ağı yapılarını keşfedebilir ve belirli bir aktarım yeteneğine sahip olduğu doğrulanmıştır, ancak pekiştirmeli öğrenmenin kendisi henüz olgunlaşmadığı için, optimizasyon verimliliği nispeten düşüktür.
Gradyan tabanlı yaklaşım
Optimize edilmiş bileşenlerin ve hiperparametrelerin farklılaştırılabilirliği için yüksek gereksinimler ve yüksek hesaplama karmaşıklığı nedeniyle, optimizasyon hedefini doğrudan çözme yöntemi nadiren kullanılır.
Hotspot araştırması
Otomatik makine öğreniminin araştırma odağı verimlilik ve genellemedir. Otomatik makine öğreniminin verimlilik sorununu çözmek, otomatik makine öğrenimi teknolojisinin uygulanmasının anahtarlarından biridir. Verimlilik optimizasyonu altı kategori içerir:
(1) Hibrit hedef optimizasyonu Parametre noktalarının değerlendirme maliyeti de optimizasyon hedefinin bir parçası olarak alınır ve hesaplama maliyeti ile etki arasında bir denge yapılır.
(2) Eşzamanlı paralelleştirme ve eşzamansız paralelleştirme.
(3) Yinelemeleri önceden durdurun ve bilgi işlem kaynaklarından tasarruf etmek için erken eğitim döneminde kötü performans gösteren bazı parametreleri kaldırın. Örneğin, her dönem kötü parametrelerin yarısını ortadan kaldıran en klasik yarılanma stratejisi büyük ölçüde tasarruf sağlar Hesaplama kaynakları (bkz. Şekil 3).
(4) Model eğitimine sıcak başlayın, benzer parametrelerin eğitim sonuçlarını yeniden kullanın ve hiperparametrelerin değerlendirme maliyetini azaltın.
(5) Tam örneğin parametre aramasını değiştirmek için küçük bir örnek üzerinde parametre aramasını kullanarak verileri örnekleme Küçük örneklem ile tam örneklemin optimal parametreleri arasında farklılıklar olabileceğinden, bazı araştırmacılar küçük örneklemden ve tüm örneklemden öğrenmeye çalışır. Çok uyumlu otomatik makine öğrenimi arasındaki ilişki (bkz.Şekil 4).
(6) Popülasyon tabanlı yöntemler gibi verimliliği ve etkinliği daha da artırmak için hiperparametre arama ve makine öğrenimi sürecini birleştirin.
Makine öğreniminin özü genellemedir ve otomatik makine öğreniminin amacı da son öğrenilen modelin genelleştirilmesini iyileştirmektir.
Şekil 3 Ardışık yarılanma stratejisi
Şekil 4 Çok uyumlu otomatik makine öğrenimi
Otomatik makine öğreniminin genelleştirmeyi iyileştirip iyileştirmediğine nasıl karar verileceği genellikle eğitim seti ile doğrulama kümesini bölerek tahmin edilir. Doğrulama setine aşırı uyum riskini daha da azaltmak için, bazı çalışmalar modelin genelleme etkisinin daha makul bir şekilde nasıl tahmin edileceğine odaklanmıştır. Buna ek olarak, otomatik makine öğrenimine genellikle farklı parametrelere sahip birçok model öğrenimi eşlik ettiğinden, sonunda yalnızca bir "optimum" model seçmekten farklıdır. Bu modellerden bazılarını entegre öğrenme için seçmek de genellemeyi geliştirmenin bir yoludur. Otomatik makine öğrenimi algoritmalarını optimize etmek için daha fazla çalışma, birden çok verimlilik optimizasyonu ve genelleme stratejilerini karıştırıyor.
İniş uygulaması
Problem çözme yöntemlerinin farklı verilerden aktarılabilirliği / tekrarlanabilirliği, otomatik makine öğreniminin uygulanmasını zorlaştırır. Farklı problemleri çözmek için araçların benzerliği veya aktarılabilirliği / tekrarlanabilirliği ne kadar yüksekse, otomasyon o kadar kolay olur ve bunun tersi de geçerlidir. Şu anda, otomatik makine öğreniminin uygulama senaryoları esas olarak görüntü verilerini ve tablo verilerini içerir.
Görüntü verileri
Derin öğrenmenin başarılı olduğu alan görüntülerden gelir. Derin öğrenmenin özü, "otomatik" öğrenmenin hiyerarşik özelliklerinde yatmaktadır. Geçmişte görüntü analizinin manuel olarak yapılması gerekiyordu ve orijinal piksellerden birçok özellik çıkarılıyordu ve derin öğrenme bu sorunu iyi çözdü. Derin öğrenme, özellikleri öğrenilebilir hale getirir ve aynı zamanda yapay özellik tasarımını yapay sinir ağı yapısı tasarımına dönüştürür. Bu tür veriler için, otomatik makine öğrenimi araştırmasının özü, görüntü alanındaki sinir ağı yapılarının tasarımını otomatikleştirmektir. Görüntü verileri arasındaki benzerlik büyüktür, orijinal girdinin tamamı pikseldir ve soruna çözümün aktarılabilirliği ve yeniden kullanılabilirliği de mükemmeldir.Bu nedenle, görüntü verilerine otomatik makine öğrenimi uygulamak nispeten kolaydır.
Tablo verileri
Tablo verileri soyut verilerdir.Farklı tablo verileri arasında güçlü bir benzerlik yoktur.Farklı tablo verilerinin sütunlarının anlamları çok farklıdır. Tablo verileri de gerçek işle yakından ilgilidir.Zamanlama, kavram kayması, gürültü vb. Problemleri çözmek gerekir. Otomatik makine öğreniminin tablo verilerine inmesi daha zordur ve basitçe bir otomatik sinir ağı yapısı tasarlamak için yeterli değildir. Mevcut araştırma noktaları, birden çok tabloda dağıtılan verilerin nihai makine öğrenimi için gereken tek bir tablo verilerine otomatik olarak nasıl dönüştürüleceğini de içerir.
Geleceğe bakış
Algoritma yönü
Otomatik makine öğrenimi algoritmaları açısından, beş yönde atılımlar yapılabilirse gelecekteki çalışmalar daha büyük değere sahip olacaktır.
1. Verimliliği artırın. Verimlilik, zaman karmaşıklığı ve örnek karmaşıklığı açısından düşünülebilir. Bilgi işlem kaynakları göz önüne alındığında, daha yüksek verimlilik, otomatik makine öğreniminin fizibilitesini belirli bir dereceye kadar belirler, bu da daha fazla keşif yapılabileceği ve daha iyi sonuçlar getirebileceği anlamına gelir. Ek olarak, yüksek kaliteli etiketli numuneler elde etmek genellikle çok pahalıdır, bu nedenle numune karmaşıklığı da makine öğreniminin uygulanmasını etkileyen temel faktörlerden biridir. Öğrenim yazılımını (öğrenme yazılımı = model + model spesifikasyonu) harici bilgi destekli otomatik makine öğrenimine dahil etmek ve aktarım öğrenmeyi kullanmak, gelecekte örnek karmaşıklığını etkili bir şekilde azaltmak için olası bir yöndür (bkz. Şekil 5).
Şekil 5 Öğrenme ve öğrenme yazılımını aktarın
2. Genelleme. Şu anda, otomatik makine öğrenimi daha az genellemeyi dikkate alır. Genelleme, makine öğreniminin en önemli araştırma yönüdür ve gelecekte güçlendirilmesi gerekir.
3. Tüm sürecin optimizasyonu. Şu anda yalnızca makine öğreniminin belirli bir aşamasını (otomatik özellikler, otomatik algoritma seçimi, otomatik algoritma yapılandırması gibi) inceleyen çoğu otomatik makine öğreniminin aksine, pratik uygulamalar tam işlemli otomatik makine öğrenimi teknolojisini gerektirir.
4. Açık dünyayla yüzleşin. Gerçek dünya statik değildir Otomatik makine öğrenimi teknolojisinin açık bir dünyayla yüzleşmesi ve veri zamanlaması, kavram kayması ve gürültü gibi sorunları çözmesi gerekir.
5. Güvenlik ve yorumlanabilirlik. Otomatik makine öğrenimini güvenli hale getirmek için saldırı yanıtı, gürültü direnci ve gizlilik koruması sorunlarını çözmek gerekir. Otomatikleştirilmiş makine öğrenimi sistemleri, insanlarla etkileşim kurmak için gerçek sistemlere yerleştirilirse, daha iyi yorumlanabilirlik gerekir.
Teorik yön
Otomatik makine öğrenimi teorisi açısından, şu anda çok az araştırma var ve otomatik makine öğreniminin genelleme yeteneği ve uygulanabilirliği hakkında çok az şey biliniyor. Bu nedenle, bir yandan mevcut otomatik makine öğrenimi algoritmasının uygulanabilirliği ve genelleme yeteneğine cevap vermeliyiz, diğer yandan da genel makine öğrenimi algoritmasında hangi soru kategorilerinin bulunduğunu ve otomatik makine öğrenimi algoritmasının daha geniş problem alanında uygulanabilirliğini cevaplamalıyız. .
yazar hakkında
Tu Weiwei
Dördüncü paradigma, kıdemli bir makine öğrenimi mimarı ve kıdemli bir bilim insanıdır. Dördüncü paradigma peygamber platformunun tasarımcısı büyük ölçekli dağıtılmış makine öğrenimi çerçevesi GDBT, ekibin AutoML ve geçiş öğrenimini sektöre uygulamasına öncülük etti ve önemli gelişmeler elde etti.
E-posta: tuweiwei@4paradigm.com
Pekiştirmeli öğrenmeyle ilgili daha akademik ve kompozisyon konuları için lütfen tıklayın Orijinali okuyun AI Araştırma Enstitüsü Yoğun Öğrenme Tez Grubuna Katılın ~
