Google AutoML gerçekten bu kadar muhteşem mi? Derin öğrenme "gizemden arındırılmalıdır"
Xinzhiyuan önerilir
Kaynak: Lunzhi (ID: jqr_AI)
Orijinal metin fast.ai'de yayınlandı
Yazar: Rachel Thomas derlemesi: Bing
Xin Zhiyuan Rehberi AI First stratejisi kapsamında Google, daha fazla kişinin makine öğrenimini basit işlemlerle kullanmasına izin vermek amacıyla, bağımsız olarak makine öğrenimi kodu yazmak için bir araç olan AutoML'yi piyasaya sürdü. AutoML gerçekten bu kadar güçlü mü yoksa sadece bir reklam mı? Fast.ai'nin kurucularından Rachel Thomas, AutoML'nin bugününü ve geleceğini kendi anlayışıyla analiz etti.
AutoML piyasaya çıktığında, Google CEO'su Sundar Pichai şunları söyledi:
Şu anda, sinir ağları tasarlamak çok zaman alıyor ve uzmanların bilim ve mühendislik alanlarının yalnızca küçük bir bölümünde araştırma yapmasını gerektiriyor. Bu sorunu çözmek için AutoML adında bir araç geliştirdik, bununla birlikte sinir ağları sinir ağları tasarlayabilir. AutoML'nin şu anda doktora öğrencilerinin ulaşabileceği seviyeye ulaşabileceğini umuyoruz. Üç ila beş yıl sonra, birçok geliştirici için farklı işlevlere sahip yeni sinir ağları tasarlayabileceğini umuyoruz.
Google AI başkanı Jeff Dean, bilgi işlem gücünün 100 kat daha fazla makine öğrenimi uzmanlarının yerini alabileceğini söyledi.Yüksek bir bilgi işlem talebi olan sinirsel mimari araştırması, bahsettiği tek örnek.
Bu, bir dizi soruyu doğurur: geliştiricilerin " Farklı işlevlere sahip sinir ağları tasarlayın "Öyle mi? Sinir ağları benzer sorunları çözmek için etkili yöntemler kullanabilir mi? Büyük bilgi işlem gücü gerçekten makine öğrenimi uzmanlarının yerini alabilir mi?
Google'ın sözlerini değerlendirmeden önce, Google'ın neden her zaman derin öğrenmenin verimli kullanımını vurguladığını bilmeliyiz. Anahtar, daha fazla bilgi işlem gücü , Çünkü ilgi alanları ile ilgili, çünkü bilgi işlem gücü açısından Google diğerlerine tokat atmak için yeterli. Bu doğruysa, hepimizin Google ürünlerini satın alması gerekebilir. Tek başına bu, Google'ın açıklamasının yanlış olduğu anlamına gelmez, ancak açıklamalarının altında yatan ekonomik saiklerin farkında olmalıyız.
Bir önceki yazımızda, AutoML'nin geçmişini tanıttık, nöral mimari aramasının ne olduğunu açıkladık ve birçok makine öğrenimi projesi için bir mimari tasarlamanın veya seçmenin zaman alıcı ve zahmetli kısmı olmadığına işaret ettik. Bugünkü yazımda, medyanın büyük ilgisini çeken Google'ın AutoML'sini ayrıntılı olarak açıklamak istiyorum. Genel içerik aşağıdaki gibidir:
-
Google AutoML nedir?
-
Transfer öğrenimi nedir?
-
Sinir mimarisi araştırması ve transfer öğrenmesi: iki zıt yaklaşım
-
Daha fazla kanıta ihtiyacım var
-
Medya neden Google AutoML'yi övüyor?
-
Makine öğrenimi uzmanlarının eksikliğini nasıl çözebiliriz?
Google AutoML nedir
AutoML alanı birkaç yıldır geliştiriliyor olsa da, Mayıs 2017'de Google sinir mimarisi aramasına AutoML terimini ekledi. Google Developers Konferansı'nda Sundar Pichai şunları söyledi: "Bu yüzden AutoML'yi bir araç olarak yarattık. Bu, sinir ağları ile sinir ağları tasarlamanın mümkün olduğunu kanıtlıyor." Aynı zamanda, Google AI araştırmacıları Barret Zoph ve Quoc Le de : "Yöntemimizde (AutoML), bir denetleyici sinir ağı bir alt model mimarisi oluşturabilir ..."
Ocak 2018'de Google Cloud, AutoML'nin makine öğrenimi ürünlerinin bir parçası olacağını duyurdu. Şu anda, grafikteki hedef nesneleri tanımlayabilen veya sınıflandırabilen bir API olan AutoML-AutoML Vision'da halka açık bir ürün bulunmaktadır. Ürün ayrıntıları sayfasına göre, Cloud AutoML Vision'ın iki temel teknolojiye dayandığını öğrendik: Transfer öğrenimi ve sinir mimarisi araması . Önceki makalede sinir mimarisi araştırmasını açıkladığımız için, şimdi aktarım öğrenmeye odaklanacağız ve bunun sinir mimarisi araştırmasıyla nasıl ilişkili olduğunu göreceğiz.
Transfer öğrenimi nedir?
Geçiş öğrenimi, insanların az miktarda veri kümesi veya daha az bilgi işlem gücüyle en iyi sonuçları almasını sağlamak için önceden eğitilmiş modeller kullanır ve çok güçlü bir tekniktir. Önceden eğitilmiş model daha önce benzer, daha büyük bir veri kümesi üzerinde eğitilecektir. Modelin sıfırdan öğrenilmesi gerekmediğinden, daha az veri ve hesaplama süresi kullanan modellere göre daha doğru sonuçlar elde edebilir.
Transfer öğrenimi, birçok Fortune 500 şirketi tarafından kullanılan önemli bir teknolojidir. Transfer öğrenimi, sinir mimarisi araması kadar "seksi" görünmese de, çok fazla akademik ilerleme yarattı.Örneğin, Jeremy Howard ve Sebastian Ruder, NLP'ye transfer öğrenmeyi uyguladılar ve 6 veri setinde en iyi sonuçları elde etti. Sınıflandırma etkisi de bu alanda OpenAI'nin araştırma temeli haline geldi.
Sinir mimarisi araştırması ve transfer öğrenmesi: iki farklı yaklaşım
Transfer öğrenmesi altındaki temel fikir, sinir ağı yapısının aynı tür problemleri genelleştireceğidir: örneğin, birçok resmin temel özellikleri (açılar, daireler, köpek yüzleri, tekerlekler vb.) Resimlerin çeşitliliği. Aksine, sinir mimarisi aramasının verimliliği artırılır çünkü her veri seti benzersizdir ve yapısı çok kişiselleştirilmiştir.
Bir sinir mimarisi araştırması yeni bir yapı bulduğunda, o yapının ağırlıklarını sıfırdan öğrenmelisiniz. Ancak transfer öğrenimi ile önceden eğitilmiş model üzerinde mevcut ağırlıklardan eğitime başlayabilirsiniz. Bu aynı zamanda aynı problem üzerinde hem transfer öğrenmeyi hem de nöral mimari araştırmasını kullanamayacağınız anlamına gelir: yeni bir yapı öğrenmek istiyorsanız, onun için yeni bir ağırlık geliştirmeniz gerekebilir; ancak transfer öğrenmeyi kullanırsanız, buna ihtiyacınız olmayabilir. Yapı önemli değişikliklere uğrar.
Elbette, aktarım öğrenimini sinir mimarisi aranan bir yapıya uygulayabilirsiniz (bunun iyi bir fikir olduğunu düşünüyorum). Bu, yalnızca birkaç araştırmacının sinir mimarisi ve açık kaynak modelleri aramasını gerektirir. Transfer öğrenimi kullanılabiliyorsa, tüm makine öğrenimi uygulayıcıları problemlerde sinir mimarisi aramasını kullanmamalıdır. Ancak Jeff Dean, Sundar Pichai, Google ve medya raporları, herkesin doğrudan sinir mimarisi aramasını kullanması gerektiğini gösteriyor.
Sinir mimarisi aramasının faydaları nelerdir?
Sinir mimarisi araştırması, yeni yapılar bulmak için çok uygundur! Google'ın AmoebaNet'i sinir mimarisi araması yoluyla öğrenilir ve fast.ai'deki birçok teknolojik ilerleme de sinir mimarisi aramasından yararlanır.
AmoebaNet, ödül işlevine göre tasarlanmamıştır ve ölçeklendirme yeteneğine sahip değildir, bu nedenle ResNet gibi çeşitli makinelere göre ayarlanamaz. Ancak ölçeklenebilir bir sinir ağı gelecekte öğrenilebilir ve optimize edilebilir.
Daha fazla kanıta ihtiyacım var
Her veri setinin, mevcut modellere göre ince ayar yapmak yerine kendi modelinde en iyi şekilde modellendiğine dair hiçbir kanıt yoktur. Sinir mimarisi araması büyük bir eğitim seti gerektirdiğinden, bu küçük veri kümeleri için uygun olmayabilir. Google'ın kendi araştırmalarından bazıları bile, NASNet gibi her veri kümesi için yeni bir yapı bulmak yerine geçiş tekniklerini kullanacaktır.
Şu anda sinir mimarisi aramasının belirli bir rekabeti kazandığı bir durum bilmiyorum ve çok fazla meta-hesaplama gerektiren belirli bir yöntemin başka yöntemlere nasıl yol açtığını bilmiyorum. Örneğin, iki yeni makale - Efficient Neural Architecture Search (ENAS) ve Differentiable Architecture Search (DARTS), daha verimli algoritmalar önerdi. DARTS, NASNet 1800 GPU'ların ve AmoebaNet 3150 GPU'ların etkisini elde etmek için yalnızca 4 GPU kullanır. Jeff Dean, ENAS'ın yazarlarından biridir ve öncekinden 1000 kat daha az hesaplama gücü önermiştir.
Google AutoML neden sunulmalı?
Yukarıdaki tüm kısıtlamalara rağmen, neden hala Google AutoML'nin yararlılığını tanıtan birçok kişi var? Sanırım birkaç açıklama var:
1. Google'ın AutoML'si, bazı akademik araştırma kurumları kârlı kurumlarla karıştırıldıktan sonra krizi gerçekten yansıtıyor. Pek çok bilim insanı, popüler akademik araştırma alanlarıyla ilgili ürünler yaratmak ister, ancak gerçek ihtiyaçları karşılayıp karşılayamayacağını değerlendirmez. Bu aynı zamanda birçok yapay zeka girişiminin statükosudur. Tavsiyem, doktora tezlerini ürünlere dönüştürmeye çalışmak ve tamamen akademik araştırmacılar tutmamaya çalışmaktır.
2. Google, pazarlamada çok iyidir. Yapay zekanın pek çok meslekten olmayan kişi için yüksek bir eşiği vardır, bu nedenle belirli önerileri, özellikle de Google gibi devleri değerlendiremezler. Pek çok muhabir de eğilimi takip ederek Google'ın yeni teknolojileri ve yeni başarıları hakkında haber yapmak için acele ediyor. Google'ın sonuçları hakkında makine öğrenimi sektöründe çalışmayan insanlarla sık sık konuşurum. Google'ın makine öğrenimi ürünlerini hiç kullanmamış olsalar bile, yine de çok heyecanlılar, ancak dikkatli çalışırlarsa nedenini söyleyemezler.
Google'ın neden olduğu yanıltıcı haberlerden biri, Google AI araştırmacılarının "insan genomunu yeniden yapılandırabilecek bir derin öğrenme teknolojisi yarattıklarını" duyurmaları ve bu teknolojiyi Nobel ödüllü ile karşılaştırmalarıdır. Wired bunu bildirdi. Bildirildi. Bundan sonra, Johns Hopkins Üniversitesi'nde biyoistatistikçi ve biyomühendislik profesörü olan Steven Salzberg Google'ın makalesini eleştirdi. Salzberg, bu çalışmanın aslında insan genomunu yeniden yapılandırmadığına dikkat çekti ve "mevcut yazılımda sadece küçük bir gelişme var, mevcut yazılım kadar iyi bile değil." Diğer birçok genetik araştırmacı Salzberg'in açıklamasına katıldı.
Google'ın pek çok harika sonucu var, ancak takdir ederken kimliğe dikkat etmeliyiz.
3. Google'ın ilgi alanlarından dolayı, bizi derin öğrenmeyi verimli bir şekilde kullanmaya ikna etmenin anahtarı daha güçlü bilgi işlem gücüdür, çünkü Google'ın bilgi işlem gücünde büyük bir avantajı vardır. AutoML genellikle çok fazla hesaplama gerektirir.Örneğin, AmoebaNet'i öğrenmek için 450 K40 GPU'nun 7 gün boyunca eğitilmesi gerekir.
Makine öğrenimi uzmanlarının eksikliği nasıl çözülür?
Küresel makine öğrenimi uygulayıcılarının eksikliği sorununu çözmek için aşağıdaki yöntemleri kullanabiliriz:
Derin öğrenmenin kullanımını kolaylaştırın
Derin öğrenmeyi aydınlatın
Yetersiz bakiyeye sahip kişilerin bulut GPU'larını kullanmasına izin verin
Derin öğrenmenin kullanımını kolaylaştırın
Derin öğrenmenin kullanımını kolaylaştırmak için, birçok çalışma daha iyi ağları daha hızlı ve daha kolay eğitmeyi mümkün kılmıştır. Tipik durumlar şunlardır:
-
Bırakma, modelin fazla uydurmadan daha küçük bir veri kümesi üzerinde eğitim almasını sağlar
-
Toplu normalleştirme, eğitimi hızlandırır
-
Doğrusal düzeltme işlevi (ReLU) gradyan patlamasını önler
Kullanım kolaylığını artıran diğer çalışmalar şunları içerir:
-
Öğrenme oranı detektörü eğitim sürecini daha kararlı hale getirir
-
Süper yakınsama, eğitim süresini hızlandırır ve daha az bilgi işlem kaynağı gerektirir
-
"Özel kafalar" mevcut mimari için birçok konuda yeniden kullanılabilir.
Derin öğrenmeyi aydınlatın
Diğer bir engel ise, birçok insanın her zaman derin öğrenmenin kendilerinden uzak olduğunu veya veri setlerinin çok küçük olduğunu, derin öğrenme eğitimi almadıklarını veya yetersiz bilgi işlem gücüne sahip olduklarını vb. Düşünmesidir. Derin öğrenmenin yalnızca makine öğreniminin doktora düzeyinde kullanılabileceği veya birçok şirketin bir derin öğrenme uzmanını işe almaya gücünün yetmeyeceği görüşü de var.
Ancak deneyimlerime göre, bir yıllık programlama deneyiminiz ve bir GPU'nuz olduğu sürece, derin öğrenmeye girişin önündeki engel düşündüklerinden çok daha düşük.
Daha fazla kaynak sağlayın: Google Colab Not Defterleri
Bulut GPU'nun maliyeti sıradan insanlar tarafından hala karşılanabilir olsa da (saatte yaklaşık 50 sent veya yaklaşık 3,4 yuan), birçok öğrenci bunun biraz pahalı olduğunu söylüyor. Bazı ülkelerde düzenlemeler nedeniyle AWS gibi hizmetleri kullanamıyorlar.Artık Google Colab Notebook bu sorunu çözebilir.Kurulmadan kullanılabilen, bulut üzerinde çalışan ve kullanıcılara ücretsiz GPU'lar veren bir Jupyter dizüstü bilgisayar ortamı sağlar. Google Colab Notebook, derin öğrenme için daha fazla çaba gösterecek. Belki de bu, makine öğreniminin gelecekteki gelişiminde Google için daha iyi bir hedeftir.
Orijinal adres: www.fast.ai/2018/07/23/auto-ml-3/
Xinzhiyuan AI WORLD 2018 [Erken Kayıt Bileti] satışa çıktı!
Xinzhiyuan, AI WORLD 2018 konferansını 20 Eylül'de Pekin'deki Ulusal Kongre Merkezi'nde gerçekleştirecek ve makine öğrenimi vaftiz babası, CMU profesörü Tom Mitchell, Mikes Tekmark, Zhou Zhihua, Tao Dacheng, Chen Yiran ve diğer AI liderlerini makine zekasına dikkat etmeye davet edecek. Ve insan kaderi.
Konferans resmi web sitesi:
Şu andan 19 Ağustos'a kadar Xinzhiyuan, küresel yapay zeka liderleriyle iletişim kurmak ve küresel yapay zeka endüstrisinin sıçrama gelişimine tanık olmak için sınırlı sayıda erken kayıt bileti satacak.
-
Aktivite hattı bileti satın alma bağlantısı:
-
Etkinlik satırı bilet alımı için QR kodu:
