Google AutoML'nin gizemini ortaya çıkarın
Lei Feng.com: Bu makale, Google'ın AutoML'sinden derlenmiştir: "Tupu Technology" tarafından yazılan Hype'ı Kesmek
AutoML'yi başlatırken, Google CEO'su Sundar Pichai bir blogda şunları yazdı: "Sinir ağlarını tasarlamak çok zaman alır ve profesyonel bilgi için son derece yüksek gereksinimleri, tasarıma yalnızca az sayıda araştırmacı ve mühendisin katılmasını mümkün kılar. Bu biziz AutoML yöntemini oluşturmanın nedeni, bununla birlikte sinir ağlarının da sinir ağları tasarlayabilmesidir. AutoML'nin şu anda bazı doktorların sahip olduğu yeteneklere sahip olabileceğini umuyoruz ve üç ila beş yıl içinde birçok geliştirici, tatmin etmek için AutoML aracılığıyla sinir ağları da tasarlayabilir. Özel ihtiyaçları. "
Google CEO'su Sundar Pichai, hepimizin kendi sinir ağımızı tasarlamamız gerektiğini söyledi
Google'ın yapay zeka başkanı Jeff Dean, bilgi işlem gücünün 100 kat daha fazla insan makine öğrenimi uzmanlarının yerini alabileceğini söyledi. Bunu, büyük bir bilgi işlem gücü gerektiren sinir mimarisi aramasını kullanarak açıkladı. (TensorFlow DevSummit konferansı açılış konuşma videosunda yaklaşık 23:50)
Bu, birçok sorunun tartışılmasına yol açtı: Pek çok geliştiricinin "kendi özel ihtiyaçlarını karşılamak için sinir ağları tasarlaması" (Pichai'nin görüşünden alıntılanmıştır) veya sinir ağlarını aynı kategoriye geniş çapta uygulanabilir kılmak için etkili bir yol olup olmadığı gerekir. Problem çözüldü? Devasa bilgi işlem gücü gerçekten insan makine öğrenimi uzmanlarının yerini alabilir mi?
Google'ın açıklamasını değerlendirirken, derin öğrenme teknolojisinin etkili kullanımının anahtarının bilgi işlem gücünü artırmak olduğuna ikna olursak Google'ın bundan faydalanacağını unutmamalıyız, çünkü bu alanda Google açıkça çok ileride. Bu doğruysa, hepimizin Google ürünlerini satın alması gerekebilir. Tek başına bu, Google'ın ifadelerinin tamamen yanlış olduğu anlamına gelmez, ancak açıklamalarının arkasındaki ekonomik güdüler hakkında iyi bir anlayışa sahip olmak gerekir.
Bir önceki makalede, AutoML'nin tarihini tanıtmış, sinir mimarisi aramasının ne olduğunu açıkladım ve birçok makine öğrenimi projesi için bir mimari tasarlamanın veya seçmenin en zor, zaman alıcı veya acı veren sorun olmaktan çok uzak olduğuna işaret ettim. Bugünkü gönderide, yaygın olarak izlenen bir ürün olan Googleın AutoMLine özellikle dikkat etmek ve aşağıdaki sorunları çözmeye çalışmak istiyorum:
AutoML nedir?
Transfer öğrenimi nedir?
Sinir mimarisi arama ve transfer öğrenimi: taban tabana zıt iki yöntem
Daha fazla kanıta ihtiyaç var
Google'ın AutoML'si neden çok aranıyor?
Makine öğrenimi uzmanlarının eksikliğini nasıl çözeriz?
AutoML nedir?
AutoML alanı uzun yıllardır geliştirilmiş olsa da (açık kaynak AutoML kitaplıkları, seminerler, araştırmalar ve yarışmalar dahil), Mayıs 2017'de Google hala nöral mimari aramasına AutoML adını verdi. Google I / O Konferansı'nda yayınlanan bir blog açıklamasında, Google CEO'su Sundar Pichai şunları yazdı: "Bu yüzden AutoML yöntemini oluşturduk. Bununla birlikte sinir ağları da sinir ağları tasarlayabilir."; Google AI araştırmacısı Barret Zoph ve Quoc Le şunları yazdı: "Yöntemimiz aracılığıyla (biz buna" AutoML "diyoruz), sinir ağı denetleyicisi bir" alt "model mimarisi önerebilir ..."
Google, makine öğrenimi ürünü Cloud AutoML'yi Ocak 2018'de piyasaya sürdü. Şimdiye kadar, görüntülerdeki nesneleri tanıyan veya sınıflandıran bir API olan, herkese açık tek bir hizmet olan AutoML Vision'a sahiptir. Ürün sayfasındaki açıklamaya göre, Cloud AutoML Vision iki temel teknolojiye dayanır: aktarım öğrenimi ve sinir mimarisi araması. Artık sinir mimarisi araştırmasını başlattığımıza göre, şimdi aktarım öğrenmeye bir göz atalım ve sinir mimarisi araştırmasıyla ilişkisini anlayalım.
Google'ın AutoML ve nöral mimari araması hakkında küçük bir başlık seçkisi
Not: Google Cloud AutoML'de, halen alfa testinde olan bir sürükle ve bırak makine öğrenimi ürünü de vardır. Erişim için 2 ay önce başvurdum, ancak şu ana kadar Google'dan bir yanıt almadım. Bir makale yayınlandıktan sonra yayınlamayı planlıyorum.
Transfer öğrenimi nedir?
Transfer öğrenimi, güçlü bir makine öğrenimi teknolojisidir. Benzer büyük veri kümeleri üzerinde eğitilmiş önceden eğitilmiş modelleri kullanarak, insanlar en gelişmiş sonuçları elde etmek için daha küçük veri kümeleri veya daha düşük bilgi işlem gücü kullanabilir. Transfer öğrenmesiyle öğrenilen bir modelin sıfırdan öğrenilmesi gerekmediğinden, genellikle transfer öğrenmeyi kullanmayan bir modele göre daha az veri ve hesaplama süresi ile daha yüksek doğruluk elde edebilir.
Göç öğrenimi, kod çiftçileri için ücretsiz pratik derin öğrenme kursları boyunca kullandığımız temel teknolojidir - öğrencilerimiz bunu kendi girişimlerinde veya Fortune 500 şirketlerinde üretim sürecine uygulamaya devam eder. Transfer öğrenimi, sinir mimarisi aramasına kıyasla "çok çekici" görünmese de, bazı insanlar çığır açan akademik sonuçlar elde etmek için zaten transfer öğrenme teknolojisini kullanıyorlar.Örneğin, Jeremy Howard ve Sebastian Ruder, 6 veri setinde NLP'ye transfer öğrenmeyi uyguluyor. En iyi sınıflandırma, Aynı zamanda, transfer öğrenme teknolojisi, OpenAI'de bu alanda daha fazla araştırmanın temelidir.
Sinir mimarisi arama ve transfer öğrenimi: taban tabana zıt iki yöntem
Transfer öğrenmenin temel fikri, benzer türdeki sorunları çözmek için sinir ağı mimarisini genelleştirmektir: örneğin, birçok görüntü, diğer görüntü türleriyle aynı temel özelliklere (köşeler, daireler, köpek yüzleri veya tekerlekler gibi) sahiptir. Aksine, problemleri çözmek için sinir mimarisi araştırmasının temel fikri tam tersidir: her veri setinin benzersiz, oldukça özelleştirilmiş bir mimarisi vardır.
Matthew Zeiler ve Rob Fergus örneğinden, görüntü sınıflandırıcı tarafından öğrenilen 4 özellik: açı, daire, köpek yüzü ve tekerlek
Bir sinir mimarisi araştırması yeni bir mimari bulduğunda, mimarinin ağırlıklarını sıfırdan öğrenmelisiniz ve transfer öğrenme yöntemlerini kullanırken, önceden eğitilmiş modelin mevcut ağırlıklarını doğrudan kullanabilirsiniz. Bu anlamda, aynı problemi çözmek için sinirsel mimari arama ve aktarım öğrenmeyi aynı anda kullanamazsınız: yeni bir mimari öğreniyorsanız, onun için yeni ağırlıklar eğitmeniz gerekir; ve öğrenmeyi önceden eğitilmiş bir model aracılığıyla aktarırsanız, yapamazsınız. Mimaride önemli değişiklikler yapın.
Elbette, aktarım öğrenimini sinir mimarisi arama yöntemleriyle öğrenilen mimarilere uygulayabilirsiniz (bunun iyi bir fikir olduğunu düşünüyorum!). Bu, yalnızca birkaç araştırmacının buldukları modelleri sinirsel mimari aramasını ve açık kaynak kodlu kullanmasını gerektirir. Transfer öğrenimi problemleri çözmek için kullanılabildiğinde, tüm makine öğrenimi uygulayıcılarının sinir mimarisi arama yöntemlerini kullanması gerekli değildir. Bununla birlikte, Jeff Dean'in açılış konuşması, Sundar Pichai'nin blog gönderisi, Google Cloud tanıtım materyalleri ve medya raporları, tam tersi bir görüşü gösteriyor: herkesin sinir mimarisi aramasını doğrudan kullanabilmesi gerekiyor.
Sinir mimarisi aramasının faydaları nelerdir?
Sinir mimarisi araması yeni mimariler bulmaya yardımcı olur! Google'ın AmoebaNet'i nöral mimari araması yoluyla öğrenilir ve fast.ai bunu geliştirerek öğrenme sürecini hızlandırdı ve eğitim sürecinde görüntünün boyutunu değiştirdi. AmoebaNet, ImageNet'i tek bir makinede eğitmenin en ucuz yolu haline geldi!
AmoebaNet, ölçeklenebilirlik ile ödül işlevi dikkate alınmadan tasarlandı, bu nedenle ResNet gibi birden fazla makineye genişletilemez, ancak iyi genişletilebilen farklı özelliklere sahip sinir ağlarının gelecekte otomatik olarak öğrenilmesi muhtemeldir.
Daha fazla kanıta ihtiyacım var
Mevcut modele ince ayar yapmak yerine, her veri kümesinin kendi özel modeliyle en iyi şekilde modellendiğine dair şu anda hiçbir kanıt yoktur. Sinir yapısı araması daha büyük bir eğitim seti gerektirdiğinden, bu özellikle daha küçük veri kümeleri için geçerlidir. Google'ın kendi araştırmalarının bir kısmı bile, Cifar10'da bir mimari modülünü öğrenen ve ardından bu modülü ImageNet oluşturmak için kullanan NASNet (blog yayını) gibi her veri kümesi için yeni mimariler bulmak yerine aktarılabilir teknolojiyi kullanır. Bir mimari. Nöral mimari aramasını kullanan herhangi bir makine öğrenimi yarışması kazananını duymadım.
Ayrıca, Google tarafından tanıtılan ve bilgi işlem gücü gerektiren sinir mimarisi arama yönteminin önemli avantajları olup olmadığını bilmiyoruz. Örneğin, Efficient Neural Architecture Search (ENAS) ve Differentiable Architecture Search (DARTS) gibi bazı yeni makaleler, daha etkili algoritmalar önermiştir. DARTS, mimariyi öğrenmek için yalnızca 4 GPU iş gününe ihtiyaç duyarken, NASNet'in 1.800 GPU iş gününe ve AmoebaNet 3150 GPU iş gününe ihtiyacı vardır (her ikisi de Cifar-10'da aynı doğrulukla öğrenilmiştir). Jeff Dean, ENAS makalesinin yazarıdır ve makalesinde, bir ay sonra TF DevSummit konferansında 100 kat daha yüksek bilgi işlem gücü kullanmaya verdiği önemle tutarsız görünen 1000 kat daha düşük hesaplama gücüne sahip bir teknoloji önerdi.
Google'ın AutoML'si neden çok aranıyor?
Yukarıdaki sınırlamalar göz önüne alındığında, Google AutoML'nin yararlılığı neden doğrulanmadı (en azından şimdiye kadar), bu yüzden bu kadar aranıyor? Sanırım birkaç nedeni var:
1. Google'ın AutoML'si, kâr amacı gütmeyen bir şirketin akademik bir araştırma laboratuvarı kurarken karşılaşabileceği bazı riskleri vurgular. Bu ortamda, insanların gerçek ihtiyaçları karşılayıp karşılamadığını değerlendirmeden ilginç akademik araştırmalar etrafında ürünler yaratmaları kolaydır. Bu aynı zamanda, satın alındıklarında aynı ürünü piyasaya sürmemiş olan MetaMind veya Geometric Intelligence gibi birçok yapay zeka başlangıcı için de geçerli. Startupların kurucularına tavsiyem, doktora tezinizi doğrudan üretime sokmak değil, sadece akademik araştırmacıları işe almak değil.
2. Google, pazarlamada iyidir. Pek çok meslekten olmayan insan, yapay zekanın erişilemez ve göz korkutucu bir alan olduğunu düşünüyor ve bu ifadeleri, özellikle de Google gibi prestijli bir şirket tarafından yapılanları değerlendirmenin bir yolu olmadığını düşünüyorlar. Pek çok gazeteci aynı şeyi yapıyor, hatta Google'ın reklam kampanyalarını eleştirmeden sıcak makalelere yazıyor. Makine öğrenimi alanında olmayan kişilerle düzenli olarak konuşacağım, Google ML ürünlerini hiç kullanmamışlar. Bu ürünlerle çok ilgileniyorlar ama hiçbir şey söyleyemiyorlar.
Google'ın, başarılarını öne süren yanıltıcı raporlarının tipik bir örneğini ele alalım: Google'ın yapay zeka araştırmacıları bir zamanlar "Gerçek İnsan Genomunu Yeniden Yapılandırmak için Derin Öğrenme Teknolojisini Kullanmak" başlıklı bir makale yayınladılar ve çalışmalarını Nobel Ödülü sahibi ile karşılaştırdılar. Yazarın bulguları eşit düzeydedir (kibirli!) Ve makale Wired tarafından yayınlanmak üzere seçilmiştir. Ancak Johns Hopkins Üniversitesi'nde seçkin bir biyomedikal mühendisliği, bilgisayar bilimi ve biyoistatistik profesörü olan Steven Salzberg, Google'ın gönderisini yalanladı. Salzberg, bu çalışmanın aslında insan genomunu yeniden yapılandırmadığını, ancak "sadece mevcut yazılımda bazı iyileştirmeler olduğunu ve hatta pek fazla gelişmeyebileceğini" belirtti. Diğer birçok genomik araştırmacısı Salzberg'in görüşüne katılıyor.
Google harika işler yapıyor, ancak neyin makul olduğunu anlamak için bu kadar çok yanıltıcı aldatmacayı gözden geçirmek zorunda kalmazsak, yaptığı işi tanımak daha kolay olacaktır.
3. Derin öğrenme teknolojisinin etkili kullanımının anahtarının bilgi işlem gücünü artırmak olduğuna ikna olursak, Google bundan faydalanacaktır, çünkü bu alanda Google açıkça çok ileride. AutoML genellikle çok fazla hesaplama gerektirir. Örneğin, AmoebaNet'i öğrenmek için Google'ın 7 gün boyunca 450 K40 GPU üzerinde eğitim alması gerekir (3150 GPU iş gününe eşdeğer).
Mühendisler ve medya genellikle bilgi işlem gücüne veya diğer daha büyük şeylere takıntılı olsalar da, tarih, yeniliğin genellikle kısıtlamalara ve yaratıcılığa dayandığını gösteriyor. Google, muazzam miktarda veriyi işlemek için muazzam bir bilgi işlem gücü kullanıyor; şu anda sınırlı kaynaklara sahip kısıtlı bir dünyada yaşıyoruz. Karşılaştığımız sorunları çözmek için bu yöntem genelleştirilebilir mi?
İnovasyon, problemleri farklı şekillerde çözmektir, işleri büyütmek değil. Fast.ai'nin Stanford Üniversitesi DAWNBench yarışmasındaki son başarısı bu noktayı kanıtlıyor.
Makine öğrenimi uzmanlarının eksikliği nasıl çözülür?
Jeff Dean'in TensorFlow DevSummit'in makine öğrenimi uygulayıcılarının küresel yetersizliği hakkındaki açılış konuşmasına geri dönersek, bu sorunu başka bir açıdan çözebiliriz. Derin öğrenme teknolojisini kullanmanın önündeki en büyük engelleri aşağıdaki şekillerde ortadan kaldırabiliriz:
1. Derin öğrenmenin kullanımını kolaylaştırın
2. Derin öğrenmeyi aydınlatın
3. Bulut GPU'ları kullanmak için yeterli parası olmayanların erişim haklarını artırın
Derin öğrenmenin kullanımını kolaylaştırın
Derin öğrenmenin nasıl daha kolay kullanılacağına dair araştırmalar büyük bir etkiye sahip olabilir ve daha iyi ağları daha hızlı ve daha kolay eğitebilir. Standart uygulama haline gelen bazı bulgular şunları içerir:
Bırakma, fazla uydurmadan daha küçük veri kümeleri üzerinde eğitime izin verir.
Toplu normalleştirme, eğitim hızını artırabilir.
Doğrultulmuş doğrusal birimler, gradyan patlamalarını önlemeye yardımcı olur.
Kullanım kolaylığını artırmayı amaçlayan son araştırmalardan bazıları şunları içerir:
Öğrenme oranı bulucu, eğitim sürecini daha istikrarlı hale getirir.
Süper yakınsama, eğitimi hızlandırır ve bilgi işlem kaynaklarını azaltır.
Mevcut mimarinin "Özel kafaları", bir dizi sorunu çözmek için mimariyi daha kolay yeniden kullanabilir (örneğin, sınırlayıcı kutuyu bulmak veya stil geçişi gerçekleştirmek için sınıflandırma için kullanılan ResNet'i değiştirin),
Yukarıdaki bulguların hiçbiri hesaplama gücü içermez; aksine, hepsi problemleri çözmek için yaratıcı yollar kullanır.
Derin öğrenmeyi aydınlatın
Diğer bir engel ise, birçok yanlış anlamanın insanları derin öğrenmenin kendileri için uygun olmadığına inandırmasıdır: yanlışlıkla verilerinin çok küçük olduğuna, resmi bir eğitim veya ilgili geçmişe sahip olmadığına veya bilgi işlem becerilerinin yeterli olmadığına inanıyorlar. Pek çok insan, yalnızca makine öğrenimi alanındaki bir doktora programının derin öğrenme teknolojisini kullanabileceğine inanıyor ve birçok şirket, uzman tutmayı göze alamadıkları için bu alandan vazgeçiyor. Ancak aslında şirketler sadece makine öğrenimi uzmanları olarak mevcut çalışanlarını eğitmekle kalmaz, bu daha da tercih edilen bir yaklaşımdır çünkü mevcut çalışanlarınız zaten dahil olduğunuz alanda uzmanlığa sahiptir!
Konuştuğum insanların büyük çoğunluğu için derin öğrenmeye girişin önündeki engelin beklentilerinin çok altında olduğunu düşünüyorum: sadece bir yıllık kodlama deneyimi ve GPU'ya erişim.
Erişim izinlerini artırın: Google Colab Not Defterleri
Bulut GPU maliyeti (saatte yaklaşık 50 sent) birçoğumuzun bütçesi dahilinde olsa da, dünyanın her yerinden öğrencilerle düzenli temaslarıma göre, bazı öğrencilerin herhangi bir GPU kullanımını karşılayamıyor. Bazı ülkelerde paraları olsa bile, bankacılık ve kredi kartı düzenlemeleri AWS gibi hizmetleri kullanmalarını zorlaştırabilir. Google Colab Notebooks bir çözümdür! Colab Notebooks, ayar yapılmadan kullanılabilen, tamamen bulutta çalışan ve kullanıcıların ücretsiz GPU'lara erişmesine olanak tanıyan (GPU'ların uzun süreli kullanımına izin verilmese de) bir Jupyter dizüstü bilgisayar ortamı sağlar. Etkileşimli bir ortamda çalışan kod örnekleri içeren belgeler oluşturmak için de kullanılabilirler. Google Colab Not Defterleri, derin öğrenmenin popülerleşmesini gerçekleştirmede AutoML'yi bile geride bıraktı; belki bu, gelecekte Google'ın pazarlama makinesi için daha iyi bir seçim olacaktır.
