Tsinghua 2020 Yapay Zeka Raporu'nun ilk sayısı! Beş boyut makine öğrenimi teknolojisini ortaya koyuyor
Makine öğrenimi bugün sıcak bir konu haline geldi, ancak makine öğrenimi kavramının doğuşundan makine öğrenimi teknolojisinin genel uygulamasına kadar uzun bir süreç oldu. Makine öğrenimi geliştirmenin uzun tarihinde, birçok seçkin akademisyen, makine öğreniminin gelişimini teşvik etmek için büyük katkılarda bulunmuştur.
Pascal tarafından 1642'de icat edilen elle çalışan bilgisayardan, öğrenme süreci sırasında beyin nöronlarındaki değişiklikleri açıklayan 1949'da Donald Hebb tarafından önerilen Hebb teorisine kadar, hepsi makine öğrenimi fikirlerinin filizlenmesini içeriyor. Aslında Turing, 1950'de Turing Testi üzerine yazdığı makalede makine öğrenimi kavramından bahsetmişti. 1952'ye gelindiğinde, IBM'den Arthur Samuel ("makine öğreniminin babası" olarak bilinir) öğrenilebilecek bir dama programı tasarladı. Samuel bu programla birçok oyun oynadı ve oyunun satranç becerilerinin zamanla daha iyi ve daha iyi hale geldiğini gördü. Samuel, "makinelerin insanları geçemeyeceği ve kod yazamayacağı ve insanlar gibi öğrenemeyeceği" şeklindeki geleneksel inancı yıkmak için bu programı kullandı. Ve 1956'da, "makine öğrenimi" kavramı resmen ortaya atıldı.
Bu akıllı dahili referans sayısında, makine öğrenimi teknolojisini beş boyuttan analiz eden Tsinghua Yapay Zeka Enstitüsü'nden "Yapay Zekanın Makine Öğrenimi" araştırma raporunu öneriyoruz: makine öğrenimi geliştirme geçmişi, teknik özellikler, yetenek profili, endüstri uygulamaları ve gelecek eğilimler. Bu makalenin raporunu (yapay zekanın makine öğrenimi) toplamak istiyorsanız, Zhishi Toutiao özel mesajındaki "zhishi 427" anahtar kelimesini yanıtlayabilirsiniz.
Dönem boyunca katılımcılar: Tsinghua Yapay Zeka Enstitüsü
orjinal başlık:
"Yapay Zeka Makine Öğrenimi"
Yazar: NC
1. Makine öğrenimi nedir?
Makine öğreniminin anlaşılması birçok yönden gerçekleştirilebilir. "Küresel Makine Öğreniminin Babası" olarak bilinen Tom Mitchell, makine öğrenimini şu şekilde tanımlar: Belirli bir görev türü için T ve performans ölçümü P, eğer bir bilgisayar programı P on T ile ölçülürse E'nin performansı, E deneyimi ile kendi kendine gelişmektedir, bu nedenle bu bilgisayar programının E deneyiminden öğreneceği söylenir.
Genellikle makine öğreniminin (Makine Öğrenimi, genellikle ML olarak kısaltılır) işleme sistemleri ve algoritmalarının, esas olarak verilerdeki gizli kalıpları belirlemek ve daha sonra tahminler yapmak için kullanıldığına inanılır. Yapay zekadır (genellikle AI olarak kısaltılır). Önemli bir alt alanı
Makine öğreniminin gelişimi açısından, gelişiminin zaman çizelgesi aşağıdaki gibidir:
Makine öğreniminin geliştirme süreci
Makine öğrenme algoritmaları farklı kriterlere göre sınıflandırılabilir. Örneğin, farklı fonksiyonlara göre f (x, ), makine öğrenimi algoritmaları doğrusal modellere ve doğrusal olmayan modellere ayrılabilir; farklı öğrenme kriterlerine göre, makine öğrenme algoritmaları da istatistiksel yöntemler ve istatistiksel olmayan yöntemlere ayrılabilir. Ancak genel olarak konuşursak, makine öğrenimi algoritmalarını eğitim örnekleri tarafından sağlanan bilgilere ve farklı geri bildirim yollarına göre denetimli öğrenme, denetimsiz öğrenme ve pekiştirmeli öğrenme olarak ikiye ayıracağız.
Makine öğrenimi sınıflandırması
1980'de makine öğrenimi bağımsız bir güç olarak tarih sahnesine girdi. Sonraki 10 yıl içinde, bazı önemli yöntemler ve teoriler ortaya çıktı.Tipik temsilciler şunlardır: sınıflandırma ve regresyon ağacı (CART, 1984), geri yayılma algoritması (1986) ve evrişimli sinir ağı (1989). 1990'dan 2012'ye kadar, makine öğrenimi yavaş yavaş olgunlaştı ve uygulandı. Son 20 yılda, makine öğreniminin teorileri ve yöntemleri geliştirildi ve zenginleştirildi. Çiçek açan çiçeklerin çağı olarak tanımlanabilir. Temsilci önemli sonuçlar şunlardır: Destek Vektör Makinesi (SVM, 1995), AdaBoost Algoritması (1997), Tekrarlayan Sinir Ağı ve LSTM (1997), Manifold Öğrenme (2000), Random Forest (2001). Temsili makine öğrenimi algoritmaları şunları içerir:
Doğrusal regresyon;
Sınıflandırma ve regresyon ağacı (CART);
Rastgele Orman (Rastgele Orman);
Lojistik regresyon;
Naif Bayesyan (Naif Bayesyen);
k en yakın komşu (kNN);
AdaBoost;
K-Means algoritması (K-Means);
Destek Vektör Makinesi (SVM);
Yapay Sinir Ağı YSA (Yapay Sinir Ağı);
1. Bir yüzleşme ağı oluşturun ve makine öğrenimiyle yüzleşin
Generative Adversarial Networks (GAN), denetimsiz öğrenmeye yönelik bir makine öğrenimi modelidir. Ian Goodfellow ve diğerleri tarafından 2014 yılında önerilmiştir. Bir ayırıcı ve bir jeneratörden oluşan bir sinir ağından oluşur ve rakip bir mekanizmadan oluşur. Bir tür öğrenme çerçevesi olan GAN, derin öğrenme alanında bir devrim başlattı. Geleneksel üretken model, 1980'lerde RBM'ye ve ardından paketleme için yavaş yavaş derin sinir ağlarını kullanan AutoEncoder'a kadar izlenebilir ve şimdi en popüler üretken model GAN olarak adlandırılır.
GAN geliştirme bağlamı
Yüzleşmeye dayalı makine öğrenimi, makine öğrenimi ve bilgisayar güvenliğinin kesişimidir. Makine öğrenimine karşı koymak, kötü amaçlı ortamlarda makine öğrenimi teknolojileri için güvenlik garantileri sağlamayı amaçlamaktadır. Makine öğrenimi teknolojisi, kötü niyetli kullanıcıların varlığı nedeniyle gerçekte dağıtıldığında genellikle aynı veya nispeten istikrarlı veri dağıtımını incelediğinden, bu varsayım doğru olmayabilir. Örneğin, araştırmacılar, dikkatle tasarlanmış bazı rakip örneklerin makine öğrenimi modellerinin başarısız olmasına ve doğru sonuçlar vermesine neden olabileceğini buldu. Model saldırılar sorunu ile ilgili olarak, temel olarak eğitim aşamasından ve çıkarım aşamasından tartışılan iki kategoriye ayrılıyoruz.
Eğitim sırasında saldırı . Eğitim aşamasındaki kötü niyetli saldırının temel amacı (Çekişmeli Ortamlarda Eğitim), modelin performansından ve beklentilerinden sapmalara neden olacak şekilde modelin parametrelerinde küçük rahatsızlıklar yaratmaktır. Bu tür davranışlar temelde veri zehirlenmesi yoluyla gerçekleştirilir.
Tartışmalı Ortamlarda Çıkarım (Tartışmalı Ortamlarda Çıkarım). Bir modelin eğitiminden sonra model bir KUTU olarak değerlendirilebilir, kutu bize şeffafsa "beyaz kutu" modeli olarak değerlendireceğiz, kutu bu kutu içindeyse hiçbir şey göremeyiz. Bunu "kara kutu" modeli olarak görüyoruz. (Gri kutu modelini bu bölümde tartışmayacağız) O halde beyaz kutu ve kara kutu için saldırı yöntemleri doğal olarak farklıdır, ancak nihai amaç modelin nihai sonucunu yok etmek ve beklentilerden uzaklaşmaktır. Saldırının etkisi ve ayrıntı düzeyi de farklıdır.
2. Otomatik makine öğrenimi
Otomatik Makine Öğrenimi (AutoML), bazı yaygın adımları (veri ön işleme, model seçimi ve hiperparametrelerin ayarlanması gibi) otomatikleştirerek makine öğreniminde model oluşturma sürecini basitleştirmeyi amaçlamaktadır. AutoML, insanları mümkün olduğunca kullanmak yerine bu hiperparametreleri ayarlamak için belirli bir öğrenme mekanizmasının kullanılmasını ifade eder. Bu öğrenme mekanizmaları arasında geleneksel Bayes optimizasyonu, çok kollu haydut, evrimsel algoritmalar ve nispeten yeni pekiştirmeli öğrenmeyi içerir. Otomatik makine öğrenimi, yalnızca iyi bilinen algoritma seçimi, hiperparametre optimizasyonu ve sinir ağı mimarisi aramasını içermekle kalmaz, aynı zamanda makine öğrenimi iş akışının her adımını da kapsar. Bu, otomatik makine öğreniminin faydasıdır. Araştırmacıların ve uygulayıcıların, belirli bir problem için yüksek performanslı bir makineyi hızlı bir şekilde bulmak için otomatik olarak makine öğrenimi ardışık düzenleri oluşturmalarına, birden çok adımı ve bunlara karşılık gelen çoklu seçenekleri bir iş akışına entegre etmelerine yardımcı olur Öğrenme modeli. AutoML'nin temel süreci aşağıdaki şekilde gösterilmektedir: sanal kutu, özellikler, hiperparametreler ve mimariyi içeren yapılandırma alanıdır; soldaki eğitim verileri girer, yukarıdaki optimize edici ona bağlanır, tanımlanan ölçü en iyi yapılandırmayı bulur ve model sonuncudur; Test verileri, tahminin amacına ulaşmak için modelde çalışır.
AutoML temel süreci
Yakın zamanda, ACM CHI Hesaplama Sistemi İnsan Faktörleri Konferansı'nda Massachusetts Teknoloji Enstitüsü, Hong Kong Bilim ve Teknoloji Üniversitesi ve Zhejiang Üniversitesi'nden araştırmacılar, AutoML yönteminin analizini ve kontrolünü kullanıcıların eline bırakan bir araç geliştirdiler. Araç, ATMSeer olarak adlandırılır.AutoML sistemini, veri kümesini ve kullanıcının görevi hakkındaki bazı bilgileri girdi olarak alır ve ardından model performansı hakkında daha fazla bilgi sağlayabilen kullanıcı dostu bir arayüzde görsel bir arama işlemi uygular.
ATMSeer otomatik makine öğrenimi özelleştirme aracının kullanıcı dostu etkileşimli arayüzü
Yukarıdaki şekil, ATMSeer tarafından oluşturulan, seçili modelin performansı hakkında derinlemesine bilgi ve ayarlanabilir algoritmalar ve parametreler için seçenekler gösteren, kullanıcı dostu bir arayüzdür. AutoML deneyimi olmayan makine öğrenimi uzmanlarının örnek olay incelemeleri, kullanıcılara kontrol vermenin AutoML uygulamalarının performansını ve verimliliğini artırmaya gerçekten yardımcı olabileceğini göstermektedir. Biyoloji ve finans gibi farklı bilim dallarındaki 13 yüksek lisans öğrencisi üzerinde yapılan araştırmalar, kullanıcının AutoML'nin aramasını özelleştirmesini belirlemede üç önemli nokta olduğunu gösteriyor: arama algoritmalarının sayısı, sistemin çalışma süresi ve en iyi performans gösteren modeli bulma. Araştırmacılar, bu bilgilerin sistemi kullanıcılar için uyarlamak için kullanılabileceğini söyledi.
3. Yorumlanabilir makine öğrenimi
Yorumlanabilirlik, insanların bir kararın nedenlerini anlayabilme derecesini ifade eder. Bir makine öğrenimi modeli ne kadar yorumlanabilirse, insanların neden belirli kararların veya tahminlerin yapıldığını anlamaları o kadar kolay olur. Model yorumlanabilirliği, modelin iç mekanizmasının anlaşılması ve modelin sonuçlarının anlaşılması anlamına gelir. Önemi şu şekilde yansıtılır: modelleme aşamasında, geliştiricilerin modeli anlamalarına, modellerin karşılaştırılmasına ve seçilmesine, gerektiğinde modelin optimize edilmesine ve ayarlanmasına; devreye alma aşamasında, modelin iç mekanizmasının iş tarafına açıklanmasına ve model sonuçlarının yorumlanmasına yardımcı olur. Örneğin, fon tavsiye modeli bir açıklama gerektirir: bu kullanıcı için neden belirli bir fon önerilmektedir.
Makine öğrenimi süreci adımları: veri toplama, verileri temizleme, eğitim modelleri ve doğrulama veya test hatalarına veya diğer değerlendirme göstergelerine göre en iyi modeli seçme. İlk adım, nispeten küçük bir hata oranı ve nispeten yüksek bir doğruluk oranı olan yüksek hassasiyetli bir model seçmektir. İkinci adım, doğruluk ve model karmaşıklığı arasında bir değiş tokuşla yüzleşmektir, ancak bir model ne kadar karmaşıksa, yorumlanması da o kadar zordur. Basit bir doğrusal regresyonun açıklanması çok kolaydır, çünkü yalnızca bağımsız değişken ile bağımlı değişken arasındaki doğrusal korelasyonu dikkate alır, ancak bu nedenle daha karmaşık ilişkileri idare edemez ve modelin test setindeki tahmin doğruluğu da daha iyidir. Daha düşük olabilir. Derin sinir ağları diğer uç noktadır, çünkü çoklu seviyelerde soyut çıkarımlar yapabilirler, böylece bağımlı ve bağımsız değişkenler arasındaki çok karmaşık ilişkileri idare edebilir ve çok yüksek doğruluk elde edebilirler. Bununla birlikte, bu karmaşıklık modeli de kara kutu yapar.Model tahmin sonuçlarını üreten tüm bu özellikler arasındaki ilişkiyi bilemiyoruz, bu nedenle modelin güvenilirliğini değerlendirmek için yalnızca doğruluk ve hata oranı gibi değerlendirme kriterlerini kullanabiliriz. Seks. Aslında, her sınıflandırma probleminin makine öğrenimi süreci model anlayışını ve model yorumunu içermelidir.
4. Çevrimiçi öğrenme
Geleneksel makine öğrenimi algoritması, tüm eğitim verilerinin önceden verildiğini ve sınıflandırıcının tüm eğitim verilerinde tanımlanan deneysel hatayı en aza indirerek elde edildiğini varsayarak toplu moddadır. Bu öğrenme yöntemi, küçük ölçekte büyük başarı elde etti, ancak veri ölçeği büyük olduğunda, hesaplama karmaşıklığı yüksektir ve yanıt yavaştır ve yüksek gerçek zamanlı gereksinimleri olan uygulamalar için kullanılamaz. Toplu öğrenmeden farklı olarak, çevrimiçi öğrenme, eğitim verilerinin gelmeye devam ettiğini varsayar ve genellikle mevcut modeli güncellemek için bir eğitim örneği kullanır, bu da öğrenme algoritmasının alan karmaşıklığını ve zaman karmaşıklığını büyük ölçüde azaltır ve güçlü gerçek zamanlı performansa sahiptir. Büyük veri çağında, büyük verinin hızlı büyümesi, makine öğrenimi için ciddi zorluklar getirdi.Çevrimiçi öğrenme, akademi ve endüstriden büyük ilgi gören bu sorunu etkili bir şekilde çözebilir. Erken çevrimiçi öğrenme, iyi bilinen algılayıcı algoritmasını üretmek için doğrusal sınıflandırıcılara uygulandı.Veri doğrusal olarak ayrılabilir olduğunda, algılayıcı algoritması birleşir ve optimum sınıflandırma yüzeyini bulabilir. On yıllar süren geliştirmeden sonra, çevrimiçi öğrenme, hem doğrusal işlevleri hem de doğrusal olmayan işlevleri öğrenebilen eksiksiz bir teori seti oluşturmuştur.Verilerin ayrılabilir olduğu durumlarda kullanılabilir ve verilerin ayrılmaz olduğu durumlarla başa çıkabilir. Aşağıda, çevrimiçi öğrenmenin resmi bir tanımını ve öğrenme hedeflerini veriyoruz.
Öğrencinin öğrenme sürecinde gözlemlediği farklı bilgilere göre, çevrimiçi öğrenme daha da ikiye ayrılabilir: tam bilgi içeren çevrimiçi öğrenme ve kumar makineleriyle çevrimiçi öğrenme. İlki, öğrencinin tam kayıp fonksiyonunu gözlemleyebileceğini varsayarken, ikincisi, öğrencinin mevcut kararda kayıp fonksiyonunun değerini yalnızca gözlemleyebileceğini varsayar.Yani, çevrimiçi sınıflandırmayı örnek olarak alırsak, öğrenci eğitim örneğini gözlemleyebilirse, sorun şu şekildedir: Tam bilgi altındaki çevrimiçi öğrenmeye aittir, çünkü eğitim örneklerine dayalı olarak eksiksiz bir sınıflandırma hatası işlevi tanımlanabilir; öğrenci yalnızca sınıflandırma hatasını gözlemleyebilir, ancak eğitim örneklerini gözlemleyemezse, sorun çevrimiçi kumar makinesi öğrenimine aittir. Gözlem bilgilerindeki farklılık nedeniyle, bu iki ayar için öğrenme algoritmaları da oldukça farklıdır ve bunların uygulama senaryoları da farklıdır.
5. BERT
BERT'nin tam adı, iki yönlü Transformatörün Kodlayıcısı olan Transformatörlerden Bidirectional Encoder Representation'dir. Son yıllarda kendi kendine kalıntı ağının en iyi çığır açan teknolojisi olduğu söylenebilir. BERT'in temel özellikleri aşağıdaki gibidir:
1) Algoritmanın ana çerçevesi olarak Transformer'ı kullanan Trabsformer, cümlelerde iki yönlü ilişkiyi daha kapsamlı bir şekilde yakalayabilir;
2) Maske Dili Modeli (MLM) ve Sonraki Cümle Tahminini (NSP) kullanan çok görevli eğitim hedefleri;
3) Daha büyük ölçekli verileri eğitmek için daha güçlü makinelerin kullanılması, BERT'nin sonuçlarının yeni bir boyuta ulaşmasını sağladı ve Google, BERT modelini açık kaynaklı hale getirdi.Kullanıcılar, Word2Vec'in dönüşüm matrisi olarak BERT'i doğrudan kullanabilir ve kendi başlarına verimli bir şekilde uygulayabilirler. Görevde.
BERT'nin özü, büyük miktarda külliyat temelinde kendi kendini denetleyen bir öğrenme yöntemi çalıştırarak kelimeler için iyi bir özellik temsilini öğrenmektir. Sözde kendi kendine denetimli öğrenme, manuel açıklama olmadan veriler üzerinde çalışan denetimli öğrenmeyi ifade eder. Gelecekteki belirli NLP görevlerinde, görevin kelime gömme özelliği olarak BERT'nin özellik temsilini doğrudan kullanabiliriz. Bu nedenle, BERT, göreve göre ince ayar yapıldıktan veya sabitlendikten sonra bir özellik çıkarıcı olarak kullanılabilen diğer görevlerin aktarım öğrenmesi için bir model sağlar. BERT'in kaynak kodu ve modeli Github'da açık kaynaklı ve basitleştirilmiş Çince ve çok dilli modeller de açık kaynaklı.
BERT'in ağ mimarisi, "Tek ihtiyacınız olan dikkat" bölümünde önerilen çok katmanlı Transformatör yapısını kullanır.Bunun en büyük özelliği, geleneksel RNN ve CNN'yi atması ve herhangi bir konumdaki iki kelime arasındaki mesafeyi Dikkat mekanizması aracılığıyla 1'e dönüştürmesidir. , NLP'deki zorlu uzun vadeli bağımlılık sorununu etkili bir şekilde çözer. Transformer'in ağ mimarisi aşağıdaki şekilde gösterilmektedir: Transformer, birkaç kodlayıcı ve kod çözücünün üst üste dizilmesiyle oluşturulan bir kodlayıcı-kod çözücü yapısıdır. Aşağıdaki şeklin sol kısmı, giriş gövdesini bir özellik vektörüne dönüştürmek için kullanılan Multi-Head Attention ve tam bir bağlantıdan oluşan kodlayıcıdır. Sağ kısım kod çözücüdür.Girişi kodlayıcının çıktısı ve tahmin edilen sonuçtur.Maskelenmiş Çok Başlı Dikkat, Çok Başlı Dikkat ve nihai sonucun koşullu olasılığını çıkarmak için tam bir bağlantıdan oluşur.
Transformatörün ağ mimarisi
6. Evrişim ve grafik evrişimi
İki işlevin evrişimi, esasen önce bir işlevi ters çevirmek ve ardından kayan üst üste binme gerçekleştirmektir. Sürekli durumda, süperpozisyon, iki fonksiyonun çarpımının entegrasyonunu ifade eder.Ayrık durumda, ağırlıklı toplamadır.Basitlik uğruna, topluca süperpozisyon olarak adlandırılır. Ders kitaplarında, f ve g fonksiyonlarının evrişimi f * g (n) genellikle aşağıdaki gibi tanımlanır:
Şimdiki zaman:
Ayrık form:
Hesaplama yönteminden formülün yorumu şöyledir: İlk olarak, evrişimin "hacminin" orijini olan sayı ekseninde g fonksiyonunu sağdan sola katlamaya eşdeğer olan g fonksiyonunu çevirin. Daha sonra g fonksiyonu n'ye çevrilir, iki fonksiyonun karşılık gelen noktaları bu pozisyonda çarpılır ve daha sonra eklenir Bu süreç, evrişimin "çarpımı" sürecidir. Genel görüş böyle bir süreçtir:
Çevir slayt kaplama slayt kaplama kaydırma kaplama
Birden çok kez kaydırılarak elde edilen bir dizi üst üste binen değer, bir evrişim fonksiyonu oluşturur. Evrişimin "yuvarlanması", fonksiyonun g (t) 'den g (-t)' ye çevrilmesi sürecini ifade eder; aynı zamanda, "rulo" da içeriye kayma anlamına gelir. Evrişim "evrişim" olarak çevrilirse, "kıvrım" kelimesi yalnızca çevirme anlamına gelir. Evrişimin "çarpımı", integral / ağırlıklı toplamı ifade eder. Evrişimin anlamının anlaşılması şu şekildedir:
1) "Ürün" sürecinden, aldığımız üst üste binen değerin küresel bir kavram olduğunu görebiliriz. Sinyal analizini örnek olarak alırsak, evrişimin sonucu yalnızca giriş sinyalinin o andaki yanıt değeriyle değil, aynı zamanda tüm geçmiş girdilerin etkilerinin birikimini hesaba katarak tüm geçmiş anlarda giriş sinyalinin yanıtıyla da ilgilidir. Görüntü işlemede, evrişim işlemenin sonucu, aslında her pikselin çevreleyen piksellerini veya hatta tüm görüntünün piksellerini hesaba katmak ve mevcut piksel üzerinde bazı ağırlık işlemleri gerçekleştirmektir. Bu nedenle, "ürün" küresel bir kavramdır veya iki işlevi zaman veya uzayda karıştıran bir tür "karıştırma" dır.
2) "Döndürme" nin (çevirme) amacı aslında "ürün" olduğunda neye atıfta bulunulacağını belirten bir tür kısıtlama uygulamaktır. Sinyal analizi sahnesinde, "entegrasyon" öncesi ve sonrasındaki belirli zaman noktasını belirtir; mekansal analiz sahnesinde, biriktirme işleminin çevresinde gerçekleştirildiği konumu belirtir.
Grafik evrişim ağının temel çalışmasını anlamak için, grafik evrişim CNN'deki evrişimin konumu ile karşılaştırılabilir. Aşağıdaki şekilde gösterildiği gibi, dijital görüntü iki boyutlu bir ayrık sinyaldir.Dijital görüntünün evrişim işlemi aslında görüntü üzerinde kaymak için evrişim çekirdeğini (evrişim şablonu) ve görüntü noktasındaki pikselin gri değerini ve karşılık gelen Evrişim çekirdeğindeki değer çarpılır ve ardından tüm çarpılan değerler, evrişim çekirdeğinin orta pikseline karşılık gelen görüntü üzerindeki pikselin gri değeri olarak eklenir ve son olarak tüm görüntülerin kaydırılması işlemi yapılır.
Grafik evrişimin şematik diyagramı
Gerçekte, sosyal ağ bilgileri, bilgi grafikleri, protein ağları ve World Wide Web gibi daha önemli veri kümeleri grafikler biçiminde depolanır. Bu grafik ağları görüntü biçiminde değil, düzgün düzenlenmiş matrisler biçimindedir, ancak yapılandırılmamış bilgilerdir Görüntü alanında evrişim gibi grafik özelliklerini çıkarmak için genel bir paradigma var mı? Bu, grafik evrişimli ağlarda grafik evrişiminin anlamıdır. Çoğu grafik modeli için benzer bir genel formül vardır: Bu modellere toplu olarak grafik evrişimli ağlar denir. Bu nedenle, grafik evrişimin yapılandırılmamış verileri işlemek için güçlü bir araç olduğu söylenebilir.Bu alandaki araştırmaların giderek derinleşmesiyle, bilgi alanlarının insan tarafından işlenmesi artık yapılandırılmış verilerle sınırlı kalmayacak ve buna daha fazla dikkat çekilecektir. Birincisi, varoluşun kapsamı daha geniştir ve daha anlamlı bilgi alanlarını kapsar.
İkincisi, derin öğrenme
Derin öğrenme, makine öğreniminin son 10 yılda en hızlı büyüyen dalı. Öneminden dolayı, üç profesör (Geoffrey Hinton, Yann Lecun, Yoshua Bengio) da Turing Ödülü'nü kazandı. Derin öğrenme modellerinin gelişimi 1958'deki Perceptron'a kadar izlenebilir. Sinir ağları 1943'te embriyonik formda ortaya çıktı (NeuroScience'dan türetildi). 1958'de, biliş üzerine çalışan bir psikolog olan Frank, bir artışa neden olan algılayıcıyı icat etti. Daha sonra Marvin Minsky (yapay zeka ustası) ve Seymour Papert, algılayıcının eksikliklerini keşfetti: XOR devreleri gibi doğrusal olmayan problemleri çözemedi ve büyük ölçekli sinir ağlarını idare etmek için yetersiz hesaplama gücü sorunu vardı. Böylece tüm sinir ağı araştırmaları bir durgunluk dönemine girdi.
Son 30 yılda hızlı bir gelişme kaydetti. Genel olarak konuşursak, dört ana geliştirme hattı vardır:
Son yıllarda derin öğrenme modellerinde önemli ilerleme
1. Derin öğrenmede son zamanlarda kaydedilen önemli ilerleme
Son birkaç yılda, derin öğrenme, yapay zekanın tüm gelişimini değiştirdi. Derin öğrenme teknolojisi sağlık, finans, insan kaynakları, perakende, deprem tespiti ve otonom araçlar alanlarındaki uygulamalarda görünmeye başladı. Mevcut sonuçlara gelince, performans istikrarlı bir şekilde gelişiyor. Bu bölüm derin öğrenmedeki bazı önemli gelişmeleri tanıtacaktır.
2018'de üç büyük gelişme:
BERT modeli . BERT'nin tam adı, tüm bağlam katmanlarıyla derin iki yönlü gösterimleri eğitebilen derin iki yönlü Transformatörlere dayanan bir ön eğitim modeli olan Transformers'dan Bidirectional Encoder Representation'dir. Google, 2018'de 11 nlp görevinde BERT'nin olağanüstü performansını duyurduğundan beri, BERT, NLP alanındaki yangının bir modeli haline geldi.
Videodan Videoya Sentez . Genellikle grafik motorları ve video oyunları tarafından oluşturulan simülatörler arasındaki çevresel etkileşime alışkınız. Etkileyici olmasına rağmen, klasik yöntemin maliyeti yüksektir çünkü sahne geometrisi, malzemeler, aydınlatma ve diğer parametreler dikkatlice belirtilmelidir. Çok iyi bir soru, bu ortamları örneğin derin öğrenme teknikleri kullanarak otomatik olarak oluşturmanın mümkün olup olmadığıdır. NVIDIA araştırmacıları bu sorunu çözdü. Amaçları, giriş içeriğini doğru bir şekilde göstermek için kaynak video ile çıkış videosu arasında bir eşleştirme işlevi sağlamaktır. Yazar, bunu bir dağıtım eşleştirme sorunu olarak modelliyor ve amacı, otomatik olarak oluşturulan videoların koşullu dağıtımını gerçek videoların koşullu dağıtımına mümkün olduğunca yakın hale getirmektir. Bu hedefe ulaşmak için Generative Adversarial Networks'e (GAN) dayalı bir model oluşturdular. GAN çerçevesindeki temel fikir, oluşturucunun gerçek sentetik verileri üretmeye çalışmasıdır, bu da ayırıcıyı gerçek veriler ile sentetik veriler arasında ayrım yapamaz hale getirir. Zamansal olarak tutarlı videolar elde etmeyi amaçlayan uzay-zamansal bir öğrenme hedefi tanımladılar.
Grafik Ağı. DeepMind ve Google Brain, MIT ve diğer kurumlardan 27 yazar, gişe rekorları kıran bir "İlişkisel tümevarımsal önyargılar, derin öğrenme ve grafik ağları" makalesi yayınladılar ve uçtan uca öğrenmeyi tümevarımsal akıl yürütmeyle birleştiren bir "grafik ağı" önerdiler. Derin öğrenmenin ilişkisel muhakeme yapamayacağı problemini çözün. Yazar, kombinatoryal genellemenin, yapay zekanın insanlara benzer yetenekleri elde etmek için birincil görevi olduğuna ve yapılandırılmış temsil ve hesaplamanın bu hedefe ulaşmanın anahtarı olduğuna inanıyor.Bu hedefe ulaşmanın anahtarı, yapılandırılmış temsil verileri ve hesaplamadır. Bu makale, grafik ağlarının ilişkisel akıl yürütmeyi ve kombinasyonel genellemeyi nasıl desteklediğini ve daha karmaşık, yorumlanabilir ve esnek akıl yürütme modellerinin temelini nasıl attığını tartışmaktadır.
2019'daki üç büyük gelişme:
XLNet modeli . XLNet, CMU ve Google Brain tarafından önerilen yepyeni bir NLP modelidir. BERT'nin 20 görevdeki performansını aşar ve makine sorusu yanıtlama, doğal dil çıkarımı, duygu analizi ve belge sıralama dahil olmak üzere 18 görevde mevcut en iyi sonuçları elde etmiştir.
MoCo. O Yuming, "Denetimsiz Görsel Temsil Öğrenimi için Momentum Kontrastı" adlı çalışmasında, denetimsiz görsel temsil öğrenimi için momentum kontrastı (MoCo) önerdi. Bir sözlük araması olarak karşılaştırmalı öğrenme perspektifinden, yazar bir kuyruk ve hareketli bir ortalama kodlayıcı ile dinamik bir sözlük oluşturdu. Bu şekilde, büyük ve tutarlı sözlükler gerçek zamanlı olarak oluşturulabilir, böylece karşılaştırmalı denetimsiz öğrenmeyi kolaylaştırır. MoCo, ImageNet sınıflandırması için genel doğrusal protokol altında rekabetçi sonuçlar sağlar. Daha da önemlisi, MoCo tarafından öğrenilen temsil, alt görevlere aktarılacaktır. MoCo, PASCAL VOC, COCO ve diğer veri setlerinde denetlenen eğitim öncesi eşler arası görevlerde algılama / segmentasyon görevlerinden daha iyi performans gösterebilir ve bazen bunu büyük ölçüde aşar. Bu, birçok vizyon görevinde, denetimsiz ve denetimli temsil öğrenimi arasındaki boşluğun büyük ölçüde ortadan kaldırıldığını gösterir.
DL Sistemi 2. Yoshua Bengio'nun NeuIPS 2019'daki "SİSTEM 1 DERİN ÖĞRENMEDEN SİSTEM 2 DERİN ÖĞRENMEYE" başlıklı raporu, yaygın ilgi gören derin öğrenmenin gelişme yönünü tartıştı.
3. Yetenek
1. Bursiyerlere genel bakış
Bilim adamı haritası, bilim adamlarının belirli bir alandaki dağılımını açıklamak için kullanılır. Bilim adamlarının anketleri yapmak ve çeşitli bölgelerin rekabet edebilirliğini analiz etmek için özellikle önemlidir. Aşağıdaki resim, makine öğrenimi alanındaki akademisyenlerin dağılımını göstermektedir:
Makine öğrenimi alanındaki akademisyenlerin küresel dağılımı
Harita, akademisyenlerin şu anda çalıştığı kurumun coğrafi konumuna göre çizilir; burada renk ne kadar koyu olursa, daha konsantre bilim adamları gösterir. Bu haritadan, Amerika Birleşik Devletleri'ndeki yetenek sayısının çok ileride olduğu ve çoğunlukla doğu ve batı kıyılarına dağıldığı görülebilir; Orta Batı Avrupa'da da daha fazla yetenek var; Asya'daki yetenekler çoğunlukla Doğu Çin, Japonya ve Güney Kore'de; Afrika ve Güney Amerika gibi diğer alanlarda Diğer bölgelerdeki akademisyenler çok azdır; makine öğrenimi alanındaki yeteneklerin dağılımı, her bölgenin teknolojik ve ekonomik gücü ile büyük ölçüde tutarlıdır. Ayrıca makine öğrenimi alanında cinsiyet oranı açısından erkek akademisyenler% 89,8, kadın akademisyenler% 10,2 ve erkek akademisyenlerin oranı kadın akademisyenlere göre çok daha yüksektir.
h-endeksi dağılımı. Makine öğrenimi akademisyenlerinin h-endeksi dağılımı aşağıdaki şekilde gösterilmektedir: Çoğu akademisyenin h-endeksi 30'un üzerindedir. Bunlar arasında hindex'i 30'un altında olan kişilerin sayısı en büyüğüdür, 591 kişi ile% 29,1'i oluşturur.
Makine öğrenimi alanındaki akademisyenlerin H-endeksi dağılımı
Çinli bilim adamlarının makine öğrenimi alanındaki dağılımı
Makine öğrenimi alanındaki Çinli uzmanların ve akademisyenlerin dağılımı yukarıdaki şekilde gösterilmektedir. Yukarıdaki şekilden, Pekin-Tianjin bölgesinin bu alanda en fazla sayıda yeteneğe sahip olduğunu ve bunu Yangtze Nehri Deltası ve İnci Nehri Deltası'nın izlediğini görebiliriz. Buna karşılık, iç kesimlerde yetenek azdır. Bu dağılım konum faktörlerine ve ekonomik seviyelere bağlıdır. İlgisiz değil. Aynı zamanda, özellikle Japonya, Güney Kore, Güneydoğu Asya ve diğer Asya ülkeleri ile karşılaştırıldığında, Çin'in komşu ülkelerindeki akademisyenlerin sayısını gözlemleyen Çin, makine öğrenimi alanında daha fazla akademisyene sahip.
Makine öğreniminde Çin ve diğer ülkeler arasındaki işbirliği, AMiner veri platformunun analizine dayanılarak elde edilebilir. Yazarlar, makalelerde yazarın birim bilgilerinin istatistikleri aracılığıyla çeşitli ülkelerle eşleştirilir ve ardından Çin ile diğer ülkeler arasındaki işbirliği belgelerinin sayısı ve işbirliğine göre sayılır. Aşağıdaki tabloda gösterildiği gibi yayınlanan makale sayısı yüksekten düşüğe doğru sıralanmıştır.
Makine öğrenimi alanında Çin ile diğer ülkeler arasındaki işbirliği belgelerinin durumu
Yukarıdaki tablodaki verilerden Çin ve Amerika Birleşik Devletleri'nin işbirliği yaptığı makale, atıf, ortalama atıf ve akademisyen sayısının çok ileride olduğu ve Çin ile Amerika Birleşik Devletleri'nin makine öğrenimi alanında yakın bir işbirliğine sahip olduğuna işaret ettiği; Coğrafi açıdan Çin ve Avrupa arasındaki işbirliği çok fazla olduğu görülmektedir. Çin-Avrupa işbirliği ilk 10 ortaklık içinde 4 sandalye oluşturuyor.Çin ve Hindistan en fazla makale sayısına sahip olmasa da ortalama atıf sayısı hala ikinci sırada yer alıyor ve bu da Çin-Hindistan işbirliğinin işbirliği kalitesi açısından da yüksek bir seviyeye ulaştığını gösteriyor. Seviye.
Dört, endüstri uygulamaları
1. Finans sektöründe uygulama
Dolandırıcılık tespiti . Dolandırıcılık tespiti için makine öğrenimini kullanırken, önce geçmiş verileri toplayın ve verileri üç farklı bölüme ayırın ve ardından, dolandırıcılık olasılığını tahmin etmek için makine öğrenimi modelini eğitmek için eğitim setini kullanın. Son olarak, veri setindeki dolandırıcılığı veya anormallikleri tahmin etmek için bir model oluşturulur. Geleneksel tespit ile karşılaştırıldığında, bu sahtekarlık tespit yöntemi daha az zaman alır. Makine öğreniminin mevcut uygulaması hala küçük olduğundan ve hala büyüme aşamasında olduğundan, karmaşık sahtekarlığı tespit etmek için birkaç yıl içinde daha da geliştirilecektir.
Borsa tahmini . Günümüzde borsa herkesin ilgisini çeken bir nokta haline geldi, ancak hisse senedinin işleyişini ve güncel trendleri anlamıyorsanız piyasayı yenmek çok zor. Makine öğreniminin kullanılmasıyla stok tahmini oldukça basit hale geldi. Bu makine öğrenimi algoritmaları, bunları analiz etmek ve şirketin gelecekteki gelişimi ile ilgili anlamlı işaretler bulmak için şirketin bilançoları, gelir tabloları vb. Gibi tarihsel verilerini kullanacak.
Hazine Müdürlüğü (Hazine) / Müşteri İlişkileri Yönetimi (CRM) / Spot İşlemler (Spot İşlemler) . Müşteri ilişkileri yönetimi (CRM), mikro bankacılık işinde çok önemli bir konuma sahiptir, ancak bankanın iç finansal alanında hiçbir etkisi yoktur. Çünkü Hazine Departmanı, döviz, opsiyon, swap (Swap), forward işlemler (Forward) ve daha önemlisi spot işlemler (Spot) gibi kendi ürün grubuna sahiptir. Çevrimiçi işlemler, bu ürünlerin karmaşıklığını, müşteri risklerini, pazar ve ekonomik davranışları ve bankalar için neredeyse uzak bir rüya olan kredi geçmişi bilgilerini birleştirmelidir.
Chatbot / Kişisel Finans Asistanı . Chatbot'lar finansal danışman olarak hareket edebilir, kişisel finansal rehberler olabilir, harcamaları takip edebilir ve mülk yatırımından yeni araba tüketimine kadar her konuda tavsiye verebilir. Finansal robotlar ayrıca karmaşık finansal şartları anlaşılması kolay bir dile dönüştürebilir ve bu da iletişim kurmayı kolaylaştırır. Kasisto adlı bir şirketin chatbot'u, müşteri bildirimleri, transferler, çek mevduatları, sorgular, SSS ve aramalar, içerik dağıtım kanalları, müşteri desteği, indirim hatırlatıcıları gibi çeşitli müşteri taleplerini karşılayabilir.
2. Otonom sürüş
Sürücünün durumunu değerlendirmek ve sürüş sahnelerini sınıflandırmak için otomobilin içindeki ve dışındaki sensörlerden gelen verilerin birleştirilmesi, makine öğrenimi gerektirir. Kendi kendine giden arabaların tasarımı ve üretimi birçok zorlukla karşı karşıyadır. Günümüzde, büyük şirketler uygun çözümleri bulmak için makine öğrenimini yaygın bir şekilde benimsemiştir. Araçtaki ECU (Elektronik Kontrol Ünitesi) entegre sensör veri işlemeye sahiptir.Yeni görevleri tamamlamak için makine öğreniminden tam olarak nasıl yararlanılacağı çok önemli hale gelmiştir. Potansiyel uygulamalar, sürücünün durumunu değerlendirmek ve sürüş sahnelerini sınıflandırmak için otomobilin içindeki ve dışındaki sensörlerden gelen verileri birleştirmeyi içerir. Bu sensörler lidar, radar, kameralar veya Nesnelerin İnterneti gibi şeyleri içerir.
Araç içi bilgi-eğlence sisteminde çalışan uygulama, sensör veri füzyon sisteminden veri alabilir. Örneğin, sistem sürücünün durumunu tespit ederse, aracı hastaneye kadar sürebilme özelliğine sahiptir. Makine öğrenimine dayalı uygulamalar, sürücü dili ve hareket tanıma ve dil çevirisini de içerir. İlgili algoritmalar, denetimsiz ve denetimli algoritmalar olarak sınıflandırılır. İkisi arasındaki fark, öğrenme yolunda yatmaktadır.
Kendi kendine giden arabalarda, makine öğrenimi algoritmalarının ana görevlerinden biri, çevredeki ortamı sürekli hale getirmek ve olası değişiklikleri tahmin etmektir. Bu görevler dört alt göreve ayrılabilir: hedef algılama, hedef tanıma veya sınıflandırma, hedef konum ve hareket tahmini.
Makine öğrenimi algoritmaları basitçe dört kategoriye ayrılabilir: karar matris algoritmaları, kümeleme algoritmaları, örüntü tanıma algoritmaları ve regresyon algoritmaları. İkiden fazla alt görevi tamamlamak için bir tür makine öğrenimi algoritması kullanılabilir. Örneğin, regresyon algoritmaları, nesne konumu ve hedef tanıma veya hareket tahmini için kullanılabilir.
Otonom sürüş hedefi tanıma ve hareket tahmini
3. Sağlık ve Tıp
Yapay zeka ve makine öğreniminin sağlık sektörünü nasıl değiştirdiğini daha iyi anlamak için, bazı özel vakaları geçtik ve bu vakalar, bu son teknolojilerin pratik değerini güçlü bir şekilde kanıtlayabilir.
Gelişmekte olan ülkelerde tüberkülozun durumunu değerlendirmek . Görüntülerde kalıpları tanımak (Desen), mevcut yapay zeka sistemlerinin en güçlü noktasıdır.Araştırmacılar, göğüs röntgenlerini incelemek ve tüberkülozu belirlemek için yapay zeka eğitimi alıyor. Bu teknoloji, radyologların bulunmadığı TB endemik bölgelerine etkili tarama ve değerlendirme yöntemleri getirebilir.
Gazilerde travma sonrası stres bozukluğunu (TSSB) tedavi etmek için yapay zeka . Gaziler için Travma Sonrası Büyüme Programı, travma sonrası stres bozukluğu olan daha fazla gazinin psikoterapiyi tamamlayabilmesini sağlamak için IBM Watson ile işbirliği içinde yapay zeka ve analitiği kullanıyor. Bu teknolojileri kullanarak tamamlama oranları% 10'un altından% 73'e çıktı. Gazi İşleri Bakanlığı istatistiklerine göre, travma sonrası stres bozukluğu olan gazilerin% 80'i tanıdan sonraki bir yıl içinde tedavi planlarını tamamlıyor ve sonra iyileşiyor. Afganistan ve Irak'taki 3 milyon savaş gazisinin yaklaşık beşte biri travma sonrası stres bozukluğu yaşıyor.
Serebral kanamanın tespiti . İsrailli medikal teknoloji şirketleri MedyMatch ve IBM Watson Health, intrakraniyal kanamayı tespit ederek, hastanelerin acil servislerindeki doktorların felç ve kafa travması hastalarını daha etkili şekilde tedavi etmelerine yardımcı olmak için yapay zeka kullanıyor. Yapay zeka sistemi, doktorların kontrol etmesi için olası beyin kanamalarını otomatik olarak işaretlemek için klinik içgörü, derin öğrenme, hasta verileri ve makine görmesini kullanır.
Yönetim iş akışını optimize edin ve bekleme süresini ortadan kaldırın . İdari ve yardımcı işler, AI'nın çalıştığı ana alanlardır. Accenture'a göre, sesten metne transkripsiyon gibi zaman kazandıran iş akışı özellikleri, tıp uzmanları için testler ve reçeteler sipariş etme ve tablolara notlar yazma gibi görevlerin yerine geçme potansiyeline sahiptir - hasta olmayan bakımı içeren tüm görevler. Bu, doktorun çalışma süresinden% 17 ve kayıtlı hemşirenin çalışma süresinden% 51 tasarruf etmeye eşdeğerdir.
Alzheimer hastalığı için test edin. Artık yapay zeka robotları, Alzheimer hastalığını ses kalıplarına ve seslere dayalı olarak bir dakikadan daha kısa sürede,% 82 doğruluk oranıyla teşhis edebiliyor ve bu doğruluk oranı sürekli gelişiyor. Yapay zeka sistemi, kelimeler arasındaki duraklamaların uzunluğunu, uygun isimler yerine zamir tercihlerini ele alabilir, aşırı basit açıklamaları ve konuşma frekansı ve genliğindeki değişiklikleri idare edebilir. İnsan dinleyicilerinin yüksek doğrulukta kayıt yapması ve tespit etmesi zordur, ancak yapay zeka sistemleri objektif ve ölçülebilir analizler gerçekleştirebilir.
Kanser teşhisi . Kanseri tespit etmek ve teşhis etmek için kullanılan geleneksel yöntemler arasında bilgisayarlı tomografi (CT), manyetik rezonans görüntüleme (MRI), ultrason ve X-ışınları bulunur. Ne yazık ki, bu teknolojilerle birçok kanser, güvenilir bir şekilde hayat kurtarmak için yeterince doğru teşhis edilemez. Mikrodizi genetik haritalarının analizi alternatif bir yöntemdir, ancak bu teknoloji, AI ile değiştirilemediği sürece saatlerce hesaplama gerektirir. Stanford Üniversitesi'nin yapay zeka teşhis algoritmasının, görüntülerden potansiyel cilt kanserini tespit etmede komite sertifikalı 21 dermatologdan oluşan bir ekip kadar etkili olduğu artık kanıtlanmıştır. Başlangıç Enlitic, BT görüntülerinde akciğer kanseri nodüllerini tespit etmek için derin öğrenmeyi kullanıyor ve algoritması, bir ekip olarak çalışan uzman göğüs doktorlarından% 50 daha doğru.
Robot destekli cerrahi. AI-enabled 21%
4
IDC Ivano Ortis
/
5
2030 40% Ecolab Azure Dynamics CRM Online
Top10 Neural Network Machine Learning Deep Neural Networks Deep LearningSupport Vector Machine Reinforcement Learning Feature Selection Deci Tree Data MiningArtificial Neural Network
Neural Network Neural Network 2002-2006 2018
Bilge şeyler düşünür
Okuduğunuz için teşekkürler. Gemide takip etmek ve sizi teknolojide ön plana çıkarmak için tıklayın ~
