AAAI 2021 konferansının yeni başkanı olarak, Profesör Yang Qiang'ın düşündüğü "makine öğreniminin sınır sorunları" nelerdir?
Yazar | on yıl
Düzenle | deve
Nanda Zhou Zhihua'ya göre Weibo Haberler, WeBank Baş Yapay Zeka Sorumlusu Profesör Yang Qiang, AAAI 2021 konferansı olarak görev yapacak Başkan .
Profesör Yang Qiangın atanması aynı zamanda AAAI konferans tarihindeki ikinci konferanstır. Başkan , Çinliler için de bir ilk.
Profesör Zhou Zhihua Weibo AAAI'da 2020'den önce bahsedildi, sadece bir program komitesi Başkan (Program Komitesi e başkanı), konferans yok Başkan (Genel sandalye). Program komitesini yapmak için başvurulardaki son artış nedeniyle Başkan Makalelerin akademik kalite kontrolüne odaklanabilen ve ancak 2020'de konferansı kurmaya başlayabilen Başkan .
Yapay zeka sektöründe uluslararası bir uzman olan Profesör Yang Qiang, özellikle son yıllarda akademik ve endüstriyel çevrelerde pek çok katkı sağlamış, Çin'de yapay zeka ve veri madenciliğinin gelişmesine önemli katkılarda bulunmuştur. Profesör Yang Qiang, uluslararası yapay zeka topluluğundaki "transfer öğrenimi" alanının başlatıcısı ve liderinin yanı sıra uluslararası "Federe Öğrenme" nin (Federe Öğrenme) başlatıcılarından ve liderlerinden biridir.
O 2013 Temmuz 2007'de AAAI Üyesi olarak seçildi ve bu onuru alan ilk Çinli oldu.Daha sonra Mayıs 2016'da AAAI İcra Komitesi üyeliğine, ilk AAAI Çin icra komitesi üyesi seçildi ve Ağustos 2017'de uluslararası üye seçildi. Yapay Zeka Federasyonu Konseyi (IJCAI) Başkan , IJCAI Konseyinde ilk hizmet veren Başkan Çinli bilim adamları.
AAAI 2021 konferansı olarak Başkan , Tabii ki de bir meseledir.
Tesadüfen, çok geçmeden, AI Technology Review Profesör Yang Qiang tarafından yapılan bir raporu dinledi. 11 Ocak'ta "Tsinghua-Çin Mühendislik Akademisi Bilgi İstihbarat Ortak Araştırma Merkezi'nde Yıllık toplantı Bilişsel Zeka Zirvesi Forumunda Profesör Yang Qiang, yapay zeka algoritmalarının sınırlamaları ışığında "Makine Öğreniminin Çeşitli Sınır Sorunları" hakkında bir rapor verdi ve makine öğrenimi düzeyinde birkaç sınır meselesini özetledi.
Raporda Profesör Yang, makine öğrenimi sürecindeki bağlantıların çoğunun otomatik tasarım olabileceğine dikkat çekti; küçük veri kümeleri ikilemi karşısında transfer öğrenimi iyi bir çözüm; gizlilik korumasının giderek daha önemli hale geldiği günümüzde, Federe öğrenme, eğitim için çok taraflı verilerin kullanımını gerçekleştirebilir ve ayrıca her bir tarafın veri gizliliğini koruyabilir.
AI Technology Review, Profesör Yang Qiangın görüşlerini aşağıdaki gibi herkesle paylaşmak için bu fırsatı değerlendiriyor
AI Technology Review, Profesör Yang Qiang'ın kendisi tarafından onay alınmaksızın düzenlendi ve düzenlendi.
1. Makine öğrenimi nasıl ölçeklendirilir?
Yapay zekanın gelişimi şu anda çok sıcak olsa da, yapay zeka büyük zorluklarla karşı karşıya. İlki yeteneklerin zorluğudur.Okullarda eğitim ve uygulamada eğitim de dahil olmak üzere bir yapay zeka yeteneğini geliştirmek yaklaşık on yıl sürüyor. zaman.
Öyleyse yapay zeka teknolojisi yapay zeka tasarlamak için kullanılabilir mi? Yapay zekanın belirli uygulama bağlantılarında bazı bağlantılar yapay zeka ile gerçekleştirilebilir mi? Başka bir deyişle, AI algoritmaları otomatik olarak tasarlanabilir mi? Bu sorunu çözmek için, yapay zeka algoritmalarını, özellikle otomasyona uygun olan ve otomasyon için hangi bağlantının kullanılamayacağını, makine öğrenimi algoritmalarının tüm sürecinin her bir bağlantısını tam olarak dikkate almak gerekir.
Makine öğreniminin tüm süreci, problem tanımlama, veri toplama, özellik mühendisliğinin oluşturulması, model eğitimi ve testi, uygulama ve son olarak uygulama sonuçlarının ilk adıma geri bildirimini içerir. Yani bu döngüsel süreç çok karmaşık ve yapay zeka uzmanları gerektiren birçok bağlantı var, bu yüzden bir yapay zeka projesi çok pahalı. Peki otomasyonla hangi adım çözülebilir? Örneğin, tanım probleminden başlayarak, tanım problemi sadece geçmiş bilgilerden öğrenme problemi değildir, aynı zamanda bilinçli olarak yeni fikirler ileri sürebilir ve hatta bazı fikirlerin referans alınacak geçmiş deneyimi yoktur.
Bu nedenle, problemi tanımlama bağlantısında otomasyonu tanıtmanın zor olduğu sonucuna vardık, ancak veri toplama, veri toplama ve model eğitimi de dahil olmak üzere özellik mühendisliğinin oluşturulması gibi son bağlantılar aslında otomatikleştirilebilir.
Matematiksel model kavramında, makine öğreniminin amacı eğitim verileri ile model arasındaki farkı gitgide küçültmektir.Tüm süreç bir optimizasyon süreci ve bir olasılık sürecidir. Bir model ararken, aslında onu yapılandırılmış parametre alanında arıyoruz. Ancak özellikle derin öğrenmedeki parametrelerin sayısı çok fazladır ve boyutlar yüz milyonlara ulaşabilir. Bu parametreler genellikle makine öğrenimi uzmanları tarafından ayarlanır, bu nedenle bir makine kullanırsanız etkisi daha iyi olur mu?
İkinci bağlantı performans değerlendirmesidir, yani değerlendirme modeli ile eğitim verileri arasındaki fark Bu bağlantı aynı zamanda makine tarafından kısmen çözülebilir, ancak farkın tanımı hala insanlar tarafından çözülmektedir, yani matematikçi bir modeli tanımlar ve Eğitim verileri arasındaki fark ne kadar büyük.
Bu nedenle, son zamanlarda yapılan bazı analizlerde, yapay zekanın temelinin matematik olması gerekip gerekmediği, matematikçiler tarafından mesafenin tanımına, yani farklı uzaylar ve dönüşüm uzayları arasındaki çeşitli mesafelerin tanımlanmasına yansımıştır.
Dolayısıyla, bu alandaki en iyi yapılandırmanın verimli bir şekilde nasıl çözüleceği ve bulunacağı bir optimizasyon problemidir, bu nedenle şu şekilde özetlenebilir: veri ön işleme, özellik işleme ve model eğitimi. Bu yönler bazılarını oluşturabilir aramak Uzay, optimizasyon işlevi böyle bir boşlukta oluşturulabilir.Örneğin yukarıdaki şeklin sol tarafında üç boşluk var, daha sonra bu üç boşluk sağdaki performans alanına dahil ediliyor.
Otomatik özellik mühendisliği için halihazırda çok iyi bir platform var: Örneğin, dördüncü paradigma şirketi, farklı boyutlardaki özellikleri otomatik olarak birleştirip görüntüleyen ve sonunda en optimize kombinasyonu başlatan AutoCross platformunu başlattı. Aynı zamanda, aynı zamanda bir topolojik alan olan otomatikleştirilmiş makine öğreniminde en uygun ağ yapısını bulmak artık daha zor. aramak sorun.
Yukarıdaki şeklin sağ üst köşesi derin bir öğrenme topolojisini, yani bir nörondan diğerine olan bağlantıyı göstermektedir Bu bağlantı sürekli değişiyor ve etkisi çok büyük. Peki optimal bir topoloji nasıl bulunur? Bu daha zor bir problem. Bu problem şimdi de otomatik bir şekilde çözmeye çalışıyor.Özellikle, yukarıdaki şeklin sol tarafında gösterildiği gibi, pekiştirmeli öğrenme kavramını ifade ediyor.
İlk olarak, derin öğrenme sürecinde, sağ taraf daha iyi bir konfigürasyon değerinin, yani ağ topolojisi alanında bir konfigürasyon değeri parametresinin nasıl sürekli olarak bulunacağını ve ardından geri bildirim almak için tasarıma geri dönülmesini gösterir. Bu AlphaGo ile satranç oynamak gibidir, fark, satranç tahtasının bir ağ bağlantısı olarak tanımlanmasıdır.
2. AI verileri yeterli değilse ne yapmalı?
Mevcut çeşitli derin öğrenme algoritmalarının önemli bir varsayımı vardır: Yeterli veri var. Veriler yeterli değilse, bunu çözmek için aktarım öğrenimi kullanılabilir.
Spesifik yöntem şudur: Öncelikle yukarıdaki şekildeki kırmızı modele bakın, eğitmek istediğimiz modelin yukarıdaki şekildeki hedef model olduğunu ve bunun çok fazla veri gerektirdiğini varsayın. Verilerin sınırlı olduğunu varsayarsanız, yukarıdaki şeklin sol tarafındaki mavi alanı aramanız gerekir Mavi alanın özellikleri: büyük miktarda veri, çok güvenilir bir model ve çok iyi bir model etkisi. Daha sonra, öğrenmeyi aktarın: yukarıdaki resimdeki mavi olgun modelden kırmızı alana. Bu, insanın benzetme yoluyla, benzetme yoluyla öğrenmesine benzer.
Sonuç şudur: Orijinal veri miktarı çok büyükse, küçük bir veriye taşımak iyi bir etkiye sahip olacaktır. Ve orijinal verilerin veri miktarı ve veri kalitesi iyileşmeye devam ettiğinde, geçiş öğreniminin etkisi de iyileşmeye devam ediyor. Daha sonra derin öğrenme aktarımı öğrenmeye uygulanabilir. Yukarıdaki şekilde kırmızı maviye taşınabilir.Kırmızı zaten soldan sağa doğru bir akışa sahiptir.Soldan giriş, sağdan çıktı, iyi bir sınıflandırma elde edilebilir.
Ancak, özellikle alanla ilgilidir ve özellikle spesifik kısım, derinlik modelinin üst ucunda, yani sağda çıktısı olan kısımda yer alır ve bu kısım mümkün olduğu kadar göçe katılmamalıdır. Bu, tavlama modeline benzer bir göç stratejisini içerir. Aşağıdaki mavi modelin geçiş etkisinin daha iyi ve daha iyi olması için zamanla bu geçişin odağını yavaş yavaş aşağıya doğru itiyoruz.
Bu göç yöntemi aynı zamanda endüstride çok sayıda uygulanmaktadır. Örneğin, oto finansmanın risk kontrolünde, büyük otomobil kredileri genellikle nadirdir, bu nedenle bir geçiş öğrenme çözümüne ihtiyaç vardır. Veriler, çok iyi sonuçlar almak için iki veri arasında geçiş yaparak.
Örneğin kentsel hesaplamalarda, bir şehirde iyi bir trafik seyahat tahmin modelinin elde edildiği varsayılarak, yeni bir şehre taşınabilir ve bu yeni şehirde çok fazla veri toplamadan iyi bir sonuç alınabilir. . Yukarıda bahsedilen otomatik transfer öğrenimi, transfer öğrenme stratejilerini öğrenmek için makine öğrenimini kullanmaktır. Stratejinin ana noktaları şunlardır: orijinal alanın seçimi, transfer öğrenme algoritmasının seçimi. Ardından sağdaki optimizasyon alanında en iyi optimizasyon çözümünü bulun, bu problemi matematiksel bir probleme çevirin ve sonra onu çözebilirsiniz.
3. Kullanıcı gizliliği nasıl korunur?
Gittikçe daha fazla ses bize, yapay zeka yaparken etik yapay zeka olmamız gerektiğini söylüyor. Öncelikle insanların çıkarlarını korumalıyız, insan çıkarlarının en büyük tezahürü mahremiyettir. Bir yandan, büyük veri verimliliği artırabilirken, diğer yandan birçok kişinin mahremiyetini içerecektir. Avrupa'daki GDPR koruma yasası gibi çeşitli yasa ve düzenlemeler de sık sık ortaya çıkmıştır ve Çin de buna bağlı olarak oyunların, finansın ve İnternetin tüm yönlerine yayılmış çok katı kişisel gizlilik koruma yasalarına sahiptir.
Geçmişte, farklı kuruluşlar verileri bir büyük veri şirketinde topladı ve aynı zamanda büyük veri şirketinin gücünü uyguladı, böylece yeterli örnek ve boyut var; dezavantaj, gizliliğin açığa çıkmasıdır.
Yüksek kaliteli bir model oluşturmanın başka bir yolu var mı? Federe öğrenme yeni bir yaklaşımdır. Anlamı: A tarafı ve B tarafı olmak üzere iki veri sahibi olduğunu varsayalım. A tarafı üst matristir ve B tarafı alt matristir Aralarında veri çakışması olabilir. Şimdi amaç, taraf A'nın B tarafını görmesini ve B tarafının A tarafını görmesini engellemektir. Aynı zamanda, her iki tarafın verilerini kullanan ortak bir model oluşturulmalıdır.
Örneğin: Bir çiftçinin bir koyun yetiştirdiğini ve verileri merkezi bir sunucuda toplamaya benzer şekilde koyunları beslemek için çeşitli yerlerden ot toplaması gerektiğini varsayalım. Ancak çimlerin başka yerlere taşınamayacağını varsayarsak, şimdi yapılabilecek şey koyunların her yerde ot yemesine yol açmaktır. Yani, model önce A tarafında eğitilsin, sonra modeli eğitim için B tarafına getirin.Birkaç kez sonra model yerel alandan veri akmadan büyür, bu federe öğrenme fikridir.
Birleşik öğrenme, çok partili bilgi işlem, gizlilik şifreleme, şifreleme teknolojisi, matematik, dağıtılmış makine öğrenimi ve dağıtılmış bilgi işlem gibi birçok bilgisayar alanında etki alanları arası bilgi gerektirir. Nasıl yapılır? Örneğin, A'dan B'ye iki alan arasında bir göç öğrenme modeli yapmamız ve B'nin A'nın verilerini görmesini engellerken A'nın B'nin verilerini görmesini engellememiz gerekiyor. Bu, verilerin parametrelerini, ağırlıklarını vb. Şifrelemek ve ardından şifrelenmiş paketi B'ye taşımak için lojistik regresyon yoluyla yapılabilir ve ardından şifreli paket B tarafında model eğitimine katılır ve ardından model şifrelenerek A'ya taşınacaktır. Bu döngüyü defalarca tekrarladıktan sonra model olgunlaştı. Yukarıdaki süreçte iki nokta vardır: ilki yol ver Verinin herhangi bir yönü için, ikincisi tarafından elde edilen etki, her iki taraftaki verilerin toplamı ile eğitilen ile aynıdır.
E-ticarette ve videolarda yoğun olarak kullanılan öneri sistemleri çok fazla veri üretecektir.Farklı tavsiye edenlerin farklı verileri vardır. Gizliliği korumak için, cep telefonu tıklamalarıyla oluşturulan tüm veriler kaba bir şekilde yüklenemez, bu nedenle federe öğrenme yöntemi benimsenmelidir. Spesifik yöntemler aşağıdaki gibidir:
Önce verinin iki bölümden oluştuğunu fark edin, bir bölüm kullanıcıyı tanımlar, bu da yukarıdaki şeklin sağ tarafındaki U1 ~ UN'dir. Diğer kısım ise matris ile lineer cebirde tanımlanan çarpımın tanımıdır. Matrisi ayrıştırdıktan sonra, farklı kullanıcılar olmasına rağmen ürünün matrisinin paylaşıldığını ve bu matrisin Federal State Learning ile öğrenilebileceğini fark ettim. Spesifik öğrenme süreci:
Yineleme sürecinde, her parça öğrendiği parçanın karakteristik değerine katkıda bulunur ve daha sonra özel olması gereken sunucuya aktarır. Dikkat Yukarıdaki şeklin sağ tarafındaki kırmızı şifreleme adımıdır: yükleme ve indirme sırasında modül ile şifreleyin ve ürün matrisinin parametre paketini aynı anda paketleyin, böylece her bir taraf birbirinin verilerini göremez ve model büyümeye devam eder.
Aynı zamanda, bu süreç taşınabilir ve öğrenilebilir, yani iki veri partisinin kullanıcı boyutları ve parametreleri çok az örtüştüğünde, bir adım geri çekilebilir ve öğrenme için bir alt uzay ile eşleştirebilirsiniz, böylece çok sağlam bir öğrenme sonucu. Spesifik film önerisi veri setinin gerçek sonuçları yukarıdaki şekilde gösterilmektedir Sağ taraf, eğitim sayısı ile keskin bir şekilde azalan hata oranını temsil etmektedir.
Aynı zamanda, haber önerisi açısından, Caixin'in haber tavsiyesinde federe öğrenme ve göç öğrenmenin tavsiye motoru kullanılıyor. Şimdi bu teknoloji açık kaynaklı oldu ve Linux Vakfı'na konuldu ve yakın zamanda kırıldı.
4. AI, dolandırıcılıkla mücadeleyi nasıl başarır?
Mali kurumlarda yapay zeka uygulamasına ilişkin özel bir endişe konusu, dolandırıcılıkla mücadelenin nasıl sağlanacağıdır. Yapay zekanın geliştirilmesinde bir teknoloji var: Tamamen sanal bir kişiyi simüle edebilen Deepfake.İnsanlar sanal ile gerçek arasındaki farkı göremez, birçok yapay zeka algoritması da onu ayırt edemez.
Mevcut yapay zeka dolandırıcılığı esas olarak şu noktalara odaklanmaktadır: ilki veri sahtekarlığı; ikincisi modellerin sahtekarlığı; üçüncüsü sonuçların sahtekarlığıdır. Yukarıdaki üç husus göz önüne alındığında, araştırmacılar, modelin sağlamlığını artırmak için rakip örneklerin eklenmesini göz önünde bulundurarak, orijinal eğitim hedeflerini göz önünde bulundurarak eğitim süreci için hedeflenmiş araştırmalar yürütmüştür. Sadece bir model dikkate alınmakla kalmaz, aynı zamanda örnekleri farklı perspektiflerden sınıflandırmak için birden çok modeli de dikkate almalıyız. Kötü adamların iki model kullandığını varsayarsak, dört model kullanacağız ve kötü adamlar da dört modeli kullanmayı öğrenirse sekiz model kullanacağız.
5. Özet
Son olarak, özetlemek gerekirse, yapay zekanın başarısı şudur: Birincisi, başlangıçta bahsettiğim otomatik makine öğrenimi gibi bir bağlantıyı otomatikleştirebilir. İkinci dağıtılmış büyük veri, gizliliği korurken farklı veri sahiplerinin işbirliği yapmasına nasıl izin verileceğidir. Üçüncüsü, yüksek performanslı bilgi işlem yeteneklerinin iyileştirilmesidir.Bu konuda fazla araştırmam yok. Tsinghua bu alanda çok araştırma yaptı, bu yüzden tekrar etmeyeceğim. hepinize teşekkür ederim!
