Bir makale, son altı aylık derin öğrenmeyi özetliyor: BERT'den grafik ağına
Orijinal: Ross Taylor
Yue Paihuai Derleyin ve organize edin
Qubit Üretildi | Genel Hesap QbitAI
Derin öğrenme gibi sıcak bir alandaki ilerlemeyi izlemek kolay değildir.
Bu sorunu çözmek için yılın başında Robert Stojnic ve ben Papers With Code'u devreye aldık.Bu web sitesi derin öğrenme araştırma belgelerini kodla birleştiriyor.
Bu aynı zamanda bize araştırma trendleri, popüler çerçeveler ve hangi teknolojilerin tercih edildiği dahil olmak üzere bu alana kuş bakışı bakma fırsatı veriyor. Bu blog yazısı bunları paylaşmak için kullanılıyor.
Aşağıdaki trend özeti web sitesi verilerine dayanmaktadır. 2018'in ikinci yarısındaki önemli gelişmeleri ve derin öğrenme topluluğunun gelecekteki yolunu özetleyelim.
En yeni modeller: BERT, vid2vid ve graph_nets
Google AI Ekim'de yayınlandı BERT Makale, derin öğrenme topluluğunun büyük ilgisini çekti. Bu makale, iki yönlü derin bir Transformer modeli önermektedir. BERT, Stanford Soru Cevaplama Veri Seti (SQuAD) dahil 11 NLP görevinin en iyi performansını yeniledi.
Google AI daha sonra bu makalenin kodunu açık kaynaklı hale getirdi. Bir ay içinde BERT GitHub'da 8.000'den fazla yıldız aldı ve hızla artıyor.
kağıt:
https://arxiv.org/abs/1810.04805
GitHub adresi:
https://github.com/google-research/bert
NVIDIAnın Videodan Videoya ( vid2vid Sentetik makale, son birkaç yılda en popüler derin öğrenme alanlarından biri olan şaşırtıcı sonuçlara sahip üretken bir model sunar.
Bu makale, zaman tutarsızlıklarını düzeltmek ve performansı iyileştirmek için yeni bir sıralı jeneratör mimarisinin yanı sıra ön plan ve arka plan öncelikleri gibi bazı tasarım özelliklerini kullanır.
Nvidia ayrıca kodu açık kaynaklı hale getirdi ve bu yılın ikinci yarısında en popüler ikinci uygulama oldu.
kağıt:
https://arxiv.org/abs/1808.06601
GitHub adresi:
https://github.com/NVIDIA/vid2vid
Grafik ağında Google DeepMind ( graph_nets ) Makale yıl ortasında çok ilgi gördü. Bu araştırma, derin öğrenme için veri yapılandırması için yeni bir yön sağlar. Bu, bu yılın ikinci yarısında en çok memnuniyetle karşılanan üçüncü gerçek.
kağıt:
https://arxiv.org/abs/1806.01261v3
GitHub adresi:
https://github.com/deepmind/graph_nets
En popüler projeler: DeOldify, BERT ve Fast R-CNN
DeOldify Eski siyah beyaz fotoğrafları onarmak ve yeniden renklendirmek için GAN kullanan bir projedir.
Bu proje, derin öğrenme topluluğunda büyük ilgi uyandırdı.Yazar Jason Antic, inşaatı tamamlamak için SA-GAN'lar, PG-GAN'lar vb. Kullandı. Şu anda, bu projenin GitHub'da 4000'den fazla yıldızı var.
GitHub adresi:
https://github.com/jantic/DeOldify
BERT'nin PyTorch uygulaması , Ayrıca geniş ilgi gördü.
Bu uygulama Koreli bir kardeş olan Junseong Kim tarafından yapıldı.Kodun basit ve anlaşılır olduğunu söyledi.Kodların bazıları The Annotated Transformer'a dayanıyor. Şu anda bu proje GitHub'da 1.500'den fazla yıldız aldı.
GitHub adresi:
https://github.com/codertimo/BERT-pytorch
Tanıtılacak son şey Mask R-CNN'nin Keras / TensorFlow uygulaması .
Bu projenin mimarisi, Özellik Piramidi Ağı ve ResNet101 omurgasına dayanmaktadır. Bu kütüphane, 3B sahne yeniden yapılandırma, otomatik sürüş hedefi tespiti vb. Gibi çeşitli senaryolarda kullanılabilir. Şu anda bu proje GitHub'da 8000'den fazla yıldıza sahip.
GitHub adresi:
https://github.com/matterport/Mask_RCNN
Mevcut durum
NLP ve GAN en sıcak
Top50 uygulamasına bakıldığında, en popüler alanlar üretken modeller ve doğal dil işlemedir.
Üretken modeller arasında, GitHub'daki popüler uygulamalar şunları içerir: vid2vid, DeOldify, CycleGAN ve facewaps.
NLP alanında, GitHub'daki popüler depolar şunları içerir: BERT, HanLP, jieba, AllenNLP ve fastText.
7 yeni gazeteden sadece 1 tanesi kodlu
Her 20 dakikada bir yeni bir makine öğrenimi kağıdı görüntülenir
Temmuz ayından bu yana, makine öğrenimi kağıtlarının aylık büyüme oranı% 3,5 civarında ve yıllık büyüme oranı yaklaşık% 50'dir. Bu, her ay 2.200 makine öğrenimi makalesinin yayınlandığı ve önümüzdeki yıl yaklaşık 30.000 yeni makine öğrenimi makalesinin yayınlanacağı anlamına geliyor.
Bu hız, Moore Yasasından daha hızlıdır.
Çerçeve duopoly: TensorFlow ve PyTorch
Son olarak, Kodlu Kağıtlar'ı duymadıysanız, işte portal:
https://paperswithcode.com/
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! İlgili ayrıntılar için lütfen QbitAI diyalog arayüzünde "işe alım" kelimesini yanıtlayın.
Qubit QbitAI · Toutiao İmzalayan Yazar
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
