Okula başlama sendromu kurtarıldı! Kaçırılmaması gereken en son 17 AI makalesi (bağlantı ile)
@jingyihiter önerilir
# Metin Oluşturma
Bu makale Ulusal Savunma Teknolojisi Üniversitesi ve Microsoft Asya Araştırma Enstitüsü'nden alınmıştır. Makale, eğitim öncesi tabanlı bir kodlayıcı-kod çözücü çerçevesi önerir. Kodlayıcı, giriş dizisini bir bağlam vektörü olarak temsil etmek için BERT kullanır. Kod çözücü iki aşamaya bölünmüştür:
- İlk aşama, sözde çıktı dizisi oluşturmak için transformatör tabanlı kod çözmeyi kullanır;
- İkinci aşamada, sözde çıktı dizisi maskelenir ve BERT gösterimine gönderilir, giriş dizisi sözde çıktı dizisi ile birleştirilir ve tahmin edilen çıktı dizisinin kodu çözülür.
Bu makale BERT'yi metin oluşturma görevlerine ilk kez uygulayarak CNN / Daily Mail ve New York Times veri kümelerinde SOTA sonuçlarına ulaşıyor.
Kağıt bağlantısı
https://www.paperweekly.site/papers/2855
Bu makale OpenAI'nin yeni dil modeli GPT-2'yi tanıtıyor, Metin oluşturma görevinde insana yakın bir seviyeye ulaştı, makaleler üretebilir (ve argümanın makul görünmesini sağlamak için veri ve alıntılar üretebilir) ve fantastik hikayeler yazmaya devam edebilir. Mevcut sonuçları birden çok veri kümesinde kullanın. Özel eğitim almadan çeviri ve okuduğunu anlama becerisini gerçekleştirin. Dezavantajı, tekrarlanan metin ve dünya modelleme başarısızlıklarının (su altındaki yangın gibi) olmasıdır.
@ rico93 önerilir
# Dikkat Mekanizması
Bu makale Cornell University ve Facebook AI Research'ten geliyor. Transformer ile karşılaştırıldığında, makalede önerilen hafif evrişim modeli tutarlı bir seviyeye ulaşabilir, ancak yalnızca daha az sayıda işlem gerektirir ve hesaplama hızı Transformer'dan% 20 daha hızlıdır.
Bu makale Google Brain'den Makale, kaynakları göreceli olarak iyi adaylara dinamik olarak tahsis edebilen ve son olarak çeşitli çeviri görevlerinde kullanılan "Evrimleşmiş Transformatör" ü elde edebilen aşamalı dinamik engeller (PDH) sinir ağı mimarisi arama yöntemi önermektedir (WMT 2014 İngilizce-Almanca, WMT 2014 İngilizce-Fransızca, WMT 2014 İngilizce-Çekçe, LM1B) orijinal Transformer'a göre tutarlı bir gelişmeye sahiptir ve daha yüksek hesaplama verimliliği ve daha az parametreye sahiptir.
Bu makale, WeChat AI ekibinin ve Shanghai Jiaotong Üniversitesi'nin AAAI 2019'da yayınlanan çalışmasıdır. Tezin görevi, arka plan bilgisine dayalı konuşmalar oluşturmaktır.İşaretçi üretme mekanizması ve dikkat mekanizması sayesinde, konuşma geçmişi ve arka plan bilgisine dayalı olarak daha anlamlı yanıtlar üretilir. Yazar, varlıkları diyalog geçmişinden ve dış bilgiden eşzamanlı olarak kopyalayabilen genelleştirilmiş bir işaretçi üretme mekanizması önermektedir. Ek olarak, yazar ayrıca genel yanıtlar üretmekten kaçınmak için kod çözme sırasında benzer anlam dizilerini dinamik olarak gruplayabilen ve sınıflandırabilen Küme tabanlı bir Işın Arama algoritması önerdi.
Bu makale, CMU'nun MultiComp Lab'in AAAI 2019'da yayınlanan çalışmasıdır. Multimodal duyarlılık analizi, dil, görsel ve akustik modalitelerde ifade edilen konuşmacı duygularını inceleyen NLP'nin yeni bir temel araştırma alanıdır. Çok modlu öğrenmenin temel zorluğu, bu modsal bilgileri işleyebilen ve ilişkilendirebilen, çıkarsanmış ortak temsilleri içerir. Bununla birlikte, mevcut çalışma, girdi olarak tüm modaliteleri gerektirerek ortak gösterimleri öğrenir, bu nedenle, öğrenilen gösterim, test sırasında gürültüye veya eksik modalitelere duyarlı olabilir.
Seq2Seq modelinin makine çevirisindeki başarısıyla, test sırasında tüm girdi modalitelerinin ortak temsilini gerektirmeyen yeni yöntemler keşfetme fırsatı vardır. Makale, modaliteler arasında dönüşüm yaparak sağlam ortak temsilleri öğrenmek için bir yöntem önermektedir. Makalenin yöntemi Key Insight'a dayanmaktadır, yani kaynaktan hedef modaliteye dönüşüm, girdi olarak yalnızca kaynak modalitesini kullanarak ortak gösterimi öğrenmenin bir yolunu sağlar.
Makale, birleşik temsilin tüm modalitelerin maksimum bilgisini muhafaza etmesini sağlamak için modal dönüştürmeyi artırmak için döngü tutarlılık kaybını kullanır. Çeviri modeli eşleştirilmiş çok modlu veriler kullanılarak eğitildikten sonra, yalnızca test sırasında kaynak modelden nihai duygu tahmin verilerini almamız gerekir. Bu, modelimizin diğer modlardaki bozukluklardan veya eksik bilgilerden etkilenmemesini sağlar.
Modelimizi eğitmek ve çok modlu duyarlılık analizi veri kümelerinde yeni ve en son sonuçları elde etmek için birleştirilmiş çeviri tahmin hedeflerini kullanıyoruz: CMU-MOSI, ICT-MMMO ve YouTube. Ek deneyler, modelimizin gittikçe daha fazla ayrımcı ortak temsilleri öğrendiğini, daha fazla girdi yöntemine sahip olduğunu ve aynı zamanda eksik veya rahatsız edici modalitelere karşı sağlamlığı koruduğunu göstermiştir.
Bu makale Çin Bilimler Akademisi ve Tucson Future Üniversitesi'nden alınmıştır. Algılama görevinde hedef boyutlarının çeşitlendirilmesi sorunu vardır.Bu sorunu çözmek için SSD, FPN, SNIP vb. Birçok klasik algoritma ortaya çıkmıştır. Alıcı alanın farklı ölçeklerdeki hedeflerin tespiti üzerindeki etkisine dayanarak, yazar yeni bir TridentNet önerir.
Modelin farklı boyutlardaki hedefler için "ifade yeteneğini" yaklaşık olarak tahmin etmek için, yazar, SNIP'nin özellik çıkarma ağından yararlanır ve "ölçeğe duyarlı" bir paralel yapı benimser. Modelin çıkarım hızını hızlandırmak için yazar, farklı ölçeklerde hedefler oluşturmak için SNIP'deki özellik piramidi yerine farklı ölçeklerdeki hedefleri saptama amacına ulaşmak için farklı alıcı alanların özellik haritalarını elde etmek için genişletilmiş evrişimi kullanır.
Bu makale COCO Keypoints 2018 Şampiyonasını kazanan Megvii Technology'den alınmıştır. Bu makale, çok aşamalı iyi bir insan pozu algılama yöntemi tasarlamayı amaçlamaktadır. Ağ aşamalarının sayısı arttıkça, modelin öngörü yeteneği ağı kademeli olarak iyileştirebilir. Kum saati ve diğer ağlardan farklı olarak, aşamaların sayısını artırmak, modelin tahmin yeteneğini önemli ölçüde geliştirmeyecektir. Yazar, yukarıdan aşağıya çözümü benimser ve tek kişilik ortak noktaların tespitine odaklanır. Çok aşamalı algoritmanın problemleri ışığında, yazarlar farklı araştırmalar yaptılar.
@Phil önerilir
# Nesne Algılama
Bu makale Hong Kong Çin Üniversitesi, Shangtang Teknolojisi, Amazon ve Nanyang Teknoloji Üniversitesi'nden geliyor. Makale, yeni bir çapa oluşturma yöntemi önermektedir: Çapa oluşturmaya rehberlik etmek için görüntü özelliklerini kullanan Kılavuzlu Sabitleme. Çapanın konumunu ve şeklini tahmin ederek, seyrek ve rastgele şekilli bir çapa oluşturulur ve Özellik Uyarlama modülü, çapanın şekline daha fazla uyması için özellik haritasını değiştirmek üzere tasarlanmıştır.
Kağıt bağlantısı
https://www.paperweekly.site/papers/2806
@afei önerilir
#Resim parçalama
Bu makale yeni bir segmentasyon ağı - BOWDA Net'i önermektedir. Bu ağa dayanarak yazar, MICCAI 2012 prostat segmentasyon yarışmasında birinci oldu ve sonuç son teknoloji ürünü oldu. İki yenilikçi nokta vardır: 1) Prostat MR görüntülerinin belirsiz sınırları sorunu göz önüne alındığında, sınırları yumuşatmak için bir sınır ağırlıklı segmentasyon kaybı önerilmektedir; 2) Küçük veri kümeleri sorunu için, yazar transfer öğrenme ve çözülecek GAN fikirlerinden yararlanmaktadır. Kaynak alan ve hedef alan kayması sorunu okumaya değer.
@paperweekly önerilir
# Resim Boyama
Bu makale Ontario Institute of Technology'den alınmıştır. Makale, görüntünün ince ayrıntılarını yeniden oluşturabilen yeni bir görüntü restorasyon yöntemi önermektedir. Yazar özellikle, bir kenar oluşturucu ve bir görüntü tamamlama ağından oluşan iki aşamalı bir yüzleşme modeli EdgeConnect önermektedir. Kenar oluşturucu, görüntünün gerçek alanının kenarlarını oluşturur ve ardından görüntü tamamlama ağı, görüntüyü önsel olarak kenarlarla doldurur.
Kağıt bağlantısı
https://www.paperweekly.site/papers/2832
Kaynak bağlantısı
https://github.com/knazeri/edge-connect
@JasonZHM önerilir
# Görüntü Sıkıştırma
Görüntü sıkıştırması için evrişimli otomatik kodlayıcıların kullanımı, sıkıştırma oranının ve yeniden yapılandırılmış görüntünün kalitesinin aynı anda optimizasyonunu gerektirir, ancak sıkıştırma oranını karakterize etmek için kullanılan kodlama bit hızı farklı olmadığından, doğrudan geri yayılamaz. Mevcut çalışmalar genellikle bu sorunu çözmek için ek eğitim entropi tahmin edicileri kullanır.
Bu araştırma, sinir ağı mimarisinin arama alanından bir ağ budama yöntemi sunar, CAE-ADMM modeli, sıkıştırılmış kodu doğrudan budamak için önerilmiştir.Kodlama hızını korurken, SSIM ve MS-SSIM performansı, entropi tahmin edicileri ve geleneksel kodlayıcılar (JPEG, JPEG 2000 vb.). Çalışma ayrıca modelde tanıtılan budama yönteminin etkisini de test etti.
@zhangjun önerilir
# Bayesian Derin Öğrenme
DNN'nin belirsizlik ölçümü şu anda önemli bir araştırma etkin noktasıdır ve küçük verili makine öğrenimi, otonom sürüş, takviye öğrenimi, Bayes optimizasyonu, aktif öğrenme ve diğer alanlarda yaygın olarak kullanılmaktadır. Klasik bir yöntem, model parametrelerini rastgele değişkenler olarak ele almak ve her bir parametrenin arka dağılımını elde etmek için yaklaşık çıkarım yöntemlerini (MCMC ve VI gibi) kullanmaktır Bu yöntem nispeten doğrudur, ancak hesaplama verimliliği nispeten yüksektir. Zayıf, özellikle yüz milyonlarca parametresi olan karmaşık yapılı ağlar için; diğer yöntem pratik yöne yöneliktir, eğitim hala geleneksel SGD + Bırakmaya dayanmaktadır, test sırasında parametre posterior dağılımı tahmin edilmektedir, böylece model Tahmin yapılırken belirsizliğin etkisi dikkate alınabilir.
Bu makale, Stokastik Ağırlık Ortalaması (SWA) adlı bir yönteme dayanan ikinci fikre aittir. Yani, T Epochs'taki parametreler istatistiksel veri olarak kullanılır, ortalama, parametrelerin arka dağılımının ortalama değeri olarak kullanılır ve varyans, dağılımın varyansı olarak kullanılır (sadece arka dağılımın Gaussian olduğu durum dikkate alınır, ki bu da çoğu yöntemin varsayımıdır.) Fikir nispeten basittir ve hesaplama verimliliği, geleneksel Bayesci çıkarım yöntemine kıyasla çok yüksektir. Bu tip yöntemin bir başka tipik temsilcisi, Oxford Yarin Gal tarafından önerilen MC Dropout'tur.
@paperweekly önerilir
#Recommender Sistemleri
Bu makale, Minnesota Üniversitesi ve JD.com'un WSDM 2018'de yayınlanan çalışmasıdır. Mevcut öneri sistemlerinin çoğu, kullanıcılar ve ürünler arasındaki makro etkileşime (kullanıcı emtia puan matrisi gibi) daha fazla önem verir ve çok az kişi tavsiyelerde bulunmak için kullanıcıların mikro davranış verilerini (ürünlere göz atma süresi, ürünleri okuma ve yorumlar gibi) birleştirir. .
Bu makale öneri sistemini mikro davranış açısından geliştirir.Yazar, kullanıcının doğal verilerini kullanıcı ve ürün arasındaki makro etkileşim olarak görür ve makro etkileşimin sıra bilgilerini korur.Aynı zamanda, her makro etkileşimi bir dizi mikro davranış içerir. . Makale, özellikle bir giriş katmanı, bir Gömme katmanı (veri seyrekliğini ve yüksek boyutlu verileri çözme), RNN katmanı (modelleme zamanlama bilgisi), Dikkat katmanı (çeşitli mikro davranışları yakalama) içeren yeni bir model-RIB önermektedir. Etki) ve çıktı katmanı bileşimi.
Kağıt bağlantısı
https://www.paperweekly.site/papers/2549
@paperweekly önerilir
# Deformable Convolution
Bu makale Oxford Üniversitesi'nden Makale, standart sinir ağı mimarisinin yerini kolayca alabilen ve daha düşük bellek kullanımı ve daha yüksek hesaplama hızı elde edebilen bir dağıtılmış ofset evrişim DSConv önermektedir. DSConv, geleneksel evrişim çekirdeğini iki bileşene ayırır: değişken niceleme çekirdeği (VQK) ve dağıtım ofseti. Daha düşük bellek kullanımı ve daha yüksek hız, çekirdek tabanlı ve kanal tabanlı dağıtım ofsetleri uygulayarak orijinal evrişimle aynı çıktıyı korurken, VQK'da yalnızca tam sayı değerleri depolayarak elde edilir.
Yazar DSConv'u ResNet50 ve 34 ile AlexNet ve MobileNet üzerindeki ImageNet veri setinde test etti. Kayan nokta aritmetiğini tam sayı aritmetiği ile değiştirerek, bu makaledeki yöntem, evrişim çekirdeğinde bellek kullanımında 14 kata kadar bir azalma sağlar ve hesaplama hızını 10 kat artırır.
Kağıt bağlantısı
https://www.paperweekly.site/papers/2835
@Rcypw önerilir
#Network Gömme
Bu makale, WSDM 2018'de yayınlanan UIUC ve HEC Montreal'in çalışmasıdır. Bu makale, pekiştirici öğrenme fikirlerinin yıldız heterojen ağ düğümlerinin temsili öğrenimine uygulanmasına öncülük etmiştir. Düğümler arasında en uygun kenar sırasını elde etmek için Markov zincirini kullanın. Yazar, ödül hesaplamasının performansını bir özellik olarak düğüm tarafından temsil edilen harici görev olarak alır.Amaç, kümülatif ödülü en üst düzeye çıkarmak için bir dizi eylemde bulunmaktır.Uzun ve kısa bellek ağına dayalı, derin pekiştirmeli öğrenme modeli, ağ temsili öğrenmeyi tamamlamak için kullanılır.
Kağıt bağlantısı
https://www.paperweekly.site/papers/2590
@Layumi önerilir
#Person Yeniden Kimlik
Mevcut hat yeniden tanıma yüksek doğruluk modeli gerçekten sağlam mı? Geleneksel sınıflandırma problemi kadar saldırıya uğramak kadar kolay mı? Bu makalede önerilen yöntem, yaya yeniden tanımlamada mevcut yüksek temel Recall@1=88.56%, mAP =% 70.28 (layumi / Person_reID_baseline_pytorch) değerini Recall@1=0.68%, mAP =% 0.72'ye düşürmektedir.
Pek çok görevde çekişmeli örnekler mevcuttur, ancak farklı görevlerde karşıt örneklerin nasıl oluşturulacağı bir sorundur. ReID için saldırı yöntemi normal sınıflandırmadan farklıdır. Test sırasındaki reID kategorisi eğitim sırasındaki kategoriden farklı olduğu için aynı kategori yoktur (yani, test görevlisi ve eğitilen kişi aynı grup değildir, Açık küme). Dolayısıyla, rakip örnekleri oluştururken, tahmin olasılığını azaltmanın ve gradyanı geri döndürmenin geleneksel yöntemi sınırlıdır. Deneyde buna karşılık gelen sonuçlar var. Makale, görüntü almaya saldırmak için yeni bir yöntem önermektedir (reID, görüntü elde etmenin bir alt problemidir).
Kaynak: PaperWeekly
(Bu makale bir ağ alıntı veya yeniden basımdır, telif hakkı orijinal yazara veya yayın medyasına aittir. Çalışmanın telif hakkına dahilseniz, lütfen bizimle iletişime geçin.)
