Microsoft SynNet'i yayınladı: öğrenmeyi aktarabilen bir makine okuduğunu anlama sistemi oluşturmak için iki adım
Li Gen derleyin ve organize edin
Qubit Üretildi | Genel Hesap QbitAI
"İnsanları yok eden makineler" tartışmasını bir kenara bırakalım, çünkü okuduğunu anlama gibi çözülmemiş "görünüşte basit ama yapılması zor" birçok sorun var.
İnsanlar için okuduğunu anlama en temel bilişsel beceridir ve insanlar çok gençken, bir makaleyi okuduktan sonra temel fikirlere ve temel ayrıntılara cevap verebilirler.
Ancak bu, AI için kolay değil. Şu anda, makinelerin tam okuduğunu anlama başarısı hala büyük bir zorluktur, ancak bu, genel AI oluşturmak için başarılması gereken başka bir hedeftir.
Aslında, makine okumayı anlama (MRC) birçok pratik problem ve senaryoyu çözmek için çok faydalıdır. Örneğin, kullanıcı hizmetleri, istişareler, öneriler, soru-cevap diyalogları ve müşteri ilişkileri yönetimi vb. Daha spesifik olmak gerekirse, makine okuması daha iyiyse, doktorların binlerce belgede önemli bilgileri hızlı bir şekilde bulmasına yardımcı olabilir - zamanın değeri Ölüleri kurtarma endüstrisinde apaçık ortada.
Elbette makine okuma yeteneğinin gelişmesi her kullanıcının günlük yaşamını da etkileyecektir.
Örneğin aramada, içinde yanıtı olan uzun bir web sayfasının URL'si yerine doğru bir yanıt verilirse, kullanıcı deneyimi çok daha iyi olabilir. Ek olarak, belirli alanlardaki makalelerde popüler olmayan veya belirli bilgiler vardır ve bunlar yalnızca mevcut algoritmalar tarafından elde edilen arama verilerine dayanabilir ve bu çok sınırlı olabilir - makine okuma anlayışının iyileştirilmesi bunun için niteliksel bir değişiklik getirecektir.
Bir mühendis / geliştiriciyseniz, makine okumayı anlama için bir AI oluşturmak için artık en son araştırma yöntemlerini kullanabileceğinizi belirtmekte fayda var.
Bu ilerleme, Microsoft AI Araştırma Enstitüsü'nün en son başarılarından yararlandı. Stanford Üniversitesi'nden Po-Sen Huang, Xiaodong He ve David Golub, makine okumayı anlama için bir çözüm duyurdu: makine okumayı anlamadaki sorunları çözmek için aktarımla öğrenme algoritmalarını kullanmak ve teorik olarak değil gerçek dünyadaki sorunları çözmek için gerçek verileri kullanmak. Algoritma modeli.
Bunlardan bahsetmişken, makine okumayı anlamayı denediyseniz, şaşırabilirsiniz.
En gelişmiş makine okuma sistemleri denetimli eğitim verilerine dayandığından, bu sistemleri eğitmek için kullanılan veri örnekleri yalnızca makalenin kendisini değil, aynı zamanda manuel olarak etiketlenmiş makale ile ilgili soru ve cevapları da içerir. Derin öğrenme MRC modeli, bu etiketli veriler aracılığıyla soruyu anlamayı öğrenir ve yanıtı, birden çok akıl yürütme ve akıl yürütme adımını içeren makaleye dayalı olarak daha da çıkarır.
Ancak, birçok dikey alanda, bu tür denetimli eğitim verileri mevcut değildir. Örneğin, doktorların yeni bir hastalıkla ilgili önemli bilgileri bulmalarına yardımcı olmak için yeni bir makine okuma sistemi kullanmak istiyoruz Birden fazla belge mevcut olabilir, ancak makaleler ve karşılık gelen yanıtlar hakkında manuel açıklama soruları yoktur. Bu küçük bir sorun değil.
Her yeni hastalık için ayrı bir MRC sisteminin kurulması gerekiyorsa ve hızla artan tüm literatürün dahil edilmesi gerekiyorsa, etiketleme ve eğitim verileriyle ilişkili iş yükü katlanarak artacaktır.
Mevcut MRC sistemini daha önce eğitim verisi olmayan yeni bir sahaya transfer etmek mümkün müdür? Bu, bu Microsoft AI araştırma ekibinin sonucudur.
Microsoft AI ekibi, SynNet olarak da bilinen "iki aşamalı entegre ağ" adlı bir model geliştirdi. Bu modelde, SynNet önce bir alandaki mevcut eğitim verilerine dayanarak makaledeki potansiyel bilgi noktalarını okumayı ve anlamayı öğrenir. İkinci aşamada, SynNet modeli makaledeki bağlama dayanır ve birinci aşamadaki "bilgi noktaları" için doğal bir dil problemi oluşturur.
Böylece eğitim tamamlandıktan sonra SynNet yeni alanlara uygulanabilir, yeni belgeler okuyabilir ve ardından ilgili metne olası sorular ve cevaplar oluşturabilir. Ardından SynNet, bu alanda MRC sistemini eğitmek için gerekli eğitim verilerini sürekli olarak oluşturabilir.
Bu SynNet modelinde, soru ve cevap oluşturma süreci iki adıma ayrılabilir:
1. Cevap paragraf birimleri olarak üretilir Arkasındaki ilke, girdi paragrafının iç-dış başlangıç (IOB) etiketlerini tahmin etmek ve potansiyel anahtar anlamsal kavramları bulmak için iki yönlü uzun süreli kısa süreli belleği (LSTM) kullanmaktır;
İkinci olarak, sorular oluşturun, soru oluşturmak için tek yönlü LSTM kullanın ve paragraflara kelimelerin ve IOB kimliklerinin gömülmesine katılın.
Bu yöntem kullanılarak oluşturulan iki soru ve cevap örneği vardır:
Son olarak, SynNet'in gerçek uygulamasıyla ilgili endişeleriniz olabilir. Microsoft AI araştırma ekibi, SynNet'i eğitmek için önce SQuAD'i (Wikipedia makalesi) kullandı ve ardından bunu NewsQA'ya (haber makalesi) uyguladı ve etkisinin, doğrudan NewsQA'da eğitilen ağla neredeyse aynı olduğunu buldu.
Diğer bir deyişle, SynNet kullanarak, ek açıklama ve eğitim verileri olmadan yeni bir alanda tam denetimli bir MRC sistemi oluşturmaya başlayabilirsiniz.
İlgili makaleler:
https://www.microsoft.com/en-us/research/publication/two-stage-synthesis-networks-transfer-learning-machine-comprehension/
Bitiş
