g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Jeff Dean: Tümünü tek bir makalede okuyun. 2018 Google AI atılımı

Google'ın araştırma ekibi için 2018 heyecan verici bir yıl. Google Research, temel bilgisayar bilimi araştırma sonuçları ve yayınlarının yanı sıra Google'ın yeni gelişen alanlarına (sağlık hizmetleri ve robotik gibi) uygulanan bir dizi çalışma, açık kaynak yazılım katkıları ve Google ürün ekibiyle işbirliği dahil olmak üzere çeşitli şekillerde teknik araştırmayı teşvik eder. Tümü yararlı araçlar ve hizmetler sağlamayı amaçlayan yakın işbirliği.

Ardından, 2018'de Google Research tarafından yapılan çalışmaların bir kısmına odaklanacağız.

Etik ve AI

Geçtiğimiz birkaç yılda, yapay zeka alanında büyük gelişmeler ve bu gelişmelerin ürünlerimiz ve milyarlarca kullanıcının günlük yaşamları üzerindeki olumlu etkisini gördük. Yapay zekanın dünyamıza fayda sağlayacağını ve etik ilkelere tam olarak uyabileceğini ve topluma faydalı sorunları çözmemize yardımcı olabileceğini derin bir şekilde umuyoruz. Bu yıl, "Google AI İlkelerini" (https://ai.google/principles/) yayınladık ve AI uygulamasına yönelik teknik önerileri özetleyen bir dizi pratik destek sağladık. Genel olarak, AI gelişimimizi değerlendirmek için bir çerçeve sağlarlar ve diğer kuruluşların bu ilkeleri kendi düşüncelerini şekillendirmelerine yardımcı olmak için kullanabileceğini umuyoruz.

Bu alandaki hızlı gelişme nedeniyle, biz ve diğerleri makine öğrenimi adaleti ve model yorumlanabilirliği alanlarında yeni araştırmalar yürütürken, ilkelerde belirtilen en iyi uygulamalardan bazılarının, "Veya haksız önyargıyı güçlendirmek" veya "insanlara karşı sorumluluk" sürekli değişiyor ve gelişiyor. Bu araştırma, ürünlerimizin ilerlemesini destekleyerek onları daha kapsayıcı hale getirdi ve önyargıyı azalttı. Örneğin, Google Çeviri'de cinsiyet önyargısını azalttık ve daha kapsayıcı görsel veri kümelerinin ve modellerinin keşfedilmesine ve yayınlanmasına izin vererek Bilgisayar görüşü, küresel kültürün çeşitliliğini teşvik eder. Ek olarak, bu çalışmayı makine öğrenimi hızlandırılmış kursundaki adalet modülü gibi en iyi uygulamaları geniş araştırma topluluğuyla paylaşmak için kullanıyoruz.

AI ve sosyal refah

AI'nın toplumun birçok alanında büyük bir potansiyel etkiye sahip olacağı açıktır. Gerçek dünyadaki sorunları çözmek için yapay zeka uygulamasına bir örnek, sel tahmini konusundaki çalışmamızdır. Sel olasılığı ve felaketin boyutu hakkında zamanında ve doğru bilgiler sağlamak için Google'daki diğer birçok ekiple birlikte çalıştık, böylece sele eğilimli bölgelerdeki insanlar kendilerini ve mülklerini en iyi şekilde nasıl koruyacaklarına daha iyi karar verebilirler.

İkinci örnek, deprem artçı sarsıntı tahminine yönelik çalışmamızdır. Artçı şokların yerini geleneksel fizik tabanlı modellerden daha doğru bir şekilde tahmin edebilen bir makine öğrenimi modeli gösterdik. Daha da önemlisi, ML modelinin tasarımı yorumlanabilir olduğundan, bilim adamları artçı şokların davranışları hakkında yeni keşifler yapabildiler, böylece sadece daha doğru tahminler elde etmekle kalmayıp, aynı zamanda yeni bir anlayış düzeyine de ulaşabilirler.

Ayrıca, kambur balina çağrılarını belirlemek ve yeni hatları tespit etmek için evrişimli sinir ağlarını kullanmak gibi çeşitli bilimsel ve sosyal sorunları çözmek için TensorFlow gibi açık kaynaklı yazılımları kullanmak için Google araştırmacıları ve mühendisleriyle işbirliği yapan çok sayıda harici katılımcı gördük. Dış gezegenler, hastalıklı manyok bitkilerinin belirlenmesi vb.

Bu alandaki yenilikçi faaliyetleri teşvik etmek için google.org ile işbirliği yaparak "Sosyal Etki için Google AI Yarışması" nı yayınladık. Bireyler ve kuruluşlar toplam 25 milyon ABD Doları tutarında fonun yanı sıra Google araştırma bilim adamlarından rehberlik ve tavsiye alabilirler. .

Yardımcı teknoloji

Araştırmalarımızın çoğu, kullanıcıların görevleri daha hızlı ve verimli bir şekilde tamamlamalarına yardımcı olmak için makine öğrenimi ve bilgisayar bilimini kullanmaya odaklanmıştır. Genellikle bu, araştırma sonuçlarını çeşitli ürünlere uygulamak için çeşitli ürün ekipleriyle çalışmayı içerir. Bir örnek Google Duplex'tir (https://ai.googleblog.com/2018/05/duplex-ai-system-for-natural-conversation.html), bu sistem doğal dil işleme dahil olmak üzere bir dizi teknoloji içerir ve Görüşmeyi anlama, konuşma tanıma, metin-konuşma dönüştürme, kullanıcı anlayışı ve etkili kullanıcı arayüzü tasarımı, böylece kullanıcı "Bana bu öğleden sonra saat 4'te bir saç kesimi ayarlayabilir misiniz?" Diyebilir ve ardından sanal bir temsilci telefon üzerinden size yardımcı olacaktır Gerisini halledin.

Diğer örnekler arasında, e-postaların nasıl yazılacağına ilişkin öneriler sağlamak için tahmine dayalı modeller kullanan Akıllı Yazma (https://ai.googleblog.com/2018/05/smart-compose-using-neural-networks-to.html) bulunur. , E-postaları düzenlemeyi hızlandıran ve kolaylaştıran Araçlar ve Şimdi Yürütülüyor'a (https) dayalı bir araç olan Sesli Arama (https://ai.googleblog.com/2018/09/googles-next-generation-music.html) : //support.google.com/pixelphone/answer/7535326? hl = tr) teknolojisi, hangi şarkının daha hızlı ve daha doğru çaldığını bilmenizi sağlar.

Ek olarak, Android'de Smart Linkify (https://ai.googleblog.com/2018/08/the-machine-learning-behind-android.html), kullanıcı tarafından seçilen metin türünü anlamak için cihazdaki ML modelini kullanır ve ardından Kullanıcı için daha yararlı olan metin türü telefon ekranında görüntülenir (örneğin, kullanıcı metni adres türü olarak seçerse, bu adres için bir harita bağlantısı sağlayın).

Araştırmamızın odak noktalarından biri, kullanıcılar aynı kavramı veya fikri ifade etmek için farklı yollar kullansa bile, Google Asistan gibi ürünlerin daha fazla dili desteklemesi ve anlambilimsel benzerliği daha iyi anlamasını sağlamaktır. Bu yeni özellikler, konuşma sentezini ve metinden sese dönüştürmeyi geliştirme çalışmalarımıza dayanmaktadır.

Kuantum hesaplama

Kuantum hesaplama, klasik bilgisayarlar tarafından çözülemeyen zorlu problemleri çözmeyi vaat eden, gelişmekte olan bir bilgi işlem paradigmasıdır. Geçtiğimiz birkaç yıl içinde, bu alanda aktif olarak araştırma yapıyoruz. Bu alanda bir dönüm noktası olacak en az bir konuda (sözde kuantum hegemonya) bir duruma girdiğimize inanıyoruz. Geçtiğimiz yıl, 72 kübitlik yeni bir bilgi işlem cihazı olan Bristlecone'nin geliştirilmesi de dahil olmak üzere pek çok heyecan verici ilerleme kaydettik.

Bilim adamı Marissa Giustina, Bristlecone yongasını Santa Barbara'daki Kuantum Yapay Zeka Laboratuvarı'na kurdu

Ayrıca kuantum bilgisayarlar için açık kaynaklı bir programlama çerçevesi olan Cirq'i yayınladık ve kuantum bilgisayarların sinir ağlarında nasıl kullanılabileceğini tartıştık. Son olarak, kuantum işlemcilerin performans dalgalanmasındaki deneyim ve teknolojimizi ve kuantum bilgisayarların sinir ağı hesaplama substratları olarak nasıl kullanılacağına dair bazı fikirleri paylaştık. 2019'da kuantum hesaplama alanında daha heyecan verici sonuçlar bekliyoruz!

Doğal dil anlayışı

2018'de Google'ın doğal dil araştırması, temel araştırma ve ürün odaklı işbirliği sonuçları da dahil olmak üzere oldukça heyecan verici. Transformer çalışmamızı 2017'de geliştirdik ve çeviri ve dil çıkarımı dahil olmak üzere birden fazla doğal dil görevinde büyük ilerleme gösteren Universal Transformer adlı paralel bir sürüm aldık. Ayrıca, ilk derin iki yönlü denetimsiz dil temsili olan BERT'i geliştirdik, sadece düz metin korpusu kullanarak ön eğitim ve ardından aktarım öğrenimi yoluyla çeşitli doğal dil görevlerini ayarladık. BERT, 11 doğal dil görevinde en son sonuçlardan daha iyi performansa sahiptir.

Akıllı Yazma ve Dubleks'i uygulamak için çeşitli araştırma ekipleriyle ortak çalışmaya ek olarak, Google Asistan'ın birden çok dili daha iyi idare edebilmesi için de çok çalışıyoruz. Amaç, asistanların kullanıcılarla doğal bir şekilde konuşmasına olanak tanımaktır.

Algısal araştırma

Algısal araştırmamız, bilgisayarların görüntüleri, sesleri, müziği ve videoları anlamadaki büyük sorunlarını çözer ve görüntü yakalama, sıkıştırma, işleme, yaratıcı ifade ve artırılmış gerçeklik için daha güçlü araçlar sağlar. 2018'de, Google Fotoğrafların insanlar ve evcil hayvanlar gibi kullanıcıların en çok önem verdiği içeriği düzenleme yeteneğini geliştirmek için teknolojiden yararlandık. Google Lens ve Google Asistan, kullanıcıların doğal dünyayı anlamasına ve kullanıcı sorularını gerçek zamanlı olarak yanıtlamasına yardımcı olur. Google AI'nın temel misyonu, insanların teknolojimizden yararlanmasını sağlamaktır. Bu yıl, Cloud ML API'deki görme ve video yeteneklerinin iyileştirilmesi ve ML Kit'e dayalı yüz tanıma ile ilgili yapı taşları dahil olmak üzere Google API'nin işlevlerini ve yapı taşlarını iyileştirmede büyük ilerleme kaydettik.

Google Lens, çevrenizdeki dünya hakkında daha fazla bilgi edinmenize yardımcı olabilir. Örneğin, Lens bu köpeğin cinsini tanıyabilir.

2018'de akademik araştırmalara katkılarımız, yeni sahne görünümü türlerini sentezleyebilen stereo yakınlaştırma (https://arxiv.org/abs/1805.09817) gibi 3B sahne anlayışı için derin öğrenmeyi de içeriyor. Resimlerin ve videoların daha iyi anlaşılmasına yönelik araştırmamız, kullanıcıların Google ürünlerindeki (Fotoğraflar, YouTube, Arama vb.) Resim ve videoları bulmasına, düzenlemesine, iyileştirmesine ve iyileştirmesine olanak tanır. 2018'deki bazı dikkate değer gelişmeler arasında, insan ortak poz tahmini ve insan örneği segmentasyonu için bir model, karmaşık hareketi görselleştirmek için bir sistem, insanlar ve nesneler arasındaki uzay-zamansal ilişkiyi simüle etmek için bir sistem ve buna dayalı bir sistem bulunmaktadır. Damıtma ve 3D evrişime dayalı video eylemi tanımanın iyileştirilmesi.

Ses açısından, anlamsal ses gösterimi için denetimsiz bir öğrenme yöntemi önerdik ve ifade edici ve benzer insan konuşma sentezinde önemli iyileştirmeler yaptık. Multimodal algı, giderek daha önemli bir araştırma konusudur. "Dinlemek için Arama" (https://ai.googleblog.com/2018/04/ looking-to-listen-audio-visual-speech.html), izolasyon ve iyileştirme için giriş videosundaki görsel ve işitsel faktörleri birleştirir Videodaki ana sesin sesi. Bu teknoloji, özellikle birden fazla kişi konuşurken ses geliştirme ve video tanıma, video konferanstan işitme cihazı iyileştirmelerine kadar bir dizi uygulamayı destekleyebilir.

Sınırlı kaynaklara sahip platformlarda farkındalığın farkına varmak giderek daha önemli hale geldi. MobileNetV2, Google'ın yeni nesil mobil bilgisayarla görme modelidir. MobileNet'lerimiz, akademi ve endüstride yaygın olarak kullanılmaktadır. MorphNet, sınırlı bilgi işlem kaynaklarına sahip görüntü ve ses modellerinde kapsamlı performans iyileştirmesi sağlayabilen derin ağ yapısını öğrenmek için etkili bir yöntem önerir.

Hesaplamalı fotoğrafçılık

Geçtiğimiz birkaç yılda, cep telefonu kameralarının kalitesindeki ve çok yönlülüğündeki gelişmeler dikkatimizi çekmeye değer oldu. Bir yönü, cep telefonlarında kullanılan fiziksel sensörlerin iyileştirilmesidir ve diğer önemli yönü, hesaplamalı fotoğrafçılık biliminin ilerlemesidir. Araştırma ekibimiz yeni araştırma teknolojilerini yayınladı ve bu araştırmayı en yeni Pixel ve Android telefonlara ve diğer cihazlara uygulamak için Google Android ve tüketici donanım ekipleriyle yakın bir şekilde çalıştı. 2014 yılında, lensin görüntü karelerini yakalamasına, yazılımdaki kareleri hizalamasına ve hesaplama yazılımı aracılığıyla bunları bir araya getirmesine izin veren HDR + teknolojisini kullanıma sunduk. Başlangıçta, resmin tek bir pozlamadan daha yüksek bir dinamik aralığa sahip olmasını istedik. Ancak, kareleri yakalamak ve ardından bu kareler üzerinde hesaplamalı analiz yapmak, 2018 kamerasında birçok gelişmiş özelliği uygulayabilen genel bir yöntemdir. Örneğin, Pixel 2 tarafından sağlanan Hareketli Fotoğraflar ve Motion Stills'de artırılmış gerçeklik modu.

Pixel 2 dinamik fotoğraflar çeker

Motion Stills'in artırılmış gerçeklik modu

2018'de, hesaplamalı fotoğrafçılıktaki ana görevlerimizden biri, Pixel telefonların kamerasının medyadan ve kullanıcılardan övgü toplayan "karanlıkta bir şeyler görmesini" sağlayan Night Sight adlı yeni bir özellik geliştirmekti. Elbette, Gece Görüşü, ekibimiz tarafından geliştirilen ve kullanıcıların mükemmel fotoğraflar çekmelerine yardımcı olabilecek birçok yeni özellikten sadece biridir. Diğerleri arasında daha iyi portre çekim modları sağlamak için makine öğrenimi kullanımı, daha fazla kadrajlama için Süper Res Zoom kullanımı ve En İyi Çekim kullanımı yer alır. Google Clips ile harika anlar yakalayın.

Sol: iPhone XS. Sağda: Pixel 3 Gece Görüşü.

Algoritmalar ve Teori

Algoritma, Google'ın sisteminin temelini oluşturur ve Google Trips'in arkasındaki yönlendirme algoritmasından Google Cloud'un tutarlı karma algoritmasına kadar tüm ürünlerimize dokunur. Geçtiğimiz yıl, teorik temellerden uygulamalı algoritmalara, grafik madenciliğinden gizlilik koruma hesaplamalarına kadar alanları kapsayan algoritmaları ve teorileri araştırmaya devam ettik. Optimizasyon algoritmaları açısından, çalışmalarımız makine öğreniminin sürekli optimizasyonuna yönelik araştırmadan dağıtılmış kombinatoryal optimizasyona kadar uzanıyor. Makine öğreniminin sürekli optimizasyonu açısından, sinir ağı stokastik optimizasyon algoritmaları eğitiminin yakınsaması üzerine yaptığımız araştırmamız (ICLR 2018 En İyi Makale Ödülü'nü kazandı) gradyan tabanlı optimizasyon yöntemleriyle (ADAM'ın bazı varyantları gibi) sorunları ortaya çıkardı. Aynı zamanda, gradyan temelli yeni optimizasyon yönteminin temelini attı.

ADAM ve AMSGRAD arasında tek boyutlu dışbükeylikte performans karşılaştırması

Dağıtık optimizasyon açısından, kombinatoryal optimizasyon problemlerinin çok yönlülüğünü ve iletişim karmaşıklığını geliştirmeye kararlıyız. Diğer uygulamalarda, örneğin, trilyonlarca kenarlı grafiklerin büyük ölçekli veri kümelerini, dengeli bölümlemesini ve hiyerarşik kümelenmesini kapsayacak şekilde taslak oluşturarak bazı algoritmalar geliştirdik. Çevrimiçi dağıtım hizmetleri konusundaki çalışmalarımız WWW2018 En İyi Kağıt Ödülünü kazandı. Son olarak, açık kaynak optimizasyon platformumuz OR-tools, 2018 Minizinc Constraint Programming Competition'da 4 altın madalya kazandı.

Algoritma seçim teorisi açısından, yeni bir model önerdik ve çoklu logaritmik karışımları yeniden oluşturma ve öğrenme problemini inceledik. Ayrıca sinir ağları aracılığıyla öğrenilebilecek işlev sınıflarını ve klasik çevrimiçi algoritmaları iyileştirmek için makine öğreniminin nasıl kullanılacağını da inceledik.

Google olarak, öğrenme teknolojisinin sıkı bir şekilde gizliliğini sağlamak bizim için çok önemlidir. Yineleme ve yeniden düzenleme yoluyla gizlilik farklılıklarının nasıl artırılacağını analiz etmek için iki yeni yöntem geliştirdik. Oyunlarda sağlam bir teşvik algısı öğrenme yöntemi tasarlamak için farklı gizlilik teknolojisini de uyguluyoruz. Bu öğrenme tekniği, verimli çevrimiçi pazar tasarımında uygulanmıştır. Pazar algoritmaları alanındaki yeni araştırmamız, reklamverenlerin uygulama içi reklamcılığa yönelik reklam açık artırmaları ve optimizasyon tekniklerinin teşvik uyumluluğunu test etmesine yardımcı olmayı da içeriyor. Tekrarlanan teklif verme için en gelişmiş dinamik mekanizmanın sınırlarını daha da zorladık ve güçlü dinamik teklif verme önerdik. Son olarak, çevrimiçi optimizasyon ve çevrimiçi öğrenmenin sağlamlığı açısından, trafiğin zirvesinde rastgele giriş için yeni bir çevrimiçi ayırma algoritması ve bozuk verilere karşı sağlam olan yeni bir haydut algoritması geliştirdik.

Yazılım sistemi

Yazılım sistemleri üzerine yaptığımız araştırmaların çoğu hala makine öğrenimi modelleri ve TensorFlow oluşturmakla ilgilidir. Örneğin, TensorFlow 1.0'ın dinamik kontrol akışını yayınladık. Yeni araştırmalarımızdan bazıları, model paralelliği ile büyük ölçekli dağıtılmış hesaplamayı kolayca belirleyebilen ve milyarlarca parametreyi destekleyen Mesh TensorFlow adlı bir sistemi tanıtıyor. Ek olarak, ölçeklenebilir bir derin sinirsel sıralama kitaplığı da yayınladık.

TF Sıralaması kitaplığı, geleneksel tek madde puanlamasının bir uzantısı olan çok maddeli puanlama mimarisini destekler

Ayrıca NumPy'nin bir çeşidi olan JAX'i de yayınladık. JAX, TensorFlow'un bir parçası olmasa da, aynı temel yazılım altyapısının (XLA gibi) bir kısmını kullanır ve fikirlerinden ve algoritmalarından bazıları TensorFlow projemize yardımcı olur. Son olarak, makine öğreniminin güvenliğini ve gizliliğini incelemeye ve CleverHans ve TensorFlow Privacy gibi AI sistemlerinin güvenliği ve gizliliği için açık kaynaklı çerçeveler geliştirmeye devam ediyoruz.

Bizim için bir diğer önemli araştırma yönü de ML'nin yazılım sistemlerine uygulanmasıdır. Örneğin, hiyerarşik bir modelle hesaplamayı cihaza nasıl taşıyacağımızı incelemeye ve bellek erişim modellerini öğrenmede bazı katkılarda bulunmaya devam ediyoruz. Ayrıca, veritabanı sistemlerinde ve depolama sistemlerinde geleneksel dizin yapısının yerini almak için öğrenme dizinlerini nasıl kullanacağımızı keşfetmeye devam ediyoruz.

Hiyerarşik Planlayıcının bir NMT modeline yerleştirilmesi

2018'de Spectre ve Meltdown, modern bilgisayar işlemcilerinde görünen yeni güvenlik açığı türleridir. CPU'nun davranışını simüle etmeye devam ederken, derleyici araştırma ekibimiz daha iyi derleme kararları alabilmeleri için makine talimatı gecikmesini ve bağlantı noktası basıncını ölçmeye yönelik araçlarını LLVM'ye entegre etti.

Google ürünleri, bulut ürünlerimiz ve makine öğrenimi model muhakemesi, büyük ölçüde bilgi işlem, depolama ve ağ iletişimi için büyük ölçekli, güvenilir ve verimli teknik altyapı sağlama becerisine dayanır. Geçtiğimiz yıl yapılan araştırmalardan bazıları, Google'ın yazılım tanımlı ağ WAN'ının geliştirilmesini içerir - birçok depolama sistemindeki (BigTable, Spanner, Google Spreadsheets, vb.) Farklı dosya biçimlerine dayalı verilere dayalı olarak yürütülebilen bağımsız bir ortak sorgu işleme platformu. SQL sorguları ve kod inceleme raporumuz - Google'ın kod incelemesinin arkasındaki motivasyonu, mevcut uygulamaları ve geliştirici memnuniyeti ve zorluklarını araştırın.

İçeriği barındıran büyük bir web hizmeti çalıştırmak, dinamik bir ortamda kararlı yük dengeleme gerektirir. Her sunucunun en büyük yüke sahip olmasını sağlamak ve bunu Google Cloud Pub / Sub'a dağıtmak için tutarlı bir hashing planı geliştirdik. Vimeo mühendisleri yayınladığımız ilk makaleyi buldular, bu çözümü haproxy'de uyguladılar ve ardından açık kaynaklı (https://github.com/arodland/haproxy/commit/b02bed24daf64743cb9a571e93ed29ee4bc7efe7) ve Vimeo yük dengeleme için kullandılar Proje. Sonuçlar çok heyecan verici.Bu algoritmalar, ölçekleme tıkanıklığını ortadan kaldırırken, önbellek bant genişliğini yaklaşık 8 kat azaltmalarına yardımcı oldu.

AutoML

Meta öğrenme olarak da bilinen AutoML, makine öğrenimi yoluyla makine öğrenimini otomatikleştirmektir. Bu alanı uzun yıllardır araştırıyoruz ve uzun vadeli hedefimiz, daha önce çözülmüş diğer problemlerden kazanılan içgörü ve yetenekleri yeni problemler bulmak ve otomatik olarak çözmek için kullanabilecek bir sistem geliştirmek. Bu alandaki ilk çalışmalarımız esas olarak pekiştirmeli öğrenmeyi kullanıyordu, ancak evrimsel algoritmaları kullanmakla da ilgileniyorduk.

Geçen yıl, çeşitli görsel görevler için sinir ağı mimarilerini otomatik olarak keşfetmek için evrimsel algoritmaların nasıl kullanılacağını gösterdik. Ayrıca, pekiştirmeli öğrenmenin sinir ağı mimarisi araması dışındaki sorunlara nasıl uygulanacağını da araştırdık. Çalışmamız, çeşitli görüntü modellerinin doğruluğunu artırmak ve yaygın olarak kullanılan optimizasyon güncelleme kurallarından daha etkili olan yeni simge optimizasyon ifadeleri bulmak için otomatik olarak görüntü dönüştürme dizileri oluşturmak için kullanılabileceğini göstermektedir. AdaNet üzerindeki çalışmamız, öğrenme garantileri ile hızlı ve esnek bir otomatik algoritmaya nasıl sahip olunacağını göstermektedir.

AdaNet uyarlamalı olarak sinir ağları kümesini büyütür. Her yinelemede, her adayın set kaybını ölçer ve sonraki yinelemeye girmek için en iyisini seçer.

Diğer odak noktamız, hesaplama açısından verimli sinir ağı mimarilerini otomatik olarak keşfetmektir, böylece cep telefonlarında veya kendi kendine giden arabalarda çalışabilirler. Bu ortamların, bilgi işlem kaynakları veya çıkarım süresi konusunda katı sınırlamaları vardır. Çalışmamız, modelin doğruluğunu, takviye öğrenme mimari araştırmasının ödül fonksiyonunda çıkarım hesaplama süresi ile birleştirerek, belirli performans kısıtlamalarını karşılarken oldukça hassas bir modelin bulunabileceğini göstermektedir. Ayrıca, makine öğrenimi modellerini otomatik olarak sıkıştırmayı öğrenmek için makine öğrenimi kullanımını araştırdık, böylece daha az parametre ve daha az bilgi işlem kaynağı kullanılabilir.

TPU

Tensör işleme birimi (kısaca TPU), Google tarafından dahili olarak geliştirilen bir ML donanım hızlandırıcısıdır. Başlangıcından bu yana büyük ölçekli eğitim ve çıkarım görevlerini gerçekleştirmek için tasarlanmıştır. TPU, Google'ın daha önce tartışılan BERT dahil olmak üzere araştırma düzeyinde bir dizi atılım gerçekleştirmesine yardımcı oldu. Ek olarak, dünyanın her yerinden araştırmacıların Google'ın araştırmalarının sonuçlarından açık kaynaklı bir şekilde yararlanmalarına ve bu temelde yeni atılımlar aramalarına da olanak tanır. Örneğin, herkes TPU üzerinde çalışan BERT'yi Colab aracılığıyla ücretsiz olarak ayarlayabilir ve TensorFlow Research Cloud, binlerce araştırmacıya daha önemli ücretsiz bulut TPU bilgi işlem gücünden yararlanma fırsatı sunar.

Ayrıca, TPU donanımının birçok yinelemesini gerçekleştirdik ve büyük ölçekli makine öğrenimi eğitiminin zorluğunu önemli ölçüde azaltmayı amaçlayan Cloud TPU Pod makine öğrenimi süper bilgisayarı dahil olmak üzere bulut TPU biçiminde ticari kullanıma tanıttık. Google'a odaklanan TPU, makine öğrenimi araştırması alanında daha hızlı ilerleme sağlamanın yanı sıra, arama motorları, YouTube, Gmail, Google Asistan, Google Translate ve diğerleri dahil olmak üzere Google'ın bir dizi temel ürününe de büyük iyileştirmeler getirdi. Makine öğrenimi alanında daha fazla kazanç sağlamak için TPU tarafından sağlanan benzeri görülmemiş bilgi işlem ölçeğini kullanabilen Google ve diğer makine öğrenimi ekiplerini görmeyi sabırsızlıkla bekliyoruz.

Solda tek bir TPU v3 cihazı ve sağda TPU v3 Kapsülünün bir parçasıdır.

Açık kaynak yazılım ve veri setleri

Araştırma ve yazılım mühendisliği topluluklarıyla işbirliği sürecinde, açık kaynaklı yazılım yayınlamak ve yeni halka açık veri kümeleri oluşturmak her zaman katkıda bulunmanın en önemli iki yolu olmuştur. Bu alandaki en önemli başarılarımızdan biri, Kasım 2015'te piyasaya sürdüğümüz ve şu anda oldukça popüler olan bir makine öğrenimi bilgi işlem sistemi olan TensorFlow'dur. 2018'de TensorFlow projesinin üçüncü doğum gününü kutladık. Bu süre zarfında 30 milyondan fazla indirildi ve 1.700'den fazla katılımcı tarafından 45.000'den fazla komisyon getirildi.

2018'de geriye dönüp baktığımızda, TensorFlow, istekli yürütme ve dağıtım stratejisi gibi bir dizi önemli özellik eklerken sekiz ana sürümü de başlattı. Geliştirme sürecinde ayrıca bir topluluk genel tasarım inceleme mekanizması başlattık ve özel ilgi grupları şeklinde daha fazla katılımcı çektik. TensorFlow Lite, TensorFlow.js ve TensorFlow Probability gibi ilgili ürünlerin piyasaya sürülmesiyle birlikte, genel TensorFlow ekosistemi 2018'de önemli ölçüde büyüdü.

TensorFlow'un en iyi makine öğrenimi ve derin öğrenme çerçeveleri arasında en güçlü Github kullanıcı tutma oranına ve çekiciliğine sahip olduğunu görmekten çok mutluyuz. TensorFlow ekibi aynı zamanda Github sorunlarını hızlı bir şekilde çözmeye ve harici katılımcıların katılımı için sorunsuz bir yol sağlamaya kararlıdır. Google Scholar'ın istatistiklerine göre, araştırma süreci boyunca, dünyanın makine öğrenimi ve yayınlanan makalelere dayalı derin öğrenme araştırmalarının çoğu için destek sağlamaya devam ediyoruz.

TensorFlow Lite, lansmanından sadece bir yıl sonra dünya çapında 1,5 milyardan fazla cihaza kuruldu. Ek olarak, TensorFlow.js, JavaScript'te bir numaralı makine öğrenimi çerçevesi haline geldi; lansmanından sadece 9 ay sonra, içerik dağıtım ağında (CSN) 2 milyondan fazla isabet ve 250.000'den fazla indirme aldı ve 10.000 yıldız.

Mevcut açık kaynak ekosistemini geliştirmeye devam etmenin yanı sıra, 2018'de esnek ve tekrarlanabilir pekiştirmeli öğrenme yeteneklerini uygulamak, yeni görselleştirme araçları oluşturmak ve veri setinde bulunan çeşitli özellikleri hızlı bir şekilde anlamak için yeni bir çerçeve sunduk. (Herhangi bir kod yazmadan), sıralama öğrenme problemlerini ifade etmek için yeni bir dizi gelişmiş kitaplık (bu tür sorunlar, öğeleri listenin performans gereksinimlerini en iyi karşılayacak şekilde sıralamak için tasarlanmıştır. Bu yetenek, arama motorları ve öneri sistemleri için önemlidir. , Makine çevirisi, diyalog sistemleri ve hatta hesaplama biyolojisi büyük önem taşıyor), öğrenme garantili hızlı ve esnek bir AutoML çözüm çerçevesi yayınladı ve yerleşik bir tarayıcı yerleşik gerçek zamanlı t-SNE görselleştirme kitaplığı oluşturmak için TensorFlow.js'yi kullandı Aynı zamanda elektronik tıbbi veriler ile arayüz oluşturabilen FHIR araçları ve yazılımları da eklenir (bu yazının sağlık hizmetleri bölümünde ayrıntılı açıklamalar verilmiştir).

TSNE'nin gerçek zamanlı evrimi, eksiksiz MNIST veri setine yerleştirilmiştir. Veri seti 60.000 el yazısı dijital resim içerir.

Demo bağlantısı: https://nicola17.github.io/tfjs-tsne-demo/

Herkese açık veri kümeleri genellikle ilham almak için önemli bir temel haline gelebilir ve daha geniş topluluğa çok sayıda ilginç veri ve soru getirerek, birden çok alandan araştırmacıların büyük ilerleme kaydetmesine yardımcı olur. Buna ek olarak, halka açık veri setleri, insanların farklı görevlerde daha iyi sonuçlar elde etme hevesine ilham verebilir ve böylece ilgili toplulukların sağlıklı bir rekabet durumuna sahip olmasını sağlayabilir.

2018'de, tüm ağlardan herkese açık veri kümelerini bulmaya yönelik yeni bir araç olan Google Veri Kümesi Aramasını yayınlamaktan mutluluk duyuyoruz. Uzun yıllardır, çok sayıda ek açıklamalı görüntü veya video, konuşma tanıma için Bangladeş'teki insanlardan oluşan bir veri kümesi ve hatta robotik bir kapma veri seti dahil olmak üzere çeşitli yenilikçi veri kümelerini planlıyor ve yayınlıyoruz. 2018'de bu önemli rezerve daha fazla veri seti kaynağı eklemeye devam ediyoruz.

Hindistan ve Singapur resimleri Crowdsource uygulaması kullanılarak Open Images Extended veri kümesine eklendi.

Ayrıca Open Images V4'ü yayınladık. Bu veri seti 15,4 milyon kenarlık (1,9 milyon görüntüde 600 nesne kategorisine karşılık gelir) ve 19,794 kategoriye ait 30,1 milyon manuel olarak doğrulanmış görüntü düzeyinde etiket içerir. Buna ek olarak, bu veri setinin ölçeğini genişletmek için dünyanın her yerinden daha fazla kişi ve sahne tanıtmayı umarak crowdsource.google.com'u kullanarak dünyanın dört bir yanındaki on binlerce kullanıcıdan 5,5 milyon yorum aldık.

Ayrıca, video içeriği için görsel-işitsel ek açıklamalar sağlamaktan sorumlu olan Atomik Görsel Eylemler (AVA) veri setini de yayınladık, böylece insan davranışının anlaşılmasını ve video ve sesi işleme yeteneğini geliştirdik. Ayrıca YouTube-8M'yi güncelledik ve ikinci YouTube-8M Büyük Ölçekli Video Anlama Yarışması ve Atölyesi'ni düzenledik. HDR + Seri Çekim veri setimiz temel olarak hesaplamalı fotoğrafçılık alanındaki çeşitli araştırmaları uygulamak için kullanılırken, Google-Merkezi, dönüm noktası tanıma konusundaki çeşitli zorlukları çözmek için kullanılan bir başka yeni veri kümesidir.

Spesifik veri setlerine ek olarak, Fluid Annotation projesinde bir dizi keşif yaptık ve ilgili teknik başarılar, veri setlerinin oluşturulmasını ve görselleştirilmesini hızlandırabilir. Fluid Annotation, görüntü içeriğine daha hızlı açıklama ekleyebilen, keşif amaçlı bir makine öğrenimine dayalı arayüzdür.

Fluid Annotation arayüzü, COCO veri kümesindeki görüntüleri görselleştirir.

Ayrıca, zor araştırma problemlerini çözmek için her iki tarafın birlikte çalışmasını sağlamak için araştırma topluluğunun zaman zaman yeni zorluklar keşfetmesine yardımcı oluyoruz. Bu çalışma genellikle yeni veri kümeleri yayınlayarak elde edilir, ancak birçok istisna vardır.

Bu yıl, her türlü önyargı sorunundan kaçınmak için daha güçlü bir model geliştirmeye çalışarak kapsayıcı görüntü bulmacası etrafında yeni bir meydan okuma düzenledik. İNaturalist 2018 Yarışması, bilgisayarların görsel nesnelerin kategorilerini (resimdeki belirli bitki türleri gibi) daha ayrıntılı olarak ayırt etmesini sağlamayı amaçlamaktadır. Kaggle "Çabuk, Çiz!" Grafiti Tanıma Görevi daha iyi bir grafiti içerik sınıflandırıcısı oluşturmayı umuyor. Büyük ölçekli bir görüntü yakalama veri kümesi olarak, Kavramsal Altyazıların resim altyazı oluşturma modellerinin araştırılmasını daha da ilerletmek için kendi zorlukları da vardır.

robot

2018 yılında, makine öğrenimi teknolojisinin robotlara gerçek ortamlarda hareket etmeyi nasıl öğrettiğini ve robotlara yeni nesneleri işlemeyi nasıl öğrettiğini anlamada yeni bir dönüm noktası (CoRL18 Best System Paper) ve uygulama düzeyinde büyük bir ilerleme kaydettik. Robotlar, insan gözetimi olmadan nesnelerin özelliklerini anlamak için makine öğrenimini kullanabilir.

Buna ek olarak, robot eylemlerini incelemek için makine öğrenimini örneklemeye dayalı yöntemlerle (ICRA18 Hizmet Robotları Üzerine En İyi Kağıt) birleştirecek ve bu eylem ustalığını hızlandırmak için robot geometrisini keşfedeceğiz. Robotların çevrenin yapısını otonom bir şekilde gözlemlemesi ve algılaması konusunda önemli ilerlemeler kaydettik. İlk defa, gerçek robot ekipmanı üzerinde derin pekiştirmeli öğrenme modellerinin çevrimiçi eğitimini başarıyla uygulayabildik ve robotlara gerçekten istikrarlı kontrollü öğrenme yetenekleri getirmek için yeni ve temel teorik yöntemler bulmaya başladık.

Yapay zekanın diğer alanlarda uygulanması

2018 yılında makine öğrenimi teknolojisini fizik ve biyolojik bilimlerdeki birçok soruna uyguladık. Makine öğrenimi teknolojisini kullanarak, bilim insanlarına yüzlerce hatta binlerce araştırma görevlisine eşdeğer veri madenciliği yetenekleri sağlayabilir, böylece yaratıcılıklarını ve üretkenliklerini önemli ölçüde artırabiliriz.

Nature-Methodology dergisinde yayınlanan nöronların yüksek hassasiyetli otomatik yeniden yapılandırılmasına ilişkin makalede, doğruluğu artırmak için orijinal derin öğrenme teknolojisindeki bağlı grup verilerini otomatik olarak yorumlayabilen yeni bir model önerdik. Bir büyüklük sırası.

Algoritmamız, bir kuşun beynindeki tek bir nöronun aktivitesini 3B olarak izliyor.

Bilimde makine öğreniminin diğer uygulama durumları şunları içerir:

Güneş sisteminin dışındaki yeni gezegenleri bulmak için veri madenciliği yoluyla yıldızların ışık eğrilerini özetleyin
Kısa DNA dizilerinin kökenini veya işlevini tanımlayın
Odak dışı mikroskop görüntülerinin otomatik tespiti
Birden çok boyama özelliği ile benzer hücrelerin görüntülerini dijital olarak oluşturun
Kütle spektrum çıktı sonuçlarını otomatik olarak peptit zincirleriyle eşleyin

Önceden eğitilmiş TensorFlow modeli, Fiji (ImageJ) hücre mikroskobu altında görüntü yama dikişinin odak kalitesini değerlendirebilir. Model, odak kalitesini ve tahmin doğruluğunu sırasıyla tahmin etmek için sınırdaki tonu ve parlaklığı kullanır.

sağlık

Son birkaç yıldır, makine öğrenimi teknolojisini sağlık alanına uygulamaya adadık - bu alan her birimizi doğrudan etkiliyor ve ayrıca makine öğreniminin sağlık sektöründeki tıp profesyonellerinin sezgilerini ve deneyimlerini önemli ölçüde artıracağına inanıyoruz. , Ve nihayetinde insan yaşamının kalitesine büyük bir gelişme getiriyor. Bu alanda geleneksel yaklaşımımız, çeşitli temel araştırma problemlerini çözmek için (araştırma sonuçlarımızı desteklemek için klinik uzmanlardan gelen geri bildirimleri kullanarak) sağlık kuruluşları ile işbirliği kurmak ve ardından sonuçları saygın hakemli olarak yayınlamaktır. Bilimsel ve klinik dergiler.

Araştırma sonuçları klinik ve bilimsel olarak doğrulandıktan sonra, bir sonraki adımımız, bunları klinik ortamda gerçekten nasıl kullanacağımızı anlamak için kullanıcı ve HCI araştırması yapmaktır. 2018 yılında, bilgisayar destekli teşhisi klinik sürecin yeni bir parçası haline getirmeyi umarak, bilgisayar destekli geniş alandaki araştırma kapsamını daha da genişlettik.

2016'nın sonunda, retina fundus görüntülerini değerlendirerek diyabetik retinopati belirtilerini tespit etmeye yönelik bir dizi modelin, spesifik etkililik açısından Amerikan Tıp Konseyi sertifikalı oftalmologlara tamamen eşdeğer veya onlardan biraz daha iyi olduğunu gösteren bir çalışma sonucu yayınladık. 2018'de bir adım daha ileri gittik ve göz doktorları tarafından işaretlenen eğitim görüntülerini, modelimizin gerçekten ulaştığını kanıtlamak için nihai tanı sonucuyla (birden fazla retina uzmanı tarafından konsültasyon ve her fundus görüntüsünün toplu olarak değerlendirilmesi) işbirliği yapmak için kullanabildik. Retina tanı ve tedavi uzmanları ile karşılaştırılabilir analiz düzeyi.

Bundan sonra, oftalmologların bu makine öğrenimi modelini kullandıktan sonra bağımsız yargılamadan daha yüksek tanı doğruluğu elde edebileceklerini gösteren bir değerlendirme yayınladık. Alphabet'teki meslektaşlarımız da bu diyabetik retinopati saptama sistemini Hindistan'daki Aravind Göz Hastanesi ve Tayland Sağlık Bakanlığı'na bağlı Rajavithi Hastanesi dahil olmak üzere bir düzineden fazla kurum için dağıtmak için etkili bir şekilde işbirliği yaptı.

Solda retinanın fundus görüntüsü yer almaktadır Oftalmologlardan oluşan konsültasyon ekibi (gerçek arka plan) bunu orta derecede diyabetik retinopati ("Mo") olarak değerlendirdi. Sağ üst modeldeki tahmin puanıdır ("N" retinopati olmadığı anlamına gelir, "Mi" erken retinopati anlamına gelir ve "Mo" orta düzeyde retinopati anlamına gelir). Sağ altta, model sonucuna ("Yardımsız") ve referans model tahmin puanına ("Yalnızca Notlar", yalnızca referans puanı) atıfta bulunmadan doktorun tanı koyduğu sonuç bulunur.

Göz doktorlarıyla çarpışan göz kamaştırıcı kıvılcımlara ek olarak, tıbbi araştırma sırasında yeni bir makine öğrenimi modelleri seti de yayınladık. Bu model, retina görüntüleri ile kardiyovasküler hastalık riski arasındaki ilişkiyi değerlendirebilir. Bu aynı zamanda, non-invaziv biyobelirteçlerin klinisyenlerin hastaların sağlığını daha iyi anlamalarına yardımcı olabileceğine dair yeni bir umut getiriyor.

Bu yıl boyunca, prostat kanseri sınıflandırmasını iyileştirmek için makine öğreniminin nasıl kullanılacağını göstermek, derin öğrenme teknolojisi ile metastatik meme kanserini tespit etmek ve dijital görüntülerle kaplanabilecek artırılmış gerçeklik mikroskobu prototipi geliştirmek de dahil olmak üzere patoloji alanına odaklanmaya devam ettik. Yöntem, patologların ve diğer bilim adamlarının görsel bilgileri bilgisayarla görme modelinden mikroskop görüş alanına gerçek zamanlı olarak aktarmalarına yardımcı olur.

Geçtiğimiz dört yılda, klinik olarak ilgili tahminler yapmak için elektronik sağlık kayıtlarını işlemek için derin öğrenme teknolojisinin nasıl kullanılacağını düşünerek çok sayıda araştırma çalışması yaptık. 2018'de, çalışma sonuçlarını Nature-Digital Medicine dergisinde yayınlamak için Chicago Üniversitesi Tıp Fakültesi, San Francisco Üniversitesi ve Stanford Tıp Fakültesi ile işbirliği yaptık ve elektronik tıbbı tanımlamak için makine öğrenimi modellerinin nasıl kullanılacağını gösterdik. Klinik teşhis ve tedavi, mevcut en iyi uygulamaların ötesinde güçlü destek sağlar.

Bu çalışmanın önemli bir parçası olarak, araştırmacıların tamamen farklı görevlere ve tamamen farklı temel elektronik sağlık kaydı veri setlerine dayalı olarak bu tür modelleri kolayca oluşturmalarını sağlayan bir dizi araç da geliştirdik. Ayrıca bu çalışmada Hızlı Sağlık Hizmetleri Birlikte Çalışabilirlik Kaynağı (FHIR) standardını ve ilgili açık kaynaklı yazılımı kurduk ve uygulayıcıların tıbbi verileri daha kolay ve daha endüstri standardı bir şekilde işlemesine yardımcı olmayı umuyoruz (bkz.GitHub deposu) .

Ek olarak, derin öğrenme teknolojisine dayalı olarak değişken arayan DeepVariant'ın doğruluğunu, hızını ve pratikliğini de geliştirdik. DeepVariant ekibi ortaklarla yakın çalıştı ve yakın zamanda Nature-Biotechnology dergisinde hakemli bir makale yayınladı.

Makine öğrenimi teknolojisini tarihsel veri toplamaya uygularken, geçmişte var olan nüfus yapısının özelliklerini ve önyargılarını anlamak, doğrudan veri derlemenin kalitesini belirler. AI

Google Ai Residency 2019

Google Faculty Research Awards 2018 AI/ML

ICLR 2018NAACL 2018ICML 2018CVPR 2018NeurIPS 2018ECCV 2018 EMNLP 2018 2018 ASPLOSHPCAICSEIEEE Security and PrivacyOSDI SIGCOMM

2018