g u t x .com.tr İpek yolu - Çin'i anlamaya götürürüm

Uber, piyasada sessizce güçlü bir açık kaynak derin öğrenme yığını oluşturuyor

Tam metin 3285 Kelimeler, tahmini öğrenme süresi 10 dakika

Yapay zeka her zaman alışılmadık bir teknoloji trendi olmuştur. Geleneksel teknoloji döngüsünde, inovasyon genellikle endüstrinin statükosunu bozmak isteyen girişimlerle başlar.

Ancak yapay zeka endüstrisinde, yeniliklerin çoğu Google, Facebook, Uber ve Microsoft gibi büyük şirketlerde ortaya çıktı. Bu şirketler sadece araştırma alanına hükmetmekle kalmıyor, aynı zamanda düzenli olarak yeni çerçeveler ve araçlar açık kaynak yaparak yapay zeka teknolojisinin uygulanmasını basitleştiriyor.

Bu koşullar altında Uber, mevcut yapay zeka teknolojisi ortamında en aktif açık kaynak katılımcılarından biri haline geldi.

Yapay zeka söz konusu olduğunda, Uber neredeyse mükemmel bir test alanıdır. Uber, büyük bilim ve teknoloji şirketlerinin tüm geleneksel yapay zeka gereksinimlerini yapay zeka öncelikli ulaşım çözümlerinin tanıklığıyla birleştirir. YouJiang, kullanıcı sınıflandırmasından kendi kendine giden arabalara kadar çeşitli pratik senaryoları kapsayan birçok makine (derin) öğrenme uygulaması yarattı. Uber tarafından kullanılan teknolojilerin çoğu açık kaynaktır ve makine öğrenimi topluluğundan büyük beğeni topladı.

Uber, sadece birkaç yıl içinde yapay zeka alanında farklı projeler geliştirdi. Aşağıdakiler, referansınız ve çalışmanız için Xiaoxin tarafından derlenmiştir:

Not: Michelangelo ve PyML'yi dahil etmeyeceğim (Not: Her ikisi de Uber tarafından başlatılan makine öğrenimi platformlarıdır.) Hem açık kaynak hem de ayrıntılı oldukları için bunlar gibi makine öğrenimi platformları.

Ludwig: Kod dışı makine öğrenimi modelleri için bir araç kutusu

Ludwig, kod dışı senaryolarda derin öğrenme modeli eğitimini ve testini destekleyen TensorFlow tabanlı bir araç kutusudur. Prensip olarak, Ludwig beş temel ilkeye göre oluşturuldu:

· Kod gerekmez: Bir modeli eğitmek ve tahmin sonuçlarını almak için onu kullanmak için hiçbir kodlama tekniği gerekmez.

· Evrensellik: Veri türlerine dayalı derin öğrenme modelleri tasarlamanın yeni bir yöntemi, bu aracı birçok farklı durumda kullanılabilir hale getiriyor.

· Esneklik: Becerikli kullanıcılar, model oluşturma ve eğitim üzerinde yüksek derecede kontrole sahip olabilir ve aynı zamanda, acemiler için de çok arkadaş canlısıdır.

· Ölçeklenebilirlik: yeni model mimarileri ve yeni özellik veri türleri eklemek kolaydır.

· Anlaşılabilirlik: Derin öğrenme modellerinin özü genellikle kara kutu olarak kabul edilir, ancak Ludwig, kullanıcıların performanslarını anlamalarına ve bu tahminleri karşılaştırmalarına yardımcı olmak için standart görselleştirmeler sağlar.

Ludwig, veri bilimcilerinin derin öğrenme modellerini eğitmesini kolaylaştırır. Yalnızca eğitim verilerini içeren bir CSV dosyası ve model giriş ve çıkış verilerini içeren bir YAML dosyası sağlamaları gerekir. Bu iki veri noktası ile Ludwig, çok görevli bir öğrenme yolu gerçekleştirebilir, tüm çıktıları aynı anda tahmin edebilir ve bu sonuçları değerlendirebilir. Bu sonuçlara yanıt olarak, Ludwig ayrıca sürekli olarak değerlendirilen ve nihai mimariye entegre edilebilen bir dizi derin öğrenme modeli sunar. Uber mühendislik ekibi, bu süreci açıklamak için şu metaforu kullanıyor: "Derin öğrenme kütüphanesi, yüksek binalar inşa etmek için taşlar sağlıyorsa, Ludwig'in sağladığı şey şehrinizi inşa etmek içindir. Bu mevcut binalar arasından seçim yapabilirsiniz, Veya kendi evinizi ekleyin. "

Pyro: Yerel bir olasılıksal programlama dili

Pyro, Uber Yapay Zeka Laboratuvarı tarafından yayınlanan derin bir olasılıklı programlama dilidir (PPL). Pyro, dört temel ilkeye dayanan PyTorch üzerine kurulmuştur:

· Evrensel: Pyro, hesaplanabilir herhangi bir olasılık dağılımını temsil edebilen evrensel bir olasılık programlama dilidir. Bu nasıl yapılır? Yinelemeli ve özyinelemeli (rastgele Python kodu) evrensel bir dil ile başlayın, ardından rastgele örnekleme, gözlem ve çıkarım ekleyin.

· Ölçeklenebilir: Pyro, büyük veri kümelerine genişletilebilir, ancak el yazısı koddan biraz daha pahalıdır. Nasıl yapılır? Modern kara kutu optimizasyon teknolojisini oluşturarak, yaklaşık mantık için küçük toplu verileri kullanır.

· Minimal: Pyro çeviktir ve sürdürülebilirdir. Nasıl yapılır? Pyro, güçlü, bir araya getirilebilir ve soyut olan küçük bir çekirdek tarafından desteklenir. Koşullar izin verdiği sürece, ağır iş tamamlanması için PyTorch'a ve diğer kütüphanelere devredilecektir.

· Esnek: Pyro, otomatikleştirilmesi gerektiğinde otomatikleştirilebilir; Pyro, genel durumu kendiniz kontrol etmek istediğinizde de ihtiyaçları karşılayabilir. Nasıl yapılır? Pyro, akıl yürütme sürecini kolayca özelleştirmek için uzmanları desteklerken, üst düzey soyut ifade oluşturma ve akıl yürütme modelleri kullanır.

Ancak bu ilkeler genellikle Pyro'nun uygulanmasını ters yöne çeker. Örneğin, çok yönlülük gereksinimleri Pyro programlarında rastgele kontrol yapılarının kullanılmasına izin verir, ancak bu çok yönlülük genişletmeyi zorlaştırır. Bununla birlikte, genel olarak Pyro, bu ilkeler arasında mükemmel bir denge kurar ve bu da onu mevcut uygulamalar için tercih edilen olasılıklı programlama dillerinden biri yapar.

Manifold: Makine öğrenimi modellerinde hata ayıklamak ve açıklamak için bir araç seti

Manifold teknolojisi, büyük ölçekli makine öğrenimi modellerinde hata ayıklamak ve bunları yorumlamak için kullanılan bir Uber teknolojisidir. Bu teknolojiye dayanan Uber mühendislik ekibi, çok özel bazı hedefleri gerçekleştirmek istiyor:

· Makine öğrenimi modelindeki kod hatalarını ayıklayın.

· Bir modelin avantajlarını ve dezavantajlarını, ister tek başına ister diğer modellerle karşılaştırmalı olarak inceleyin.

· Farklı modelleri karşılaştırın ve entegre edin.

· İnceleme ve performans analizi yoluyla toplanan sonuçlar model yinelemesine dahil edilir.

Manifold, bu hedeflere ulaşmak için makine öğrenimi analiz sürecini üç ana aşamaya ayırır: inceleme, yorumlama ve iyileştirme.

· İnceleme: Analiz sürecinin ilk bölümünde kullanıcı bir model tasarlar ve modeli araştırıp mevcut diğer modellerle karşılaştırmaya çalışır. Bu aşamada kullanıcılar, yeni modelin mevcut modelden daha iyi olup olmadığı hakkında kaba bilgi elde etmek için doğruluk, kesinlik / geri çağırma oranı ve ROC eğrisi gibi tipik performans göstergelerini karşılaştırırlar.

· Açıklama: Bu aşamadaki analiz çalışması, önceki aşamada ortaya atılan farklı hipotezleri açıklamaya çalışır. Bu aşama, belirli bir modelin bazı semptomlarını açıklamak için karşılaştırmalı analize dayanır.

· İyileştirme: Bu aşamada, kullanıcılar yorumdan çıkardıkları bilgiyi modele kodlamaya ve önceki aşamada verilen yorumu doğrulamak için performansı test etmeye çalışırlar.

Platon: Büyük ölçekli konuşma aracıları oluşturmak için bir çerçeve

Uber, büyük ölçekli konuşma uygulamaları oluşturmanın zorluğunu çözmek için Plato Araştırma Diyalog Sistemini (PRDS) kurdu. Kavramsal olarak PRDS, farklı ortamlarda konuşmaya dayalı AI aracıları oluşturmak, eğitmek ve değerlendirmek için bir çerçevedir. İşlevsel bir bakış açısından, PRDS aşağıdaki işlevleri içerir:

· Konuşma tanıma (konuşmayı metne dönüştürme);

· Dili anlama (metinden anlam çıkarmak);

· Görüşme durumu izleme (şimdiye kadar söylenen ve yapılanların bir özeti)

· Uygulama programı arayüz çağrısı (arama veritabanı, sorgu uygulama programı arayüzü vb.)

· Diyalog kararı (temsilcinin cevabının soyut anlamını üretmek);

· Dil üretimi (soyut anlamın metne dönüştürülmesi)

· Konuşma sentezi (metni konuşmaya dönüştür)

PRDS, en son araştırma sonuçlarını konuşma sistemine dahil etmek ve platformun her bir bileşenini sürekli geliştirmek amacıyla modüler bir fikir temel alınarak tasarlanmıştır. PRDS'de, her bileşen etkileşim yoluyla çevrimiçi veya çevrimdışı olarak eğitilebilir ve çekirdek motora entegre edilebilir. Eğitim perspektifinden bakıldığında PRDS, insanlarla ve simüle edilmiş kullanıcılarla etkileşimi destekler. İkincisi genellikle araştırma senaryolarında yapay zeka ajanları arasındaki konuşmaları tetiklemek için kullanılırken, ilki daha çok yerinde etkileşimi temsil ediyor.

Horovod: büyük ölçekli bir derin öğrenme eğitim çerçevesi

Horovod, topluluktaki en popüler Uber makine öğrenimi yığınlarından biridir ve DeepMind veya OpenAI gibi yapay zeka araştırma ekipleri tarafından benimsenmiştir. Kavramsal olarak Horovod, dağıtılmış derin öğrenme eğitim görevlerini büyük ölçekte yürütmek için bir çerçevedir.

Horovod, eğitim görevlerinin herhangi bir değişiklik yapmadan yüksek oranda paralel dağıtılmış bir altyapı üzerinde çalışmasını sağlamak için OpenMPI gibi bir mesajlaşma arayüzü yığını kullanır. Horovod'da dağıtılmış bir TensorFlow eğitim görevini yönetmek yalnızca dört basit adım gerektirir:

1. hvd.init () Horovod'u başlatır.

2. config.gpu_options.visible_device_list = str (hvd.local_rank ()), her TensorFlow işlemi için bir GPU ayırır.

3. opt = hvd.DistributedOptimizer (opt), halka çıkarma kullanan ortalama gradyan için sorumlu olan herhangi bir geleneksel TensorFlow optimize ediciyi sarmak için Horovod optimizer'a güvenir.

4. hvd.BroadcastGlobalVariablesHook (0), başlatma tutarlılığını sağlamak için ilk işlemin değişkenlerini diğer tüm işlemlere uygular.

Kaynak: Pexels

Uber'in birçok açık kaynak sürümü, araştırma sonuçlarından ilham alır. Uber Yapay Zeka Araştırması web sitesi, Uberin yapay zeka araştırmalarındaki en son çabalarını vurgulayan fenomen düzeyinde bir makale kataloğudur.

Bunlar, yapay zeka araştırma ve geliştirme topluluğu tarafından sürekli olarak benimsenen Uber mühendislik ekibinin katkılarının yalnızca bir kısmı.

Uber, yapay zeka çözümlerini geniş ölçekte uygulamaya devam ederken, yeni inovasyon çerçevesinin, makine öğreniminin veri bilimcileri ve araştırmacılara uygulanmasını basitleştirdiğini görebiliyoruz.