On yılda bir kılıç olan Alibaba, arama motoru platformu AI · OS'yi ilk kez öneriyor!
Ali Mei's Guide: 28 Eylül'de Ali Search onuncu yıldönümünü başlattı. Denenmiş ve test edilmiş arama ve tavsiye platformu, Taobao, Tmall, Youku ve hatta denizaşırı e-ticaret dahil olmak üzere tüm Alibaba Grubunun öneri ve arama işini destekledi ve grubun GMV'sinin çoğunu hesaba katmak için yönlendirilmiş işlemler. Zeka çağının gelişiyle birlikte, büyük veri derin öğrenimi için çevrimiçi bir hizmet sistemine dönüştü. 10 saniyelik tam bir güncelleme gecikmesi sağlayan orijinal motor platformunun yanı sıra, çeşitli derin öğrenme ağı tahminlerinin esnek bölünmesini desteklemek için genişler. , Ultra TB modellerini destekler, heterojen bilgi işlem, gerçek zamanlı bilgi işlem ve derin öğrenme eğitim platformlarının gelişimini yönlendirir ve sürekli olarak verimlilikte en üst noktayı takip eder.
Bugün Öğretmen Wufu, herkesi AI · OS'nin (Büyük Veri Derin Öğrenme Çevrimiçi Hizmet Sistemi) on yıllık temeline yönlendirecek ve mühendislik, veri ve algoritmaların birlikte iş yeniliğini nasıl desteklediğini görecek.
Yazar hakkında: Arama ve tavsiye mühendisliği teknolojisi başkanı, Alibaba'da kıdemli araştırmacı olan Wufu, arama ve öneri mühendisliği ekibini nihai verimlilik arayışında, grubun birleşik motor platformuna doğru yönlendirdi, akıllı çağa yükseltmeyi gerçekleştirdi ve kuruldu Büyük veri derin öğrenimi için dünyanın önde gelen çevrimiçi hizmet sistemi AI · OS (Çevrimiçi Hizmet).
Büyük bir veri derin öğrenme çevrimiçi hizmet sistemi olan AI · OS (Çevrimiçi Hizmet), Alibaba'nın mühendislik, algoritma ve verimlilik meslektaşları tarafından on yıl boyunca oluşturuldu. Ali e-ticaretin yurtiçi ve yurtdışındaki tüm arama ve öneri hizmetlerini destekler ve her zaman büyük kalır Veriler, grubun ana gövdesini işgal etmek için işlemlere öncülük eden ana savaş alanıdır; Buna ek olarak, orta ve Tayvan teknolojisinin omurgası olan AI · OS, e-ticaret, Alibaba Cloud, Youku, Cainiao, Hema, Dingding vb. Dahil olmak üzere tüm grubun altyapısıdır; Daha da önemlisi, AI · OS sisteminin bulut ürün matrisi küresel geliştiricilere hizmet ediyor ve bu yıl on milyonlarca gelir ölçeğine sahip olması bekleniyor.
AI · OS, derin öğrenme için çevrimiçi hizmetlere odaklanır. Bileşeni Jarvis, cep telefonlarında bile çalışmıştır, ancak işlevsel bir bakış açısından, sistemde kilit rol oynayan beş hizmet bileşeni vardır: TPP önerisi iş platformu, RTP derin öğrenme tahmini Motor, HA3 arama geri çağırma motoru, DII öneri geri çağırma motoru, iGraph grafik sorgu motoru. El ile arama, beğendiğinizi tahmin etme, AIO, Poseidon, vb. Gibi AI OS üzerindeki ana algoritma senaryolarının tümü hızlı bir şekilde bir araya getirilir ve bir grafik (operatör akış şeması özelleştirme) modunda devreye alınır ve deneysel trafiği varsayar. Çevrimiçi hizmetler, model eğitiminin arka ayağını sürüklemez ve eğitimi takip etmez Bu bizim en yüksek yinelemeli verimlilik düzeyinin yeni yorumumuzdur.
AI · OS'nin bu temel hizmet bileşenleri, hiçbir şekilde mekanik bir kombinasyon olmayan renkli algoritma sahnelerini ve teknik ürünleri dönüştürebilir. Motor grafiklerinin temeli, özellikle bileşenlerin paralel akışlarını hızlı bir şekilde birleştirme ve dağıtma yeteneği, büyük veri çevrimiçi hizmetlerinin genel soyutlamasından yararlanır (ikinci düzey veri güncellemelerinin nihai tutarlılığını gerektirir), Suez çevrimiçi hizmetleridir çerçeve. Suez çerçevesi, çalışmanın 3 boyutunu birleştirir:
- Dizin depolama (tam metin araması, grafik araması, derin öğrenme modeli)
- Dizin yönetimi (tam hacim, artımlı ve gerçek zamanlı güncelleme)
- Servis yönetimi (nihai tutarlılık, kesinti akışı, sürüm düşürme, genişletme vb.)
İGraph gibi her hizmet bileşeni için, kodun çoğu paylaşılsa bile bu boyutları tek başına yapmak en az 3 yıl sürer ve bunları iyi yapmak çevrimiçi bir hizmetin temel dayanağıdır. Sonuçta, hepimiz biliyoruz ki, sık sık iş yinelemeleri Grafiğin hesaplama düzeyinde oluşur. Yakın zamanda iGraph'ın Suez çerçevesine taşınmasının, misyonun tanınmasıyla birlikte, AI OS'nin entegre edilebilmesi için ekibin ona yatırım yapmak için her türlü çabayı gösterdiğini inceledim.
AI OS sisteminde Hippo, kümenin fiziksel kaynaklarını planlama görevini üstlenir. Burası orta ve Tayvan'ın kapsayıcı ve izolasyon teknolojisinin arama mühendisliği ile buluştuğu yerdir.Aynı zamanda AOP aracılığıyla sistem arkadaşları olmak için PAI-TF model eğitimi ve gerçek zamanlı hesaplama Blink için köprü başıdır. Bugün önerilen ve aranan eğitim görevlerinin tümü Hippo karma kaynak havuzunda çalışıyor. Algoritmanın en parlak döneminde, yedi günlük ortalama 1.300 makinenin tam kapasitede çalıştığı maksimum 2.000 makineye tanık oldum. Bu kaynaklar ücretsiz olarak elde ediliyor ve bu görevler oluşturuldu Değer tahmin edilemeyecek kadar büyük.
AI · OS'nin kendisi de tahmin ve optimizasyon algoritmaları için bir yerdir.Bunlar arasında, AIOps bir ustadır.Ölçüm hizmeti KMon, TPP, durumsuz hizmet olan ajdk'in yük sınırını başarıyla zorladıktan sonra saniyeler içinde gerçek zamanlı güvenilirliği çözdükten sonra Bileşenlerin başarılı bir şekilde genişletilmesi ve daraltılmasından sonra, AIOps, Hippo havuzundaki motor servis bileşenlerinin çoğunu elastik stratejiler uygulamak için zorlamak ve Double 11'de% 50 daha yüksek yük zirvesine ulaşmak için çabalamak için nihayet bir adım daha atabilir. Bildiğimiz kadarıyla esnek genişleme, büyük veri çevrimiçi hizmetleri alanında öncü bir çalışmadır.
AI · OS, kendi sisteminde kapalı algoritma yineleme döngüsünü tamamlayabilir.Arama sunucusunun iki mücevheri ve Taobao tacına gömülü istemciden ayrılamaz.İşte algoritma mühendisliği ürünlerinin ve ilgili tarafların etkin olan ev oyunlarının entegrasyonu Ürün yinelemeleri ve eksiksiz bir deneysel mekanizma, istenen sınırlara sürekli olarak ulaşmak için destek sistemi ile işbirliği yapar. Son yıllarda, uçtan uca zekanın keşfi kademeli olarak netleşti ve Polaroid'in on milyonlarca UV'yi kırmasına yardımcı oldu.Teknik olarak, geri beslemeli elle satış, AI · OS sistemine yeni geliştirme alanı da getirdi.
Yapay Zeka · İşletim Sisteminin köklü ürünleştirme konsepti, Zhongtai teknolojisinin omurgası olarak bizi destekliyor TPP, TisPlus ve OpenSearch hassas konumlandırılmış öneri ve arama Zhongtai ürünleri, birçok iş birimi için büyük veri senaryoları ve temel erişim hizmetleri elde etti. Uluslararasılaşma dalgasında, AI · OS'nin sistem dağıtımı özelleştirilmiş geliştirme gerektirmez ve Tayvan'ın teknolojideki avantajları benzersizdir. Dizin güncelleme bağlantısının tasarım eksikliğinin olumsuz bir etkisi var, bu da bizi cesaretlendiriyor ve aynı zamanda AI · OS'nin temel durumunu destekliyor.
Bulutta genişleme yalnızca bir fırsat değil, aynı zamanda yapay zekanın misyonu ve nihai hedefidir. İşletim sistemi ürünleştirme. İlk motor geliştiricilerden oluşan bir grup vizyon sahibi ve benzer fikirlere sahipti ve keşfetmeye cesaret ettiler. Artık OpenSearch ve ES (yapay zeka işletim sistemi sistemine dayalı altyapı) küresel olarak uygulanıyor İki on milyonlarca arama ürününe dönüştü ve AIREC adlı akıllı bir öneri ürünü ortaya çıkmak üzere. Gelecek yıl, genel bulut büyük veri ürün matrisimizin gelirde yeni bir atılım yapması bekleniyor.
Özetlemek gerekirse, AI · OS sisteminin temel taşı Hippo'dur.Sistem için kaynakların katı sınırını belirler.Online hizmetlerin geliştirilmesi için kaynaklar gereklidir.Karma departmanı kaynaklar açısından bir kazan-kazan durumu oluşturmak için destekleyenler, sistem arkadaşlarıdır (PAI- Şu anda, Hippo'nun sınırlarını sürekli genişletiyoruz ve yakında Yarn ile birleşeceğiz hatta birleşeceğiz; Yukarıdaki Suez, sistemdeki büyük veri çevrimiçi hizmetlerinin temel çerçevesidir.Suez'in desteklenmesi sistemin bir üyesidir.İşletme ve bakım maliyetlerini büyük ölçüde düşürmenin yanı sıra çok önemlidir. Sistem verimliliğini daha da iyileştirmek için doğal olarak AIOps'un esnek genişlemesine ve daralmasına katılın; ardından iş senaryolarında özgürce çalışabilen derin öğrenme çevrimiçi hizmet sisteminin çekirdek bir üyesi olma grafik yeteneğine sahip olun.Gelecekte, tam grafik motoru ve çevrimdışı verimli yerleştirme olmasını umuyoruz. Algoritma yineleme verimliliğini önemli ölçüde iyileştirin.
Hippo'dan Suez'e (iGraph) grafik motorlara (RTP, HA3, DII) ve ardından mobil arama ve öneri sunucusu ve istemcisine ve hatta AIOps ve birkaç önemli teknik ürün TPP, TisPlus, OpenSearch'e, çekirdeğine Buradaki ipucu, AI · OS sisteminin özü olan algoritmanın yinelemeli verimliliğini optimize etmektir. AI OS'nin bugün ulaştığı alem açısından, bilgim dahilinde ona ulaşan bir meslektaşım görmedim.
AI · İşletim Sistemi ve Algoritma
Açıkça söylemek gerekirse, yapay zeka · işletim sistemi, büyük veri işinin zorlukları karşısında en fazla% 30'luk bir rol oynayabilir, bunu% 30'dan fazla çözen algoritmalar izleyebilir ve geri kalanı ürünlere ve fırsatlara bağlıdır, ancak AI-OS'nin% 30'u bir önkoşuldur. Bunu gözden kaçırmak kolaydır, Taobao'nun ilk aramalarında, son zamanlarda yapılan el yapımı öneriler sahnelendi. Bu iki alan kadar karşılıklı başarıya ulaşmaya istekli olan ve sadece birbirlerinin meslektaşlarının rütbesi, ölçeği ve bölgelerinin büyümesi için kıskançlık duyan başka teknik alanların olduğunu hayal etmek zor. AI · OS geliştirmenin temel ipucunun algoritma yineleme verimliliğini optimize etmek olduğunu daima aklımızda tutmalıyız.
AI · İşletim Sistemi ve Blink
Blink, erken AI OS gövdesinde kuluçkaya yatırıldı ve bugün genel bir gerçek zamanlı bilgi işlem motoru olarak gelişti, ancak ikisi arasındaki ilişki sonsuza kadar gerçek zamanlı iki kelimeye yoğunlaştı: AI · OS sistem motoru hizmetleri ikinci seviye veri güncellemesi gerektirir Nihai tutarlılık ve Blink, AI · OS sahnesi dışında gerçek teknik zorlukları bulamaz. Bu, Blink ekibinin neden AOP'ye ve AI · OS'nin Blink upmix departmanını coşkuyla desteklediğini, hatta Hippo ve Yarn'ı havuza indirdiğini açıklamak kolaydır. AI · OS ve Blink'in tamamlayıcı özellikleri yalnızca AI · OS ve algoritmalardan sonra ikinci sıradadır.
AI · OS ve PAI
Daha önce, PAI bağımsız olarak bir rol oynamak istiyordu ancak içeri giremiyordu. Nedeni, herkes PAI'nin Blink ile AI OS arasında bir fark olduğu konusunda hemfikir olmasına rağmen, AI OS sisteminin, özellikle Hippo'nun karma kaynak havuzunun katı taleplerini görmezden gelmesiydi. Oynamak için çok yer var. Neyse ki, üç partinin açık fikirleri nihayet kompozisyonu zımnen anladılar.Kendi kaynak havuzunu bıraktıktan sonra, PAI-TF arama ve öneri algoritmalarının tüm model eğitim görevlerini başarıyla destekledi ve ayrıca AI · OS grafik yürütme motorunu destekledi. Geleceği dört gözle bekleyen PAI-TF, AI · OS geliştirmenin temel ipuçlarında daha büyük bir rol oynayabilir.
Blink ve PAI'yi karşılaştırmak, AI · OS'nin geliştirme bağlamını ayırmak, kanunu bulmak zor değil: AI · OS, önce grubun baş müşterilerine temel sistemi geliştirmeye hizmet ediyor, ardından grubun uzun ve uzun kuyruklarına hizmet etmek için ürünleştirme yeteneğine sahip ve sonunda ürünü mükemmelleştiriyor Bir bulut hizmeti olun. Blink, baş müşterilere hizmet vermek için gerçek zamanlı bilgi işlem verimliliğini optimize etmek ve daha sonra ürünleştirme yolunda ilerlemek ve Longtail Group'ta iyi hizmet vermek için SQL'i geliştirmek için AI OS'den doğdu ve şimdi de güçlü bir şekilde bulut üzerinde geliştirildi. Geçmişte, PAI sadece grubun orta ve uzun kuyruklarına hizmet edebiliyordu. Aksine, birkaç baş müşterinin kendi eğitim platformları var. Bu kesinlikle istekli değil. Asıl sebep, PAI'nin baş müşterilerin yinelemeli ihtiyaçlarını desteklemek için yeterli olmamasıydı. Bugün, PAI-TF, AI · OS sistemiyle uyumlu olacak şekilde değişiklikler yaptığında, yapı temelden değişecek.Tamamen uygulanan PAI, hem baş hem de orta-uzun kuyruk servis yeteneklerine sahip olacak ve grup içinde birleşik bir derin öğrenme eğitim platformu elbette bir mesele olacak.
AI · İşletim Sistemi ve Grafik Hesaplama
Grafik hesaplama, bilgi işlem motoru akademisinde çılgınlığa öncülük ediyor. Çevrimdışı senaryolarda zengin teoriler var (yinelemeli hesaplama dahil). Çevrimiçi hizmetler alanına genişletmek ve daha hızlı doğrulama aramak kaçınılmazdır, ancak İnternet büyük veri teknolojisi endüstrisinde çok az klasik vardır. Kıyaslama, endüstrinin teknik yetenekleri yetersiz olduğu için mi gerçekleştiriliyor? Akademik patlamanın anlaşılması kolaydır. Grafik teorisi, sayısız kahramanı terk eden klasik bir yöntemdir ve sektördeki kıyaslama eksikliği akademik yatırımı teşvik eder. Sadece endüstride görülen büyük veri iş senaryolarının çoğu, tamamen soyutlandıktan sonra klasik grafik hesaplama problemleri değildir.Örneğin, AI · OS'nin soyutlaması, en iyi ihtimalle genelleştirilmiş bir grafik hesaplama modeli olarak kabul edilebilecek operatör akış çizelgelerinin hızlı bir şekilde özelleştirilmesidir. Bununla birlikte, AI OS sisteminin bir bölümünde, klasik grafik hesaplama teknolojisi çok fazla alana sahiptir. İGraph ve tüm sistem herhangi bir zamanda devrilmeye hazırdır, ancak yıkmadan önce, ikinci seviye veri güncellemesinin nihai tutarlılığı ile çevrimiçi hizmeti bulmanız gerekir. Hippo'dan Süveyş'e kadar yeteneğin özellikleri yavaş yavaş edinilmelidir. Sistemi entegre edip hızlı bir şekilde iGraph veya Suez'e inmek veya PAI gibi sistemle uyumlu olmak veya AI · OS sisteminden bağımsız olarak sıfırdan başlamak olsun, seçim başarıyı veya başarısızlığı belirler.
OLAP, grafik hesaplamaya benzer ve çevrimiçi olurken benzer seçeneklerle karşılaşacaktır. AI · OS yapısından bağımsız bu tür olay odaklı çevrimiçi hizmetler için, aynı zamanda bağımsız bir kaynak havuzu açmak anlamına gelir, bu nedenle yeterince benzersiz bir değer sağlaması gerekir Bunu çok net görmedim. AI OS ile yakından ilgili son teknik yön OLTP'dir. Bu nedenle, veri güncellemelerinin tutarlılığı daha yüksektir ve AI · OS bununla uğraşmayacaktır.
Grup içinde ve dışında popüler olan Graph Embedding'ın online servisler açısından grafik hesaplamayla hiçbir ilgisi olmadığı belirtilmelidir.Bu teknolojiye genelleştirilmiş bir görüntü alma uygulaması olan vektör hatırlama deniyor.Teknoloji grubu Dharma Akademi'nin makine zeka laboratuvarını gerçekleştiriyor. En göze çarpan (Polaroid'in temel teknolojilerinden biri) olan bu kısım, zaten AI · OS sistem yeteneklerinin bir parçasıdır.
