İlk açıklama! Polaroid teknolojisi çerçevesi ve çekirdek algoritması, günlük ortalama UV 10 milyonu aşıyor
Yazar: Kai Pan, Yuan Jie, Ying Asia, daha az beyaz, negatif günler
Takım: iDST-Vision Technology-Polaroid
Alimei's Guide: Son zamanlarda Google mühendisleri Arirang'ın ayakkabılarına neden deli oluyor? Bu makale dikkat çekti ve "Polatao" ile temsil edilen bilgisayar grafik teknolojisi sektör tarafından övgüyle karşılandı. Görsellere göre görsel arama, kullanıcılara internette görsel içeriği veya görsel özellikler arayarak ilgili görsel bilgisi alma hizmetleri sunan profesyonel bir arama motorudur ve arama motorlarının bir alt bölümüdür.
Mobil terminalde resimli resimleri aramak, nesilden nesile imaj insanlarının hayalidir. 1990'lardan beri, akademi ve endüstri birçok çaba ve girişimde bulundu. Polaroid, 2014'teki ilk lansmanından bu yana, ürün teknolojisinin sürekli iyileştirilmesiyle her gün 10 milyondan fazla UV'ye sahip bir Taobao uygulaması haline geldi. İş göstergeleri büyürken, sektör lideri görsel arama algoritmaları hızlandırıldı.
Amacımız, yalnızca resimlerle resim arayan kullanıcıların merakını gidermek değil, aynı zamanda kullanıcıların fotoğraf çekerek, alışveriş sürecini basitleştirerek ve gerçek ticari değer için resimlerle resimlere izin vererek Taobao'da aynı veya benzer öğeleri aramasına olanak sağlamaktır.
Polaroid'in mevcut işletme durumu
Polaroid'in 2014 yılında piyasaya sürülmesinden bu yana, günde birkaç yüz UV'den günde 10 milyondan fazla UV'ye çıktı. Polaroid'in sürekli büyümesi, tüketicilerin Yitu Soutu e-ticaret aramasını tanımasının bir işaretidir. Metin aramaya dayalı geleneksel e-ticaret aramasıyla karşılaştırıldığında Polaroid, kullanıcıların yalnızca ellerinde fotoğraf çekmesini gerektirir, sıkıcı metin açıklamalarını ortadan kaldırır, kullanıcının alışveriş sürecini basitleştirir ve e-ticaret alışveriş deneyimini büyük ölçüde iyileştirir.
Polaroid'in girişi ve deneyimi aşağıdaki gibidir:
Polaroid şu anda Taobao'nun neredeyse tüm fiziksel kategorilerini kapsar: giysiler, ayakkabılar, çantalar, şişeler, aksesuarlar, mobilyalar, elektronik eşyalar, atıştırmalıklar, güzellik, meyveler vb.
Polaroid'in görüntü arama ve tanıma teknolojisi, Ali Group'tan çıktı ve grup dışındaki şirketlere ihraç edildi. Örneğin, Samsungun amiral gemisi olan S8, kameralar ve fotoğraf albümleri için sistem düzeyinde Polaroid'i entegre ediyor.
Yurtdışında bulunan müşteriler, AliExpress'teki entegre fotoğraf alışveriş işlevi aracılığıyla fotoğraf alışverişi rahatlığının da tadını çıkarabilirler.
Polaroid'in teknik çerçevesi
Polaroid'in tipik bir teknoloji sürücüsü var Son üç yılda, teknolojik atılımlar yoluyla sürekli olarak işin büyümesini denedik.
Çevrimdışı süreç : Esas olarak, ürün seçimi, çevrimdışı paspaslama, çevrimdışı özellik çıkarma ve dizin oluşturmayı içeren Polaroid'in günlük çevrimdışı dizin kitaplığı oluşturma sürecini ifade eder. Yürütmeden sonra, çevrimiçi galeri her gün belirtilen saatte güncellenecektir.
Çevrimiçi süreç : Esas olarak, bir kullanıcı bir sorgu görüntüsünü nihai dönüş sonucuna yükledikten sonra, çevrimiçi kategori tanıma, çevrimiçi örtüleme, çevrimiçi özellik çıkarma ve çevrimiçi dizin sorgusu gibi temel adımlar dahil olmak üzere tüm ara süreci ifade eder.
Bebek seçimi
Alibaba Group, e-ticaret alanının tüm yönlerini kapsayan, ana resimler, SKU'lar, ikincil resimler, tek resimler ve ayrıntılı bebek resimleri dahil olmak üzere çok sayıda ürün kategorisine ve resmine sahiptir. Bu devasa resimlerden en sevilen ve en çok aranan bebeği nasıl seçeceğiniz çok ilginç bir iş.
İlk olarak, tüm Taobao görsel kitaplığını alışveriş tercihlerine ve kalitesine göre filtreleyeceğiz; çünkü Taobao'da çok fazla aynı veya oldukça benzer hazineler var, bununla ilgilenmezseniz, son arama sonuçlarında çok sayıda aynı hazineler olacak ve kullanıcı deneyimi çok zayıf. . Bu nedenle, filtrelemeden sonra bir resim tekilleştirme modülü ekledik, amaç aynı veya çok benzer bebekleri tekilleştirmek ve son ekranı optimize etmek; son olarak, son dönemde aktivite yapan bebeklere operasyonlar eklemek için operasyonel gereksinimleri birleştireceğiz. işaret.
Kategori tahmini
Polaroid Taobao kategorisi, Taobao yaprak kategorisinin bir sınıflandırmasıdır.Belirli bir görsel benzerliği ve belirli bir anlamsal benzerliği dikkate almak gerekir. Kategori sistemi sadece teknik bir sorun değil, aynı zamanda bir iş sorunudur (tüketici farkındalığına yardımcı olur). Şu anda Polaroid, tüm yaprak kategorilerini kapsayan 14 kategoriye sahiptir.
Kesmek
Ürünün arka planı karmaşık olduğundan ve özne genellikle küçük olduğundan, büyük miktarda arka plan girişimini ve birden çok öznenin etkisini azaltmak için, arama hedefini görüntüden çıkarmak gerekir. Aşağıdaki iki resim, kullanıcının sorgusu için konu tespiti ile konu tespit edilmemesi arasındaki arama sonuçlarındaki farkı yansıtmaktadır.
İlk resim kesintiye bağlı değil.Arama sonuçlarındaki arka plandaki parazit, yeşil arka planların görünmesi ile daha belirgindir ve kullanıcıların gerçekten ilgilendiği ana giysilerin arama kalitesi çok zayıftır. İkinci görsel kesildikten sonra, arama sonuçları önemli ölçüde iyileştirildi ve ana giysilerin eşleşme derecesi çok yüksek.
Görüntü özelliği
Polaroid görüntü özellikleri, derinlik özelliklerini ve yerel özellikleri içerir.
Derinlik özelliği : Derin öğrenme çerçevesine göre öğrenilen resim temsili. Şu anda, derin öğrenme görüntü, konuşma ve diğer alanlarda büyük atılımlar yapmıştır.Derin öğrenmeye dayalı görüntü temsili, birçok görevde geleneksel görüntü özelliklerini geride bırakmıştır. Polaroid, projenin en başından beri derinlemesine özellikler üzerinde çalışmaktadır ve bu alanda birçok deneyim biriktirmiştir, bu da özellikleri Polaroid'in temel rekabet gücünden biri haline getirmiştir.Ayrıntılar için lütfen sonraki bölümlere bakın.
Yerel özellikler : Yerel özellik, görüntü özelliğinin yerel ifadesidir, görüntünün yerel özelliğini yansıtır. Polaroid, ortak yerel özellikler temelinde iyileştirmeler yapar.Sadece boyutsal sıkıştırma yapmakla kalmaz, aynı zamanda eşleştirme doğruluğunun azalmamasını sağlarken ekstraksiyon hızını da optimize eder.
Arama dizini
İndeksleme süreci çevrimdışı ve çevrimiçi olmak üzere iki bölüme ayrılabilir. Çevrimdışı süreç, ürünün görüntü özellikleriyle ilgili bir dizin oluşturur ve çevrimiçi süreç, kullanıcı sorgusunda dağıtılmış hızlı bir sorgu gerçekleştirir.
Çevrimiçi sorgulama süreci temel olarak şunlara ayrılmıştır: kaba hatırlama > Ürün geri çağırma- > Avrupa tipi > İnce sıra.
Polaroid şu anda birkaç milyarlarca dizin verisine sahiptir. Çevrimiçi sorgunun doğruluğunu sağlarken bir dizinin verimli bir şekilde nasıl oluşturulacağı çok zor bir görevdir. Polaroid bu alanda çok fazla çalışma yaptı. Ayrıntılar için sonraki bölümlere bakın.
Çeşit
Derinlik özelliği, anlamsal boşluğa odaklanarak yüksek seviyeden bilgi alır; yerel özellik, görüntünün yerel bilgilerine odaklanır. İkisi etkili bir şekilde birleştirilir ve birbirini tamamlarsa, hem anlamsal benzerlik hem de yerel detayların eşleşmesi garanti edilebilir.Bu nedenle, indeks geri çağırmadan sonra, derinlik özelliklerini ve yerel özellikleri birleştirmek için başka bir sıralama yapacağız. . Derin özelliklere ve yerel özelliklere farklı ağırlıklar atamak için bir sıralama işlevi öğreneceğiz ve nihai puana göre dizin getirisi sonuçlarında ikincil sıralama gerçekleştireceğiz.
Yukarıdakiler, Polaroid'in çeşitli modüllerinin tanıtımıdır.Aşağıda, Polaroid'in üç temel teknolojisini açıklayacağız: gerçek çekim görüntülerinin doğruluğunun iyileştirilmesi; süper büyük ölçekli vektör geri alma indeksi; ve daha fazla açıklama için mobil terminal DL.
Polaroid çekirdek teknolojisi
Gerçek çekimlerde atılım
Gerçek olmayan çekimler, çoğunlukla Taobaobaobei'nin orijinal resimlerinden olan net çekimleri ve basit arka planları olan resimleri ifade eder. Bu tür resimler için Polaroid'in doğruluğu çok yüksek. Bununla birlikte, görüntüleri resme göre aramanın ticari bir uygulaması için, asıl zorluk, kullanıcının sorgusunu açıklayan çok sayıda gerçek çekim görüntüsünden kaynaklanmaktadır.Bu tür görüntüler ile gerçek olmayan görüntüler arasında büyük bir boşluk vardır ve bunların ışıklandırma, açı ve çoklu nesneler gibi çeşitli sorunları vardır.
Gerçek çekimlerde iyi bir iş çıkarmak için Polaroid, tüm kategorilerde çok önemli iyileştirmelerle atılımlar yapmaya devam etti.
1. Veri "üç fitlik zemin"
Veriler açısından, Polaroid Tao günlük verilerini, gönderi verilerini ve ana arama i2i verilerini kullandık. Ve özellik eğitimi için ilgili derin öğrenme modelini oluşturun.
-
Polaroid sahnesinde, kullanıcı tıklamaları gibi etkili davranışların çoğunun aynı model için olduğunu bulduk, bu nedenle özellik eğitimi için PVLOG, filtre gürültüsü ve form üçlüsü oluşturuyoruz. Polaroid, her gün büyük görüntü verileri üretir.Gerçek çekim görüntülerine dayalı derin bir ikili sıralama özelliği öğrenme çerçevesi oluşturarak, gerçek çekim görüntülerinin arama etkisi büyük ölçüde geliştirilir.
-
Tek resim, kullanıcı tarafından çekilen gerçek resmin bir tahmini olarak kullanılabilir. Şu anda, Taobao'da kullanıcılar tarafından yüklenen çok sayıda poster var, ancak posterler çok fazla gürültü verisi içeriyor. Önce benzerlik matrisi aracılığıyla düşük benzerliğe sahip gürültü verilerini filtreleyeceğiz. Daha sonra aynı sınıflandırmaya sahip bir sınıflandırıcı eğitiyoruz ve ortaya çıkan özellikler gerçek çekimlerin doğruluğunu artırabilir.
-
Çünkü aynı kullanıcı tarafından aynı zaman diliminde tıklanan bebeklerin belli bir benzerliği vardır. Ana aramanın i2i tıklama verilerini inceleyerek, derin öğrenme için sanal bir etiket oluşturarak elde edilen orta düzey ifade, benzerlik sıralaması için bir özellik temsili olarak da kullanılabilir.
-
Özelliklerin etkilerini iyileştirerek gerçek çekimlerin doğruluğunu iyileştirmenin yanı sıra, gerçek çekimlerin etkilerini iyileştirmenin bir başka yolu da veri alanımızı genişletmek için gerçek çekimleri kullanmak ve tüm görüntü arama sistemini daha akıllı hale getirmektir. Aşağıdaki şekilde gösterildiği gibi, veri alanı ana görüntü + tek görüntü + LOG görüntüsü ile genişletilir ve mesafe ölçümü aynı modelin oranını artırmak için kullanılabilir.
2. Derin öğrenmeyi yükseltin
Derin öğrenme açısından, Loss işlevi, ağ yapısı ve özellik sıralama çerçevesi aracılığıyla yenilikler ve atılımlar yapmaya devam ediyoruz.
-
İlk olarak, derin özelliklerimizi öğrenmek için derin çift yönlü sıralama özelliği öğrenme çerçevesini kullanıyoruz:
Özelliğin etkisini sağlamak için pozitif / negatif örnek ile sorgu arasındaki mesafe farkını en üst düzeye çıkarın.
-
İkinci olarak, ince sıranın derinlik özelliklerini eğitmek için nitelik etiketini ve sanal etiket eğitim çerçevesini kullanıyoruz:
-
Ek olarak, kategori tanıma açısından, sınıflandırma doğruluğunu daha da iyileştirmek için hiyerarşik kategori tanımayı benimsiyoruz:
Polaroid'in ana kategorilerine ek olarak, birinci seviye kategori ve yaprak kategorileri de çok görevli eğitimdir. Bu çok görevli hiyerarşik yapı, Polaroid kategori tahmininin doğruluğunu daha da artırabilir.
Çok büyük ölçekli vektör alma indeksi
Daha fazla ve daha geniş veri kaynaklarını kapsayabilmek için, on milyarlarca veriyi barındırabilen bir Polaroid oluşturmalıyız. Karşılaştığımız zorluklar arasında şunlar yer alır: özellik çıkarma ve özellik boyutluluğunu azaltma; çevrimdışı dizin oluşturma ve sorgu hatırlama garantisini hızlandırma .
-
Özellik çıkarımının hızlandırılması ve boyutunun azaltılması
Veri miktarı on milyarlarca düzeye ulaştığında, özellik çıkarma verimliliği yüksek değilse, çevrimdışı özellik çıkarma süresi çok uzar; ikincisi, sabit disk ve belleğin çevrimiçi motorda depolanması da bir sorundur.
Bu sorunu çözmek için, özelliklerin doğruluğunu sağlamak şartıyla, derin öğrenme ağı çerçevesini ayarlayarak Polaroid'in özelliklerinin boyutunu orijinalin 1 / 4'üne sıkıştırdık ve evrişim, paralel hesaplama vb. İle hızlandırdık. Strateji hızı ikiye katladı.
-
Çevrimdışı dizin oluşturma hızı ve sorgu geri çağırma garantisi
Veri hacminin aşırı büyümesi, çevrimdışı dizin oluşturma için de bir zorluktur. Polaroid'in 6KW verilerini ilk işlenmesi, 10 saatten fazla optik kümeleme gerektirir ve başarısızlık oranı çok yüksektir. Ek olarak, veri hacmindeki artış, motor geri çağırmalarında sürekli bir düşüşe neden olacaktır.
Çevrimdışı indeks yapısının verimliliği açısından, ilk olarak ürün nicelemesini ve kaba nicelendirmeyi hızlandırmak ve kaynak tüketimini orijinalin 1 / 3'üne düşürmek için grafik hesaplama çerçevesini kullanıyoruz; aynı zamanda, etkiyi sağlama öncülüğünde orijinal K araçlarını optimize etmek için Onepass K araçlarını kullanıyoruz. , Bu da kümeleme süresini büyük ölçüde azaltır. Çevrimdışı indekslemenin genel verimliliği 10 kattan fazla artmıştır.
Motorun geri çağrılması için, ilk olarak "yaklaşık kaba nicelemeyi" gerçek bir kaba nicelendirmeye optimize ediyoruz ve geri çağırma süresini artırmadan merkez noktasını artırma etkisini elde etmek için ürün merkezini kaba merkeze yaklaştırmak için kullanıyoruz. Çoğu Polaroid kategorisinde, indeks hatırlamamız ve doğrusal hatırlamamız temelde aynıdır.
Ayrıca mühendislik yapısının optimizasyonu da çok önemlidir. Çevrimdışı sistemin optimizasyonu, her algoritma modülünün zamanlama mekanizmasının optimizasyonu ve performansın iyileştirilmesi de dahil olmak üzere tüm Polaroid süreci için çok önemlidir. En yeni çevrimdışı sistem, kaynak kullanımını en üst düzeye çıkarmak için zaten karma kümeleri desteklemektedir.
Mobil DL
İleri teknoloji cep telefonlarının artan popülaritesiyle, giderek daha fazla görev doğrudan mobil terminalde gerçekleştirilebilir ve bu yalnızca görüntü yüklemenin neden olduğu zaman gecikmesini azaltmakla kalmaz, aynı zamanda sunucu tarafındaki bilgi işlem maliyetini de azaltır.
Şu anda Polaroid, mobil terminalde kategori tahmini ve nesne algılamayı başlattı ve gelecekte mobil terminale daha fazla görev yerleştirilecek. Kullanılan temel teknolojiler arasında evrişimin hızlandırılması, DL ağ kırpılması ve model sıkıştırması vb. Yer alır.
Sonunda yazılı
Polaroid Tao - Algoritmaların / mühendisliğin / ürünlerin tam işbirliği, algoritmaların üçlüsü, veriler ve hesaplamalar ve çok sayıda kullanıcı sayesinde resimli görüntüleri arama sonuna kadar geldi. Şu anda, kullanıcının kamera arama ihtiyaçları kısmen çözülmüştür, ancak yine de kullanıcının ihtiyaçlarını tam olarak karşılamaktan belli bir mesafe vardır. Proje ekibi sürekli olarak her açıdan optimize ediyor ve geliştiriyor.
Çekirdek yazarlara giriş
Qi Pan, şu anda Alibaba'nın kıdemli algoritma uzmanı / teknik direktörü. Polaroid Taoyitu'nun algoritma liderlerinden ve başlangıç çekirdeklerinden biridir. Araştırma alanları şunları içerir: derin öğrenme ve bilgisayarla görme. Chicago'daki Illinois Üniversitesi'nden doktora derecesi ile mezun oldu Ali'ye katılmadan önce Mitsubishi Araştırma Enstitüsü ve Pekin'deki Fujitsu Ar-Ge Merkezi'nde görsel Ar-Ge'de çalıştı.
