Academia Megvii Technology, yeni perakende otomatik kasiyer senaryolarının uygulanmasını teşvik etmek için en büyük ürün tanımlama veri setini yayınladı
Yakın zamanda, Nanjing Megvii Bilim ve Teknoloji Araştırma Enstitüsü, alandaki en fazla sayıda görüntü ve kategoriye sahip, akademik dünyadaki en büyük ürün tanımlama veri seti olan RPC'yi yayınladı. Aynı zamanda veri seti, yeni perakende ortamı için yeni bir problemi, yani gerçek perakende yerleşim sahnesini simüle eden görsel otomatik çıkış (ACO) tanımlar. Ek olarak, ACO görevleri için eksiksiz bir Temel Yöntemin yanı sıra "tüm sipariş doğruluk oranı" cAcc ile temsil edilen bir dizi değerlendirme göstergesi ve ayrıca doğrudan kurulabilen bir Python sürümü değerlendirme aracı verilir. Aynı isimli GitHub projesinin ana sayfasında Liderler Panosu var. Listeyi yenilemek için herkese hoş geldiniz!
Makaleye bağlantı: https://arxiv.org/abs/1901.07249
Proje bağlantısı: https://rpc-dataset.github.io/
Perakende sektörü, kasiyer ödemelerinin nispeten yüksek bir maliyet oluşturduğu emek yoğun bir sektördür. Derin öğrenmenin gelişmesiyle birlikte, perakende sektöründe maliyetleri düşürmek ve verimliliği artırmak için görüntü tanıma teknolojisinin kullanılması genel bir eğilim haline geldi. Otomatik çıkış (Otomatik Çıkış / ACO), yazar kasa sahnesinin görüntüsüne dayalı bir hesap görme listesi oluşturmayı amaçlayan temel senaryolardan biridir ve bilgisayarla görme teknolojisi ile entegrasyon derinleşmeye devam etmektedir.
CV teknolojisi + senaryosu asla düzgün bir yol değildir. Görüntü tanıma perspektifinden bakıldığında, ACO'nun inişi hem verinin kendi sorununu hem de model eğitiminin faktörlerini içeren Jin Ji ile dolu. Son olarak, dört boyutla ilişkilendirilebilir: 1) büyük ölçekli, 2) ince taneli, 3 ) Az sayıda ve 4) alanlar arası.
Yukarıdaki sorunlara rağmen, ACO hala potansiyel araştırma ve ticari değere sahiptir. İyi etiketlenmiş bir veri seti varsa, bu sorun çözülebilir. Bu amaçla, Megvii Teknoloji Nanjing Araştırma Enstitüsü, yeni perakende otomatik yazar kasa sahnesinin araştırmasını ve teknolojik ilerlemesini teşvik etmek için en büyük ürün tanımlama veri seti olan RPC'yi (Perakende Ürün Kontrol Etme) oluşturdu.Ürün kategorileri 200 kadar yüksek. Toplam miktar 83 bin olup, perakende ortamını gerçek anlamda simüle eder ve aslına uygunluk mevcut benzer veri setlerini aşarken, ACO sorunlarının ayrıntılı özelliklerini tam olarak yansıtır.
Şekil 2: Benzer veri kümelerine kıyasla RPC veri kümesi.
RPC veri setinde iki tür görüntü vardır: 1) sınırlı bir ortamda çekilmiş ve yalnızca çevrimiçi alışveriş ürün görüntüsüne karşılık gelen tek bir ürün içeren örnek bir görüntü; 2) Kullanıcı satın alımlarını içeren ödeme görüntüsü Sahnedeki çoklu mallar, araştırmacıların algılama veya sayma gibi ilgili alt problemleri çözmelerine yardımcı olur.
Veri kümesinin karşılaştırması halen devam etmektedir ve şu anda en iyi temel, Cycle-GAN tabanlı veri sentezi yönteminden gelmektedir.
ACO misyonu
Bir müşteri mağazaya girdiğinde ve satın alınacak ürünleri kasaya koyduğunda, ideal bir ACO sistemi, Şekil 1'de gösterildiği gibi her ürünü otomatik olarak tanımlayabilir ve tek seferde doğru bir alışveriş listesi verebilir.
Şekil 1: ACO diyagramı.
Bu nedenle, ACO, esasen her ürünün herhangi bir ürün kombinasyonunda ortaya çıkmasını tanıyan ve sayan bir sistemdir.
Genel olarak konuşursak, performansı sağlamak için, ACO tanıma sistemini eğitmek için kullanılan görüntünün gerçek kasiyer sahnesi ile tamamen aynı olması gerekir. Bununla birlikte, çok sayıda ürün kategorisi ve sürekli güncellemeler nedeniyle, tanıma modelinin tüm ürün kombinasyonlarını tüketmesi gerçekçi değildir.Bu nedenle, uygulanabilir bir çözüm, belirli bir ortamda tek bir ürün görüntüsünün toplanması ve gerçek yerleşimde yeniden kullanılmasıdır. .
RPC veri kümesi özellikleri
Megvii tarafından önerilen RPC veri kümesinin altı özelliği vardır.
büyük: Resim sayısına veya ürün türüne (SKU) bakılmaksızın, RPC alanında en iyisidir: 200 SKU ve 83.739 resim, bunlardan 53.739'u tek ürün resmi ve 30.000'i yerleşim resmi.
Alanlar arası: RPC'deki görüntü verileri iki forma bölünmüştür: tek ürün görüntüsü ve yerleşim görüntüsü. Modelin tek ürün grafiği üzerinde eğitilmesi gerekir, ancak gerçek test ortamı yerleşim grafiğidir.
Şekil 3: Tek ürün şeması.
Şekil 4: Yerleşim diyagramı.
gerçek: Yerleşim çizelgesini oluştururken ve toplarken, emtia kategorisine, emtia sayısına, yerleştirme açısına ve tıkanmaya ve diğer faktörlere bakılmaksızın gerçek perakende ortamını olabildiğince simüle etmeye çalışın. Gerçek kasiyer sahnesine yakın.
Seviye: 200 ürün kategorisi, doğal olarak hiyerarşik bir yapı oluşturan ve ileri eğitim için yardımcı denetim bilgisi olarak kullanılabilen 17 ürün kategorisine (hazır erişte, mendil, içecek vb.) Aittir.
Şekil 6: 17 emtia kategorisi.
Zorluk: Yerleşim tablosu için üç zorluk seviyesi tasarlanmıştır: Kolay, Orta ve Zor. Dahil edilen ürün kategorilerinin sayısı ve miktarı şunlardır:
Tablo 2: Yerleşim haritasının üç zorluk seviyesi.
Güç: Denetim bilgisi düzeyinde, her bir RPC yerleşim tablosu için zayıf (Alışveriş Listesi) ila orta (Nokta) ve güçlü (Ürün BBox) olmak üzere üç tür yoğunluk denetimi bilgisi sağlıyoruz.
Şekil 5: Yerleşim haritasının üç tür yoğunluk denetim bilgisi.
RPC veri kümesi karşılaştırması
ACO temel yöntemi
Megvii, bu makalede 1) Single, 2) Syn, 3) Render ve 4) Syn + Render olmak üzere dört ACO temel yöntemi önermektedir.
Yalnızca RPC veri kümesinin tek ürün görüntülerinin etiket bilgilerini kullanın ve bu tek ürün görüntülerini doğrudan eğitim için kullanın. Bu strateji, Tek olarak adlandırılan ilk temel yöntemdir. Ek olarak, bu yazıda kullanılan detektör, Backbone'un özellik piramit ağı FPN'si olan ResNet101'dir.
Kesilen öğeleri arka planda rastgele yapıştırarak 10.000 yerleşim haritasını sentezleyerek ve ardından bunları detektörü eğitmek için kullanarak, bu Syn olarak adlandırılan ikinci temel yöntemdir.
Yukarıda sentezlenen yerleşim grafiğini daha gerçekçi hale getirmek için Megvii, Şekil 9'da gösterildiği gibi sentezlenmiş grafiği dönüştürmek için Cycle-GAN'ı kullanır. Ardından, dedektörü eğitmek için bu 10.000 işlenmiş görüntüyü kullanın. Bu, İşleme olarak adlandırılan üçüncü temel yöntemdir.
Şekil 9: Sentetik yerleşim tablosu ve işlenmiş yerleşim tablosu karşılaştırması örneği.
Ayrıca, dedektörü eğitmek için sentetik görüntüleri ve işlenmiş görüntüleri karıştırabilirsiniz Bu, Syn + Render olarak adlandırılan dördüncü temel yöntemdir.
ACO görevi için önerilen tüm yöntemin boru hattı Şekil 10'da gösterilmektedir:
Şekil 10: Temel yöntem boru hattı.
Deneysel sonuçlar
Deneysel sonuçlara girmeden önce, optimal değerlendirme göstergelerinin geleneksel tespit görevindeki mAP50, mmAP ve diğer göstergeler değil, bu makalede önerilen cAcc (Checkout Accuracy), yani bir görüntüdeki tüm ürünlerin doğru doğrulanması olduğuna dikkat edilmelidir. Basit bir ifadeyle, doğruluk "tüm siparişin doğru oranı" dır.
Burada, RPC veri setindeki ACO görevinin deneysel sonuçları, Tablo 3'te gösterildiği gibi yukarıda bahsedilen Kolay, Orta ve Zor modlara göre test edilir:
Tablo 3: Deneysel sonuçlar.
Araştırma Görünümü
RPC veri kümesi çapraz etki alanı algılama yöntemi ACO sorununu çözmek için uygun olsa da, diğer yöntemlerin uygulanabilir olmadığı anlamına gelmez. Diğer araştırma yönergeleri de RPC veri kümesinden ilham alabilir:
ACO problemlerini çözmek için çevrimiçi öğrenme. Gerçek perakende sahnesinde, mal türleri sürekli olarak yenilenecektir. Çevrimiçi öğrenme kullanışlı olduğunda, modeli yeniden eğitmeden hızla yinelemek birincil sorun haline gelir.
ACO görevine olası bir çözüm, emtia tespit teknolojisine başvurmadan doğrudan yerleşim planından bir emtia listesi elde etmektir. Bu aslında ACO problemini bir madde sayma problemine dönüştürür.
Yerleşim tablosunun izleme bilgilerini kullanın. RPC veri seti, farklı yerleşim grafiği denetim bilgisi seviyelerine sahiptir.ACO görevini daha iyi tamamlamak için nasıl kullanılacağı hala daha fazla çalışmaya değer.
Diğer bilgisayarla görme görevleri için tamamlayıcı bir veri seti olarak. RPC veri seti ACO problemi için tasarlanmış olsa da, ürünle işaretlenmiş olan yer gerçeği konumlandırma / sınırlama kutusu, nesne alma, az atış / zayıf denetim / tam denetimli nesne algılama alanlarında araştırmalar için de uygundur.
sonuç olarak
Bu makalede Megvii, akademik dünyadaki en büyük ürün tanımlama veri seti olan RPC'yi yayınladı ve ACO görevlerini ve ilgili değerlendirme göstergelerini tanımladı. RPC veri seti, iki tür tek ürün görüntüsü ve yerleşim görüntüsü dahil olmak üzere 200 ürün kategorisi, 83.739 görüntü içerir ve farklı denetim güçlerine sahip etiketlerle donatılmıştır. Bu veri setiyle, bu makale ACO problemini açıkça tanımlıyor ve bu veri setini dört temel yöntem kullanarak karşılaştırıyor. Deneysel sonuçlar, bu veri setinde ACO'nun iyileştirilmesi için hala çok yer olduğunu göstermektedir. Veri seti aynı zamanda çoklu potansiyel araştırma yönleri için de uygundur.
Tıklamak Orijinali okuyun , 10 bildiri + 5 dünya ilkini görüntüleyin, Megvii Technology ECCV'nin yolculuğunu hatırlayın
