Amazon insansız mağazası oluşturmak için 36 saat Pratik eğitim + kod
Xia Yi, Geng Compile'a sordu ve
Qubit Üretildi | Genel Hesap QbitAI
İnsansız süpermarket, geleceğin trendi.
Daha önce Amazon'un Amazon Go insansız süpermarketini ziyaret etmenin nasıl bir şey olduğunu gösteren çok popüler bir video vardı. Hiç şüphe yok ki, insansız bir süpermarketin karmaşık teknik desteğe ihtiyacı var.
Şimdi, meydan okuma geliyor.
Yapabilir misin Bir buçuk günde, sıfırdan temel bir Amazon Go insansız süpermarket sistemi oluşturuldu ? Müşterilerin sorunsuz bir alışveriş deneyimi yaşamasına izin veriyor musunuz?
elbette.
Dört kişilik bir ekip, son hackathon'da böyle bir mücadeleyi tamamladı. Her şeyi 36 saatten daha kısa sürede tamamladılar ve eğitimin tamamını yayınladılar.
Öncelikle yapılması gereken / yapılabilecek her şeyi listeleyen bir dizi belge olmalıdır; daha sonra belgelere göre uygulama modüllere ayrılmıştır. "Kulübelerine" Amazon Go adını verdiler EZShop , Şu altı modülden oluşur:
EZShop'un altı bileşeni
Şimdi kullandıkları modülleri tanıtalım:
Kairos yüz tanıma API'si
Bu, EZShop'un belirli yüz bilgilerini tanıyıp depolayabilen temel bir bileşenidir. EZShop iki API'sini kullanır: / enroll ve / confirm.
/ enroll, "resim çek, içindeki yüzü bul ve bu yüzü oluşturduğun albüme kaydet" anlamına gelir.
Bu grup, müşteriler için EZShop olarak da adlandırılan bir fotoğraf albümü oluşturdu. Bir müşteri kaydolduğunda, yüz bu albümde saklanacak ve sistemin gerçek zamanlı veritabanı da müşterinin kayıt bilgilerine bir face_id gönderecek ve saklayacaktır.
Müşterinin fotoğrafını doğrulamak istediğinizde, bunu / doğrulama terminaline göndermeniz gerekir ve terminal, eşleşme olasılığı en yüksek olan bir face_id döndürür.
Gerçek uygulamalarda, TensorFlow ile bir yüz tanıma uygulaması oluşturmak bu API'den daha iyi olabilir, ancak API'nin 36 saatlik hackathon nedeniyle kullanımı çok kolaydır.
Gerçek zamanlı Firebase veritabanı
Bu aynı zamanda çok temel bir bileşendir.Tüm EZShop'ta, diğer tüm bileşenlerin onunla gerçek zamanlı olarak etkileşime girmesi gerekir. Firebase, veritabanındaki herhangi bir veri üzerinde özelleştirilmiş değişiklik dinleyicileri oluşturulmasını destekler. Basit bir kurulum süreci ile birlikte bu tür bir özellik kullanımı kolaylaştırır.
Tüm plan çok basittir. Veritabanı, aşağıdaki JSON dosya yapısında gösterildiği gibi, bir ürün grubunu ve bir müşteri grubunu depolar:
{ "öğeler": , "kullanıcılar": } > }Yeni müşteriler Kairos API üzerinden kaydolduktan sonra, kullanıcılar grubuna eklenecektir. Bir müşteri giriş ve çıkış yaptığında, mağaza yöneticisine ve kişisel Uygulama arayüzüne yansıyan mağaza içi Boole değeri güncellenecektir.
Bir müşteri bir kalem aldığında, kalem verileri güncellenecektir. Sistem, hangi müşterinin hangi ürünü aldığını belirleyebilir ve ürün kimliği müşterinin alışveriş sepeti sütununa eklenir.
Manager Uygulaması ve Müşteri Uygulaması
Ekipteki iOS geliştiricisi John, bu iki uygulamayı yalnızca 12 saat içinde yazmayı bitirdi.
Yönetici Uygulaması
Manager Uygulaması, Kairos API ve Firebase veritabanına yeni kullanıcılar ekleyebilen, ayrıca mağazadaki müşterilerin listesini ve malların envanterini görüntüleyebilen bir iPad sürümüdür. Mağaza yöneticileri, Firebase veritabanını çalıştırmak ve veritabanındaki değişiklikleri görüntülemek için bu Uygulamayı kullanabilir.
Uygulama ayrıca mağazadaki tüm mevcut kullanıcıları izleyebilir ve adlarını ve fotoğraflarını alabilir. Kullanıcı ayrıldığında, sistem mağazadaki mevcut kullanıcı listesini de gerçek zamanlı olarak güncelleyebilir.
Müşteri Uygulaması
Diğer Uygulama mağaza müşterileri içindir.
Mağazaya girmek için müşterilerin kendi fotoğraflarını yüklemeleri ve insansız mağazalarda alışveriş yapabilecek kullanıcılar olarak kaydolmaları gerekiyor. Resim, API aracılığıyla Imgur'a (yabancı bir resim paylaşım sitesi) yüklenir ve kullanıcı adıyla ilişkilendirilir.
EZShop, müşterileri bu fotoğrafa göre belirleyecektir. Müşteriler mağazaya girdikten sonra, alışveriş sepetlerinin güncellemesi hemen Uygulamada görüntülenecektir. Müşteriler mağazadan çıktıklarında, telefonlarına ne kadar harcadıklarını gösteren bir push bildirimi de alacaklar.
Raflar, sensörler ve kameralar
Bunlar, rafı tasarlayan ve ilgili Pi Python komut dosyalarını yazan Soheil ve Ruslan'dan sorumlu.
Raf kabaca şu şekildedir:
Raf
Raflarda üç parça yan yana dizilmiş, orta kuleye bir gözetleme kamerası (resimdeki cep telefonu) ve iki sıra öğenin arkasına ultrasonik sensörler yerleştirilmiştir. Ultrasonik sensör Raspberry Pi'ye bağlanır ve Raspberry Pi üzerinde çalışan Python betiği, sensör ile raftaki nesneler arasındaki mesafe okumalarını işler.
Ürün teslim alındığında, sensör okuması değişecek ve veri tabanındaki ürün envanterinin güncellenmesini tetikleyecektir.
Kulenin tepesine bağlanan cep telefonu (kamera) da olay yerindeki değişiklikleri algılayacak ve aynı zamanda malları alan müşterileri de belirleyecektir. Ardından ürün, müşterinin sanal alışveriş sepetine yerleştirilecektir.
Girişte ve çıkışta kamera
Ekip, mağazanın çıkışında ve girişinde Android telefonları yüz tanıma kamerası olarak kullandı.
İki cep telefonu bir tripoda monte edilir ve zıt yönlere bakar.Bir yön mağazaya giren müşterileri, diğer yön ise mağazadaki müşterileri tanımlamak için kullanılır.
Yüz algılama teknolojisine gelince, Google'ın yüzleri iyi algılayabilen harika bir API'si vardır.
API adresi: https://developers.google.com/vision/
Özellikle bu API, kamera ile yüz arasındaki yaklaşık mesafeyi de sağlayabilir. Müşteri yeterince yaklaştığında, kamera bir fotoğraf çeker ve doğrulama için Kairos API'yi kullanır ve ardından müşterinin mağazadaki durumunu güncellemek için Firebase veritabanıyla senkronize olur. .
Müşteri tanımaya ek olarak, sistem ayrıca kullanıcı deneyimini daha da geliştiren kişiselleştirilmiş sesli selamlar ekler.
Etkisi şudur:
Müşteri mağazadan ayrıldıktan sonra, Android uygulaması müşterinin hangi ürünleri satın aldığını tespit edecek, toplam tüketimi hesaplayacak ve fatura ayrıntılarını Firebase bulut mesajı aracılığıyla müşterinin kişisel Uygulamasına aktaracaktır.
sonuç olarak
36 saatlik hackathon'da, bu projenin ekibi sadece yaklaşık 6 saat uyudu, birçok engeli aştı ve bazı çözülmemiş sorunları aştı.
Çabaları boşuna değildi ve bu proje sonunda birinciliği kazandı.
Yüzlerce kişi bu hızlı inşa edilen insansız süpermarkete girip malları aldı ve ardından mağazadan ayrıldı, sonra yerleşip hesabı aldı. Tüm süreçte kasiyerlere veya kuyruğa girmeye gerek yok ...
Bu proje açık kaynaktır, eğer kendinizle oynamak istiyorsanız ... İşte GitHub adresi:
https://github.com/subhan-nadeem/EZShop
Orijinal adres: https://www.docdroid.net/file/download/Dh4A6aQ/amazon-go-implementation.pdf
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! Ayrıntılar için, lütfen QbitAI diyalog arayüzünde "işe alım" kelimesiyle yanıt verin.
Qubit QbitAI · Toutiao İmzalama Yazarı
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
