Tarayıcıda çalışıyor: TensorFlow, saniyede 25 kare hızında 24 parça içeren gerçek zamanlı bir karakter segmentasyon modeli yayınlar
İçbükey tapınaktan yarılmış kestane
Qubit Üretildi | Genel Hesap QbitAI
TensorFlow açık kaynaklı bir gerçek zaman Karakter segmentasyon modeli BodyPix .
Bu model tarayıcıda kullanılıyor TensorFlow.js Koşabilir.
ve, Kare hızı Varsayılan ayarlar altında hala çok etkileyici:
201815 inç MacBook Pro ile saniyede 25 kare hızında çalıştırın. İPhone X ile saniyede 21 kare hızında çalıştırın.Tel üzerinde unutmayın Demo Oynayabilirsin.
Nasıl bölünür
BodyPix'in gözünde insan vücudu ikiye ayrılabilir. 24 konum . Örneğin sol el, sağ ön baldır, sırt vb.
Her piksel için, modelin önce insan vücudunun bir parçası olup olmadığını belirlemesi gerekir.
İnsan vücuduna ait olduğuna karar verilirse, insan vücudunda nerede olduğunu ayırt edin:
Bu şekilde siyah siluet renkli bir segmentasyon sonucu olur.
Yemeye başla
Şimdi bu modelin nasıl kullanılacağına daha yakından bakalım.
Öncelikle, diğer modellerle eşleştirilmediği takdirde BodyPix'in yalnızca aşağıdakiler için uygun olduğu açıktır. Tek görüntü .
Bölüm 1: İçe Aktarma
Npm install @ tensorflow-models / body-pix ile kurun ve ardından içeri aktarmak için es6 modülünü kullanın:
'@ Tensorflow-models / body-pix'den bodyPix olarak 1 içe aktarma *; 23async function loadAndUseBodyPix () { 4 sabit net = bodyPix.load (); 5 // BodyPix modeli yüklendi 6}Veya yemek yemek için sayfadaki paketi kullanın, böylece yüklemeye gerek kalmaz:
1 < html > 2 < vücut > 3 < ! - TensorFlow.js'yi yükle - > 4 < script src = "https://cdn.jsdelivr.net/npm/@tensorflow/tfjs@0.13.3" > < /senaryo > 5 < ! - BodyPix'i yükleyin - > 6 < script src = "https://cdn.jsdelivr.net/npm/@tensorflow-models/body-pix" > < /senaryo > 7 bodypix.load (). Sonra (function (net) { 8 // BodyPix modeli yüklendi 9}); 10 < /senaryo > 11 < /vücut > 12 < / html >Bölüm II A: İnsanları kesin
Burada, pikselleri insanlara ve insan olmayanlara bölün.
Her piksel için bir 0-1 Arasındaki değer.
Ardından bir eşik (ör. 0,5) ayarlayın. Eşiğe eşit veya daha büyük değerler dikkate alınır 1 , Küçüktür 0 olarak kabul edilir.
Bu görevi gerçekleştirmek üzere estimatePersonSegmentation adlı bir API'yi çağırmak için:
1const imageElement = document.getElementById ('resim'); 23 // BodyPix modelini bir kontrol noktasından yükleyin 4const net = bodyPix.load (); 56 // kişi segmentasyonunu tahmin etmek için argümanlar. 7const outputStride = 16; 8const segmentationThreshold = 0.5;Bölüm B: Vücut bölümlerini ayırt edin
0-23 sayılarına karşılık gelen 24 vücut parçası. İnsan olmayan vücut -1'dir.
Burada, adlı başka bir API'yi çağırmak için estimatePartSegmentation :
1const imageElement = document.getElementById ('resim'); 23 // BodyPix modelini bir kontrol noktasından yükleyin 4const net = bodyPix.load (); 56 // vücut bölümü segmentasyonunu tahmin etmek için argümanlar. 7const outputStride = 16; 8const segmentationThreshold = 0.5; 910 // kişi segmentasyon modelini bir kontrol noktasından yükleyin 11const net = bodyPix.load (); 1213const partSegmentation = net.estimatePartSegmentation (imageElement, outputStride, segmentationThreshold);Daha ayrıntılı yeme adımları için lütfen makalenin altına gidin Blog Portal.
Birden fazla kişi olabilir mi?
BodyPix yapabiliyorsa ve Kişi dedektörü Kombine kullanım, yapabilirsiniz Çok oyunculu Görevi bölün:
Önce herkesi bir kutuya koyun ve ardından her kutuyu bölün.
Ancak kendi çabalarıyla BodyPix birçok kişiyi geçici olarak idare edemez.
Bununla birlikte, bir tarayıcıda çalışabilen gerçek zamanlı bir model için, tek bir kişi için saniyede 25 kare zaten mükemmel.
Açık kaynak modellere ek olarak, TensorFlow ekibi ayrıca çevrimiçi Demo , Kamerayı açın ve şunları oynayabilirsiniz:
Demo portalı:
https://storage.googleapis.com/tfjs-models/demos/body-pix/index.html
BodyPix portalı:
https://github.com/tensorflow/tfjs-models/tree/master/body-pix
Blog portalı:
https://medium.com/tensorflow/introducing-bodypix-real-time-person-segmentation-in-the-browser-with-tensorflow-js-f1948126c2a0
- Bitiş -
Samimi işe alım
Qubit, editörleri / muhabirleri işe alıyor ve merkezi Pekin, Zhongguancun'da bulunuyor. Yetenekli ve hevesli öğrencilerin bize katılmasını dört gözle bekliyoruz! İlgili ayrıntılar için lütfen QbitAI diyalog arayüzünde "işe alım" kelimesini yanıtlayın.
Qubit QbitAI · Toutiao İmzalayan Yazar
' ' Yapay zeka teknolojisi ve ürünlerindeki yeni eğilimleri takip edin
