Xilinx reVISIONTM yığın yayın arka plan analizi
REVISION: Tamamen programlanabilir teknolojiyi çok çeşitli vizyon odaklı makine öğrenimi uygulamalarına genişletir
Makine öğrenimi uygulaması, kullanıcı tarafında, bulutta veya uç tabanlı işleme ve bulut tabanlı veri analizini birleştiren hibrit çözümlerde giderek daha fazla son pazara hızla yayılıyor. Bulut uygulamaları için, Xilinx kısa süre önce, makine öğrenimi çıkarımı dahil olmak üzere çeşitli bilgi işlem hızlandırma uygulamalarına yönelik yeniden yapılandırılabilir bir hızlandırma yığını (Kasım 2016'da piyasaya sürüldü) başlattı. Son kullanım uygulamaları için, Xilinx şimdi Xilinx® reVISION yığınıyla çok çeşitli görme odaklı makine öğrenimi uygulamalarına önemli ölçüde genişlediğini duyuruyor. Yeni reVISION yığını, donanım tasarımı uzmanlığı çok az olan veya hiç olmayan daha geniş bir dizi yerleşik yazılım ve sistem mühendisini destekleyerek, Xilinx teknolojisini kullanarak vizyon odaklı makine öğrenimi uygulamalarını daha kolay ve daha hızlı geliştirmelerine olanak tanır.
Şekil 1. Xilinx, makine öğrenimi uygulamalarının dağıtımını uçtan buluta genişletiyor
Kapsamlı Xilinx görüş ve makine öğrenimi uygulamaları
Şekil 2'de gösterildiği gibi, dünyaya bakıldığında, Xilinx birçok şirket için gelişmiş gömülü görüntü sistemleri inşa etmek için en iyi seçenek haline geldi. Bugün itibariyle, dünya çapında 23 otomobil üreticisi, Xilinxin gelişmiş yerleşik görme sistemlerini 85 farklı araba modelinin ADAS sistemlerine yerleştirdi. Buna ek olarak, yüzlerce yerleşik görüntü müşterisi bunları binlerce başka uygulamada da kullandı. Xilinx'in gelişmiş gömülü görme sistemini devreye aldı. En az 40 tanesi, sistemin zekasını büyük ölçüde iyileştirmek için halihazırda makine öğrenimi teknolojisini geliştiriyor veya kullanıyor. Şimdi, güçlü donanım uzmanlığına sahip mühendisler de dahil olmak üzere çoğu Xilinx görüntü müşterisi, Zynq® Tüm Programlanabilir SoC ve MPSoC'nin uygulamasını gördü
Şekil 2: Xilinx yerleşik görüntü endüstrisi başarıları
REVISION'ın hedef uygulaması ve misyonu
Xilinx, bazı popüler pazarlardaki uygulamalar için destek sağlıyor. Bu pazarlarda farklılaşma kritiktir, sistemler hızlı yanıt vermeli ve en son algoritmalar ve sensörler hızlı bir şekilde kullanılabilmelidir. Bu uygulamalar, "profesyonel tüketici" uygulamaları, otomotiv, endüstriyel, medikal, havacılık, askeri ve son teknoloji tüketici uygulamalarını içerir. Bu uygulamalar genellikle çok yüksek hacimli tüketici uygulamalarını veya düşük farklılaştırılmış "yeteri kadar" veya olgun teknolojilere yerleştirilen genel ticari uygulamaları içermez.
Şekil 3'te gösterildiği gibi, birçok geleneksel yerleşik görme uygulaması, makine görüşü ve sensör füzyon teknolojisini benimsedikten sonra muazzam değişiklikler geçiriyor.
Şekil 3. Gömülü vizyondan vizyon odaklı otonom sistemlere
Yeni nesil uygulamalar arasında işbirliğine dayalı robotlar, algılama ve kaçınma işlevlerine sahip dronlar, artırılmış gerçeklik, kendi kendine giden arabalar, otomatik izleme ve tıbbi teşhis bulunur. Bu sistemlerin genellikle üç ana görevi vardır:
Şekil 4: Yeni nesil görsel rehberlik sisteminin uygulama misyonu
1. Sistem sadece düşünmekle kalmamalı, aynı zamanda duruma anında "cevap verebilmelidir". Bu, algılamadan işleme, analiz, karar verme, iletişim ve kontrole kadar tüm sürecin daha tutarlı bir görünümünü gerektirir. Aynı zamanda, 8 bitlik ve daha derin doğruluk gereksinimlerini karşılamak için en son makine öğrenimi teknolojisini verimli bir şekilde uygulamak ve dağıtmak gerekir. Makine öğrenimi eğitimi için optimize edilmiş teknolojinin, makine öğrenimi çıkarımı için optimize edilmiş teknolojiden sapmaya devam ettiğini unutmayın. Xilinx, tamamen programlanabilir cihaz ailesini özellikle çıkarım teknolojisi için optimize etti.
2. Sinir ağları ve ilgili algoritmalardaki hızlı değişimler ve sensörlerin hızlı gelişimi göz önüne alındığında, esneklik sağlanmalı ve sistem, yazılım ve donanımın yeniden yapılandırılabilirliği yoluyla yükseltilebilir.
3. Birçok yeni sistem birbirine bağlandığından (Nesnelerin İnterneti), geleneksel mevcut cihazlarla ve gelecekte piyasaya sürülecek yeni cihazlarla ve bulutla iletişim kurabilmeleri gerekir. Xilinx bunu herhangi bir ara bağlantı olarak tanımlar.
Şekil 5: Xilinx'in benzersiz uygulama avantajları
Xilinx cihazları, yukarıdaki görevlerin üçünü de benzersiz bir şekilde destekleyebilir ve diğer alternatiflere göre önemli ve ölçülebilir avantajlara sahiptir. Etkili çıkarım ve kontrol sayesinde, Xilinx sensörlerin en hızlı yanıt süresine ulaşır, en son sinir ağlarını destekler, algoritmaların ve sensörlerin yeniden yapılandırılabilirliğini destekler ve geleneksel veya yeni makineler, ağlar ve bulutlarla herhangi bir bağlantıyı destekler.
Ancak, Xilinx cihazlarının bu avantajlarının, yalnızca donanım veya RTL tasarım uzmanlığına sahip profesyonel kullanıcıların yararlanabileceği ortaya çıktı.Geniş bir uygulama yelpazesi ve endüstri standardı kitaplıkları ve çerçeveleri kullanan yazılım tanımlı programlama desteği için hala büyük engeller var. REVISION yığınının doğuşu, yaygın uygulamaların önündeki bu engeli çözer.
Şekil 6: Yaygın kullanımın önündeki engeller
REVİZYON Yığını
Şekil 7: Xilinx reVISION yığını
Xilinx reVISION yığını, platform, algoritma ve uygulama geliştirme için zengin geliştirme kaynakları içerir ve en popüler sinir ağlarını (AlexNet, GoogLeNet, SqueezeNet, SSD ve FCN gibi) ve kitaplık öğelerini (CNN ağ katmanının önceden tanımlanmış optimizasyonları gibi) destekler Özel bir sinir ağı DNN / CNN oluşturmak için de gerekli olan uygulama şemasını yazın. Hızlandırma gereksinimlerini karşılayan zengin OpenCV işlevleriyle makine görü işlemeyi destekler. Uygulama düzeyinde geliştirme için Xilinx, makine öğrenimi için Caffe ve bilgisayar görüşü için OpenVX (2017'nin ikinci yarısında piyasaya sürülecek) dahil olmak üzere popüler çerçeveleri desteklemektedir. ReVISION yığını, Xilinx ve üçüncü taraflarca sağlanan Zynq SoC ve MPSoC tabanlı geliştirme platformlarını da içerir.
Çok çeşitli uygulamaların önündeki engeller kaldırıldı
REVISION yığını, derinlemesine donanım uzmanlığı olmaksızın çok sayıda kapsamlı tasarım ekibini destekler.Yazılım tanımlı geliştirme süreçleri kullanılarak, makine öğreniminin verimli bir şekilde uygulanması ve bilgisayar algoritmaları, yanıt veren bir sisteme entegre edilebilir.
Şekil 8'de gösterildiği gibi, reVISION geliştirme süreci tanıdık C, C ++ ve / veya OpenCL dilinden ve tutulma geliştirme ortamına (yani SDSoC geliştirme ortamı) dayalı ilgili derleyici teknolojisinden başlar. SDSoC ortamında, yazılım mühendisleri ve sistem mühendisleri reVISION donanım platformunu hedefleyebilir, çok sayıda hızlanmaya hazır bilgisayar görüşü kitaplığı kullanabilir ve uygulamaları hızlı bir şekilde oluşturmak için yakında OpenVX çerçevesini kullanabilir.
Şekil 8: ReVISION'ın yazılım tanımlı tasarım süreci
Makine öğrenimi için, sinir ağlarını eğitmek için Caffe gibi popüler çerçeveleri kullanabilir ve programlanabilir mantık için önceden optimize edilmiş CNN çıkarım hızlandırıcısını çalıştırmak için ARM tabanlı yazılım planlayıcısını Caffe tarafından oluşturulan .prototxt dosyasıyla yapılandırabiliriz.
Bilgisayar görüşü ve diğer tescilli algoritmalar için, kullanıcılar yazılım kodunun özelliklerini analiz edebilir, darboğazları bulabilir ve hızlandırmak istedikleri belirli işlevleri işaretleyebilir ve kodda "donanım optimizasyonu" gerçekleştirebilir. "Sistem optimizasyon derleyicisi", işlemci / hızlandırıcı arabirimleri (veri taşıyıcılar) ve yazılım sürücüleri dahil olmak üzere hızlandırılmış uygulama çözümleri oluşturmak için kullanılır. Bilgisayarla görme ve makine öğrenimi yeteneklerini birleştiren derleyici, optimize edilmiş füzyon uygulamaları oluşturabilir.
Şekil 9'un sol tarafında gösterildiği gibi, uzman Xilinx kullanıcıları geleneksel RTL tasarım sürecini benimser ve ARM yazılım geliştiricileriyle işbirliği yapar. Oldukça farklılaştırılmış makine öğrenimi ve bilgisayarla görme uygulamaları geliştirmek çok fazla tasarım süresi alır.
Şekil 9: Geniş bir uygulama yelpazesine yönelik reVISION yığın kaldırma engelleri
Tasarım sürecini daha da hızlandırmak ve donanım uzmanlarına olan bağımlılığı azaltmak için Xilinx, yaklaşık iki yıl önce C, C ++ ve OpenCL dillerine dayalı SDSoC geliştirme ortamını başlattı. Bu, kendi temel platformlarını, kitaplıklarını ve uygulamalarını geliştirebilen diğer binlerce kullanıcının geliştirme döngüsünü büyük ölçüde kısaltmasına yardımcı olsa da, çok çeşitli makine öğrenimi uygulamalarının tanıtımı ve dağıtımı için gereksinimleri hala karşılayamıyor ve makine öğrenimi de karmaşık sorunları beraberinde getiriyor.
Şekil 10'da gösterildiği gibi, Xilinxin yeni reVISION yığını, daha fazla yazılım mühendisinin ve sistem mühendisinin, biraz donanım tasarımı uzmanlığına hakim olmak veya bu konuda uzmanlaşmak zorunda kalmadan akıllı gömülü görüntü sistemlerini daha kolay ve hızlı bir şekilde geliştirmesine olanak tanır. Öğrenme ve bilgisayarla görme algoritmalarının ultra verimli uygulaması, oldukça duyarlı bir sisteme entegre edilmiştir.
Şekil 10: Xilinx reVISION ve Nvidia Tegra X1 karşılaştırması
En hızlı yanıt verme - sensörden çıkarıma ve kontrole kadar en düşük gecikme
Yukarıda belirtildiği gibi, yazılım tanımlı revizyon süreci, en duyarlı sistemin hızlı gelişimini destekler. Aslında, gömülü CPU'ların ve tipik SoC'lerin performans parametreleri ile karşılaştırıldığında, Xilinx'in performansı Nvidia'nın performansını büyük ölçüde aştı.
Zynq SoC tabanlı reVISION sürecini Nvidia Tegra X1 kıyaslamalarıyla karşılaştırdığımızda, reVISION işleminin makine öğreniminin birim güç tüketimi başına görüntü yakalama hızını 6 kat artırdığı ve bilgisayarla görü işlemenin kare hızını 42 kat artırdığı ve gecikme sürdüğü görülebilir. Yalnızca 1/5 (milisaniye cinsinden), bu veriler gerçek zamanlı uygulamalar için kritiktir.
Şekil 11'de gösterildiği gibi, son derece hızlı deterministik sistem yanıt sürelerine sahip olmak çok kullanışlıdır. Bu örnekten bir arabanın olası çarpışmaları ve frenleri belirlemek için Xilinx'in Zynq SoC tabanlı reVISION ve Nvidia Tegra tabanlı arabasını benimsediğini görebiliriz. 65 mil / saat hızla, Nvidia cihazının özel uygulamasına göre , Xilinxin tepki süresi, aracın 5 ila 33 fit arasında durmasına, böylece kolayca güvenli frenleme ve çarpışmalardan kaçınılmasına olanak tanır.
Şekil 11: Yanıt süresi neden önemlidir: Xilinx ve Nvidia Tegra X1 karşılaştırması
Yanıt süresinin bu önemli avantajları, Zynq SoC'nin yerleşik GPU ve tipik SoC'ye göre temel mimari avantajlarından gelir. Şekil 12'de gösterildiği gibi, yerleşik GPU'lar ve tipik SoC'ler, sensörlerden vizyona, makine öğrenimine ve kontrol işlemeye kadar harici belleğe sık erişim gerektirir. Bunun aksine, Zynq SoC, programlanabilir mantık ve önemli ölçüde daha fazla dahili bellek (Nvidia Tegra X1'in 19 katına kadar) kullanarak optimize edilmiş ve kolaylaştırılmış veri akışını dağıtır. Bu, alternatife kıyasla yalnızca 1/5 gecikme sağlamakla kalmaz, aynı zamanda birçok gerçek zamanlı uygulama için gerekli olan belirleyici tepkiyi de sağlar.
Şekil 12: Xilinx'in yanıt süresi avantajının kaynağı
En yeni ağlar ve sensörler için yeniden yapılandırılabilirlik
Yanıt süresi önemlidir ve Xilinx çözümleri ayrıca çok benzersiz bir yeniden yapılandırılabilirlik avantajı sağlar. Verimlilik sonucunu çıkarmak ve en iyi sistemi devreye almak için son teknoloji sinir ağlarını ve makine öğrenimini kullanabilmek için, mühendislerin ürün yaşam döngüsü boyunca hem yazılımı hem de donanımı optimize edebilmesi gerekir. Şekil 13'te görüldüğü gibi makine öğrenimi alanının son iki yılda gelişmesinin getirdiği teknolojik ilerleme, son 45 yılın düzeyini aşmıştır. Yeni teknolojilerin ortaya çıkmasıyla birçok yeni sinir ağı gelişmeye devam ediyor ve dağıtım verimliliği büyük ölçüde iyileştirildi. Bugün hangi standartların geliştirildiğine veya gelecekte nelerin devreye alınacağına bakılmaksızın, gelecekteki ihtiyaçların karşılanmasını sağlamak için donanımın yeniden yapılandırılabilirliği kullanılmalıdır. Yalnızca Xilinx Tüm programlanabilir cihazlar bu düzeyde yeniden yapılandırılabilirlik sağlayabilir.
Şekil 13: Makine öğrenimi teknolojisinin gelişmesiyle birlikte yeniden yapılandırılabilirlik neden önemlidir?
Şekil 14'te gösterildiği gibi, hızla gelişen sensör teknolojisinin yönetimi de yeniden yapılandırılabilirlik gerektirir. Yapay zeka (AI) devrimi, farklı alanlarda sensör teknolojisinin gelişimini ve evrimini hızlandırmıştır.Ayrıca, bu ortamda kapsamlı ve eksiksiz bir sistem ortamı ve nesne görünümü oluşturmak için farklı sensör türlerini entegre etmek için daha yüksek düzeyde bir sensör füzyonu gerektirir. Makine öğrenimine benzer şekilde, hangi sensör yapılandırma standartlarının formüle edildiğine ve gelecekte nasıl uygulanacağına bakılmaksızın, gelecekteki ihtiyaçları karşılamak için donanımın yeniden yapılandırılabilirliği gereklidir. Aynı şekilde, yalnızca Xilinx Tüm programlanabilir cihazlar bu düzeyde yeniden yapılandırılabilirlik sağlayabilir.
Şekil 14: Sensörlerin geliştirilmesiyle birlikte yeniden yapılandırılabilirlik neden önemlidir?
Herhangi bir bağlantı ve sensör arayüzü
Şekil 15'te gösterildiği gibi, Zynq tabanlı görüntü platformu, sağlam ve güvenilir bağlantı yetenekleri ve sensör arayüzü avantajları sağlar.
Zynq'in sensörü ve bağlantı avantajları şunları içerir:
1. Mevcut piyasadaki diğer SoC'lerle karşılaştırıldığında, yerel 8K ve özel çözünürlükler için destek dahil olmak üzere bant genişliği 12 kata kadar artırıldı.
2. Yüksek ve düşük bant genişliği sensör arayüzlerini ve kanallarını önemli ölçüde artırın ve RADAR, LiDAR, ivmeölçer ve kuvvet tork sensörü dahil olmak üzere farklılaştırılmış sensör kombinasyonlarını destekleyin.
3. En son endüstri lideri veri iletimi ve depolama arabirimi desteği, gelecekteki standart gereksinimleri karşılamak için kolayca yeniden yapılandırılabilir.
Şekil 15: Sensör Konektörü: Xilinx - Nvidia - Tipik SoC
Xilinx'in sektördeki diğer çözümlerle karşılaştırılması
Zynq platformunun benzersiz avantajlarını, çeşitli kitaplıklar ve endüstri standardı çerçeveler tarafından desteklenen yazılım tanımlı bir geliştirme ortamıyla entegre ederek, reVISION, görüntü sistemi geliştirme için en iyi alternatifi sağlar. Daha önce de belirtildiği gibi, reVISION'ın benzersizliği, en hızlı yanıt verme, yeniden yapılandırılabilirlik, keyfi bağlantı ve yazılım tanımını desteklerken, farklılaştırma ve listeleme sürecinin önemli gereksinimlerini en son teknoloji ile karşılayan akıllı uygulamaların üç görevinin gerçekleştirilmesinde yatmaktadır. Programlama. Ayrıca, çok çeşitli uygulamaların önündeki engelleri kaldırmak için yazılım tanımlı bir programlama modeli kullanır.
Şekil 16'da gösterildiği gibi, yalnızca dikey eksendeki reVISION, en iyi sistem yanıt süresini elde etmek için sensörlerden makine öğrenimi çıkarımına ve birbirine bağlı kontrole kadar optimizasyonu destekleyebilir. Yatay eksende, yalnızca reVISION, donanım için optimize edilmiş algoritma hızlandırma için gerekli yeniden yapılandırılabilirliği sağlayabilir ve en son sensör ve bağlantı gereksinimlerine yükseltilebilir. Xilinx cihazı müşterilerinden birçok donanım uzmanı bu avantajları gerçekleştirebilmiş olsa da, yeni reVISION yığını, yazılım tanımlı programlamayı uygulamak için endüstri standardı kitaplıklar ve çerçeveler kullanarak daha geniş uygulama engellerini ortadan kaldırır.
Şekil 16: Xilinx - en hızlı yanıt ve yeniden yapılandırılabilir hedef pazar için en iyi seçim
Özet: REVISION
Xilinx reVISION yığınının piyasaya sürülmesiyle Xilinx, teknolojisini geniş bir yelpazede vizyona yönelik makine öğrenimi uygulamalarına genişletti. ReVISION yığınının piyasaya sürülmesi, Xilinx teknolojisinin makine öğrenimi uygulamaları alanında uçtan buluta dağıtımını büyük ölçüde genişleten, yakın zamanda piyasaya sürülen yeniden yapılandırılabilir hızlandırma yığınını daha da tamamlar ve mükemmelleştirir. Yeni reVISION yığını, donanım uzmanlığı çok az olan veya hiç olmayan daha geniş bir yazılım ve sistem mühendislerini destekleyebilir, bu da vizyon odaklı akıllı sistemler geliştirmeyi daha kolay ve daha hızlı hale getirir. Makine öğrenimi, bilgisayar görüşü, sensör füzyonu ve bağlantının avantajları entegre edildiğinde, bu mühendisler büyük fayda sağlayacaktır.
