Günümüzün akıllı ses çipleri, AI çekirdeklerini entegre etmeye başladı
Akıllı hoparlörler ve akıllı evler, bu ürünlerin sevkiyatlarına ve pazardaki üreticilerin propaganda kalibresine yansıyan artık AI alanında sıcak bir konu. Daha da ilginci, akıllı hoparlörlerin sözde "ana kontrol" yonga üreticileri her zaman kendi yapay zeka özniteliklerini teşvik etseler de, yongaların çoğunun hala nadiren yapay zeka çekirdeklerine veya sinir ağına özel bilgi işlem birimlerine sahip olmasıdır. Muhtemelen bu tür uç cihazların AI hesaplama gücü gereksinimleri, dahil edilebilecek CPU veya GPU tarafından sağlanabilir ...
Bununla birlikte, uç bilgi işlem gücüne olan talep arttıkça, akıllı ses yongalarının bilgi işlem gücündeki artış, son iki yılda akıllı evlerin ve akıllı hoparlörlerin gelişme eğilimidir. Örneğin, akıllı hoparlörler için ana SoC'de, CPU kısmı bilgi işlem gücünü artırma eğilimindedir. Bununla birlikte, genel amaçlı işlemciler akıllı ses cihazlarıyla karşılaştıklarında çok verimli değiller, bu nedenle üreticilerin çiplere DSP ve AI çekirdekleri (NPU) eklemeye başladığını gördük.
Bunların arasında, nispeten tipik R329 yongası ve yakın zamanda Allwinner Technology tarafından başlatılan akıllı ses çözümü var.Bu yonga ve ilgili çözümlerle, akıllı ev / akıllı hoparlörlerin yapay zeka yolundaki mevcut geliştirme fikirlerini ve geliştirme fikirlerini kabaca görebiliriz. Yön, bu arada, yüksek bilgi işlem gücüne sahip AI akıllı ses çipinin, bu tür bir çip bir AI çekirdeğine sahip olduktan sonra nasıl göründüğüne bir göz atalım.
Yapılandırmadan R329'un konumuna bakın
Küresel akıllı hoparlör çipi pazarındaki başlıca oyuncular arasında Qualcomm, Intel, Apple, Allwinner, Rockchip, Amlogic vb. Yer alır. Küresel olarak veya Çin'de akıllı hoparlör ekipmanında "ana" yonga üreticilerinin spesifik pazar payını bilmiyoruz - ancak mevcut akıllı hoparlörlerin ana yongalarına bakıldığında, yerel rekabet oldukça şiddetli görünüyor.
Quanzhi için Tmall Elf, Xiaodujia, Xiaodu Hoparlör Çalma, Jingdong Dingdong, Xiaoai Hoparlör Çalma, Xiaoai Hoparlör Mini, Tencent Dinleme, NetEase Bulut Hoparlörü, Sony LF-S80D vb. Nispeten sıcak. Tüm akıllı hoparlörler, Allwinner'ın ana kontrol çipini kullanıyor ve bu da Allwinner R328, R16 ve R58'i daha iyi bilinen akıllı hoparlör ana kontrol çipleri haline getiriyor. Allwinnerın R serisi, yalnızca akıllı hoparlör ürünleri için değil, uç düşük güç uygulamaları için bir çip ürünü olarak konumlandırılmıştır: R40 / R16, Banana Pi üzerindeki uygulamasıyla da nispeten iyi bilinir. R16, aynı zamanda Roborock'un süpürücü serisinin ana ürünüdür. kontrol.
R serisindeki R328 ayrıca geçen yıl Aspencore'un "2019 Küresel Elektronik Başarı Ödülü" ses işlemcisi ürün ödülünü kazandı. Geçen yıl Mart ayında Çin Tüketici Elektroniği Fuarı'nda Allwinner, güçlü gürültü ortamlarını tanıma becerisini gösterdi. Ürün numaraları açısından, R329, R328'in yinelemeli bir ürünü gibi görünüyor, ancak Allwinner'ın bir sözcüsü bize iki ürünün farklı şekilde konumlandırıldığını söyledi.
Bunların arasında, "R329, yüksek bilgi işlem gücüne odaklanan, yüksek kaliteli bir konumlandırmadır, 3-8 mikrofonlu uzak alan akıllı ses etkileşimi, pillerle ultra düşük güçlü ürünlere uygulanabilir ve arayüzler açısından zengin", mevcut pazarda üst düzey akıllı hoparlörler sağlar. Daha iyi bir çözüm ve "R328, 2-3 mikrofon uzak alan akıllı ses etkileşimi ve daha düşük maliyetle orta uçtan giriş seviyesine doğru önyargılı."
Allwinner Technology, R329'un iki ana özelliğinin yüksek bilgi işlem gücü ve düşük güç tüketimi olduğunu belirtti. Yüksek bilgi işlem gücüne sahip kısım ayrıca daha fazla DSP ve NPU içerir. R329'un ürün özelliklerine bu iki yönden bakmaya çalışacağız. Bundan önce, küresel olarak R329'un parametre yapılandırmasına ve özelliklerine bir göz atalım:
-Çift çekirdekli Cortex-A531.5GHz ana frekansı;
-DSP: Çift çekirdekli HIFI 4, 400MHz frekansı;
-NPU: Zhouyi AIPU, 800MHz, 0.256T;
-Depolama: yonga üzerinde SRAM; dahili 128MB DDR3;
-Genişletme: Birden fazla sesli ADC ve DAC, 3 I2S ve 8 kanallı DMIC'yi entegre edin ve LDO'ları entegre edin.
Eksiksiz akıllı hoparlör çözümü için Allwinner, farklı müşterilerin ihtiyaçlarını karşılamak için WiFi ve Bluetooth çiplerini, ses ADC çiplerini vb. Destekler.
Bu konfigürasyon serilerinden, kabaca R329'un konumlandırmada yüksek hesaplama gücü için hazırlandığı ve esas olarak ekransız akıllı sesli etkileşimli ürünleri hedeflediği görülebilir. Genel amaçlı işlemci bölümü, Arm Cortex-A53 mikro mimarisini seçer: bu bölümün tüm sistemdeki işlevi genellikle işletim sistemini, uygulamaları, ağ bağlantılarını vb. Çalıştırmaktır. Allwinnerin önceki R-serisi ana akım çözümleri A7 mikro mimarisini kullanıyordu - bu aynı zamanda piyasadaki birçok rakip ürünün seçimiydi ve bazıları A35i seçti.
Hem A53 hem de A7, yüksek enerji verimliliği oranına sahip mimari çözümleridir. İkisinin, sıralı 8 aşamalı boru hattı gibi işleme hattında daha fazla benzerliği vardır. Bununla birlikte, birincisi, 64-bit Armv8-A komut seti mimarisine ve uzantılarına geçiş ve daha eksiksiz süper skalar desteği dahil olmak üzere daha önemli eşzamanlı performans iyileştirmelerine sahiptir. A53'ün ikili lansmanı daha güçlü bir esnekliğe sahip, dal tahmin doğruluğu iyileştirildi; ayrıca tamsayı, kayan nokta birimi, Neon ve depolama performansı iyileştirildi.
Sonraki A35 aslında verimliliğe daha fazla odaklanıyor. Performans açısından A7 ile aynı seviyede konumlandırılmış. Genel mikro mimarisi de A53'ünkine çok benziyor. Ön uçta bazı değişiklikler var ve parmakla alma ünitesi yeniden tasarlandı. Parmakla alma bant genişliği doğru. Enerji verimliliği tartıldı ve talimat sırası daha küçük; Neon / kayan noktalı boru hatları alan verimliliği açısından değişti.
Allwinner bize A35'e kıyasla A53'ün performans iyileştirme verilerini sağlar.Tam sayı çarpma ve kayan noktalı tek duyarlıklı ve döngü başına çift duyarlıklı FLOPS performansına ek olarak, bazı kıyaslama testleri de vardır. Bu veriler temelde daha önceki resmi Arm ile uyumludur, farklı senaryolara göre A35 performansı A53'ün yaklaşık% 80'idir. R329 yongasına özel olarak, R328 ile karşılaştırıldığında "1.58 kat tamsayı hesaplama gücü ve 1.98 kat kayan noktalı hesaplama gücü sağlar" - ikincisi çift çekirdekli A7 (1.2GHz) kullanır, bu nedenle bu düzeyde bir gelişme de beklenir.
DSP ve AI çekirdeği
Genel amaçlı işlemci seçimi A53'ten R329'un konumunu görebilirsiniz, ancak IP seçiminde yüksek hesaplama gücü DSP ve AI çekirdeklerinde daha belirgin olmalıdır. Yukarıda bahsedildiği gibi, genel amaçlı işlemci kısmı işletim sistemini, uygulamaları, ağ bağlantılarını vb. Çalıştırır; DSP, sinyal işleme algoritmaları ve ses efektlerinden sorumludur; ayrıca bir AI çekirdeği vardır, yani NPU yerel ASR'ye (otomatik konuşma tanıma), NLP'ye ( Doğal dil tanıma) ve TTS (Metinden Konuşmaya) - her ikisi de yerel olarak yürütülür, buna genellikle uç hesaplama diyoruz.
R329'un DSP kısmı iki HIFI 4 çekirdektir - bu CadenceTensilica HiFi DSP serisi IP serilerinden biridir. Aynı zamanda aile konumlandırmasında yüksek performanslı bir DSP'dir. Cep telefonları, araçlar ve dijital TV'ler gibi ürünlerde nispeten yüksektir. Kapsamlı uygulama ekolojisi. HIFI 4 aslında çok kanallı nesne tabanlı sesi, dijital yardımcı ön uç işlemeyi ve sinir ağı tabanlı ASR'yi destekliyor, ancak Allwinner'ın bazı özelliklerini tamamlamak için NPU'ya devretmeyi seçtiğini biliyoruz.
Allwinner sözcüsü, iki HIFI 4 çekirdekten birinin "gürültü azaltma, yankı iptali ve uyanma kelimesi tanıma gibi ses ön işleme" için kullanılabileceğini; diğerinin "ses kod çözme ve ses efektleri elde etmek için ses son işleme" için kullanılabileceğini öğrendi. Geliştirme, kayıt vb. "; Çip üzerinde SRAM ile," düşük güç tüketimi küçük model çift mikrofon gürültü azaltma algoritması ve küçük model derin öğrenme uyandırma sözcükleri "elde edebilir. Bu açıklamadan, R329'un DSP'sinin ayrıca tipik hafif AI hesaplama özelliklerine sahip olduğu görülebilir. Çift çekirdekli DSP tasarımı, Allwinner'ın diğer R serisi ürünlerinde de oldukça nadirdir.Bu tasarımın kendisi, düşük güç tüketimi ile ilgili daha iyi bir enerji verimliliği oranı elde etmek için bazı ses uygulama senaryoları için özel bir hesaplama birimi sağlamaktır. Düşük güç tüketimi ile ilgili kısma daha sonra değinilecektir.
Bununla birlikte, Allwinner'ın bakış açısından, yalnızca genel amaçlı işlemci + DSP'nin (ve yonga üzerinde SRAM'ın) tasarımı daha yüksek bilgi işlem gücü elde etmek için yeterli değil gibi görünüyor, bu nedenle R329'un ayrıca özel bir yapay zeka özel işlemcisi var: Zhouyi AIPU. Zhouyi AIPU, Arm China tarafından geliştirilen bir AI işlemci IP'sidir. AI uzmanlığının eklenmesi, sektördeki rakip ürünler arasında nispeten nadir görülüyor.
Arm China daha önce AIPU'nun DSP'ye göre avantajlarından bahsetmişti ve şimdi daha fazla yapay zekaya ayrılmış çekirdek, farklı algoritmalara uyum sağlamak için programlanabilirliği desteklemeyi düşünüyor. Arm China, bir AI yazılım ekosistemi oluşturmak için kendi avantajlarını kullanabilir ve DSP, AI işleme de yapabilse de, farklı mimariler arasında hiçbir zaman bir ölçek ekosistemi olmamıştır ve yazılım geliştirmeye pek de uygun değildir. Ek olarak, elbette, AI çekirdeğinde bir dizi AI ve sinir ağı optimize edilmiş komut seti vardır.Bilişim gücü ve verimliliği açısından, bazı özel yük görevlerini çalıştırırken de daha iyi olacaktır.
Arm China tarafından Kasım 2018'de piyasaya sürülen "Zhouyi" platformu, biri AIPU ve diğeri Tengine çerçevesi olmak üzere başlıca iki bölümden oluşuyor. AIPU'nun en büyük özelliği, tensör talimatlarını, özelleştirilmiş donanım hızlandırma birimlerini uygulayan belirli AI talimatlarını ve AI hesaplamaları için skaler talimatları içeren bir dizi AI ve sinir ağı optimizasyon talimat setine sahip olmasıdır.Ayrıca, kullanıcı tanımlı donanım uygulamasını da destekler.
TensorFlow dahil olmak üzere çeşitli genel çerçeveler için destek, aynı zamanda çağdaş AI işlemcilerin standart yapılandırmasıdır. Arm China'nın verileri, AIPU'nun "kullanıcıların tek tıklamayla yükleme algoritmasını desteklediğinden" ve verimli ve esnek tensör yürütme hücresi (tensör yürütme hücresi) aracılığıyla Programlama esnekliği elde edin.
AIPU'nun belirli verimliliği ile ilgili olarak, Allwinner, yukarıdaki şekilde gösterildiği gibi, bilgi işlem gücü ve güç tüketiminin bir karşılaştırmasını da sağlar: Bu verimlilik seviyesi kesinlikle şaşırtıcı değildir, sonuçta AIPU bir AI çekirdeğidir. Bununla birlikte, performans açısından 600MHz HIFI 4 ile karşılaştırıldığında, 25 kat avantaja sahiptir ve yine de yapay zekaya özgü işlemcilerin çağdaş gelişiminin değerini ve eğilimini gösterebilir. Buradaki karşılaştırmanın tek çekirdekli performans ve güç tüketimi ile sınırlı olduğu unutulmamalıdır.
Allwinner R329'un halka açık olarak Zhouyi AIPU kullanan ilk çip olduğu ve Arm China'dan güçlü destek aldığı anlaşılıyor ki bu da her iki tarafın da NPU'nun akıllı hoparlörler ve diğer yapay zeka alanlarında gelecekteki uygulamalarına büyük önem verdiğini gösteriyor. Bu nedenle, R329'un rakip ürünlerle karşılaştığında bilgi işlem gücünde daha büyük bir avantaja sahip olduğunu hayal etmek daha kolaydır.
AIPU dışındaki Zhouyi platformunun Tengine çerçevesine gelince, aslında AIPU'ya bağlı değildir ve tüm Arm AI ekosisteminin ayrılmaz bir parçası olarak görülmelidir. Mevcut Arm mimarisi yongalarının bilgi işlem gücünü çıkarabilir, böylece Tengine ayrıca AI uygulama geliştirme için soyut bir çalışma zamanı arabirimi sağlamak için Arm CPU'ları, Mali GPU'ları ve üçüncü taraf AI birimlerini de destekler. Allwinner ayrıca geliştiricilere, Zhouyi ekolojisine büyük ölçüde katkıda bulunması gereken, R329 için eksiksiz bir yazılım araç zinciri seti sağlar.
Quanzhi, daha spesifik uygulamalar açısından şunları söyledi: ASR, NLP, TTS ve diğer teknolojiler, özel AI işlemcilere acil bir ihtiyaç duyuyor; geleneksel algoritmalar yavaş yavaş yapay zeka algoritmalarıyla değiştiriliyor ve hem yurt içinde hem de yurt dışında piyasaya sürülüyor. Gürültü azaltma, yankı giderme ve anahtar kelime tanıma için geleneksel algoritmalarla karşılaştırıldığında, hat sonu algoritması daha etkilidir ve daha yüksek bir tanıma oranına sahiptir. "
Bu nedenle Quanzhi, R329 DSP + NPU + 2MBSRAM kullandığında, büyük model çift mikrofonlu gürültü azaltma algoritmasının DSP üzerinde çalışmasına izin verdiğini ve büyük model derin öğrenme uyandırma kelimesinin NPU üzerinde çalışarak düşük güç tüketimi sağlayabileceğini söyledi. Bu, hesaplama gücü ve güç tüketimi tartıldıktan sonra nispeten makul bir eşleştirme yöntemi olmalıdır.
Yüksek bilgi işlem gücü altında güç tüketimi
DSP + NPU'nun tek başına kombinasyonu, daha iyi hesaplama verimliliği sağlamaktır.Teoride, aynı hesaplama gücünü elde ederken önemli ölçüde daha düşük güç tüketimi elde etmek doğaldır. Cortex-A7, HIFI 4 DSP ve AIPU'nun daha önce bahsedilen karşılaştırması Adanmış çekirdek, yalnızca bilgi işlem gücünde önemli bir lider değil, aynı zamanda aynı bilgi işlem gücü altındaki AI bilgi işlem biriminin güç tüketiminin genel amaçlı bir işlemcinin yalnızca onda biri kadardır.
Bununla birlikte, düşük güç tüketimi elde etme açısından, R329 çip üzerinde entegre edilmiş 2MB SRAM de çok önemli bir parça. Bu büyük kapasiteli SRAM yonga üzerinde entegre etme ayarı, Allwinnerin önceki R serisi ürünlerinde ve aynı dosyanın rakip ürünlerinde yaygın değildir. Bazı rakip ürünlerde ayrıca yonga üzerinde SRAM bulunur, ancak aynı dosyanın yapılandırması genellikle 256 KB'tır. Bu seviyede.
Daha küçük SRAM, düşük güç gürültü azaltma algoritması + uyandırma modelini çalıştıramaz ve yine de daha yavaş bir DDR'ye ihtiyaç duyar. SRAM konfigürasyonu altında, algoritma modelinin hesaplama gücünün çoğu çalıştırılmak üzere SRAM'a konulabilir. Bu nedenle Quanzhi, R329'un bekleme güç tüketiminin (1) Dahili donanım VAD (Ses Aktivite Algılama) olduğunu ve ses algılama için 30 mW altında bekleme durumuna da ulaşabileceğini; (2) DSP + RAM, küçük model çift mikrofon gürültü azaltma algoritması elde etmek için, Küçük model derin öğrenmenin uyanma sözcükleri 50mW bekleme güç tüketimidir; (3) DSP + NPU + SRAM, böylece büyük model çift mikrofonlu gürültü azaltma algoritması DSP üzerinde çalışır ve büyük ölçekli derin öğrenme uyandırma sözcükleri NPU üzerinde çalışarak 60mW bekleme gücüne ulaşır Tüketim. Dolayısıyla R329'un kendisi batarya ile çözüm için uygundur.
Son olarak, ilgili G / Ç kısmından bahsetmeye değer. R329, stereo, 1.1 kanallı çıkış ve I2S aracılığıyla 5.1 / 7.1 kanallı ses çıkışı elde etmek için doğrudan analog güç amplifikatörlerine bağlanabilen 2 ses DAC'sini entegre eder; entegre çok kanallı ses ADC'si rakip ürünlerden daha güçlü Ses arayüzünün ölçeklenebilirliği aynı zamanda çoklu mikrofon alma çözümleri sağlayabilir.
Gelecekte, Allwinner R329'un piyasa performansını gözlemleyeceğiz ve akıllı ses çözümlerinin bu yüksek hesaplama gücünün akıllı ev pazarında bir trend haline gelip gelmeyeceğini kabaca görebiliriz. Quanzhi'nin görüşüne göre cevap nispeten olumludur. Bizimle bir röportajda Quanzhi, değişen zamanlarda güç gereksinimlerindeki değişikliklere bir örnek verdi:
"Örneğin, MP3 ses formatı aracılığıyla çoklu oda uygulamasının başlangıcında, müşteriler bu özelliğe hoş bir şekilde şaşırdılar, ancak müşteriler yavaş yavaş akıllı ses etkileşiminin temel işlevine alıştıkça, akıllı hoparlörlerin ses kalitesinin de geleneksel hoparlörler ve ses iletimi ile karşılaştırılması gerektiğini önerdiler. Format, MP3'ten AAC'ye büyük ölçüde iyileştirildi ve birden çok oda üst üste getirildi. Bu işleve karşılık gelen AP'ler için bilgi işlem gücü gereksinimleri katlar halinde artırılacak. Bu, ses işlevlerinin deneyimi olduğu için, yüksek gerçek zamanlı senkronizasyon sağlamak gerekiyor. "
"Tüketicilerin gereksinimleri artıyor ve giderek artıyor, böylece AP özellikleri ve bilgi işlem gücü gereksinimleri de artıyor. Akıllı hoparlörler sürekli olarak çok odalı, TWS, DLNA, BT MESH gibi yeni işlevler ekliyor, Daha şok edici ses efektleri; müşteriler artık basit EQ ve DRC işlemeyi aşamalı olarak karşılamıyorlar ve sanal bas ve 3D surround ses gibi üst düzey ses efektlerine olan talep önerilmeye devam ediyor. "Bu muhtemelen R329 için bir fırsattır.
Strategy Analytics tarafından yayınlanan bir araştırma raporuna göre, küresel akıllı hoparlör sevkiyatları 2019'da, 2018'e göre% 60 artışla 125 milyon adede ulaştı. Ali, Baidu, Xiaomi vb. Tarafından yönetilen akıllı hoparlör sevkiyatı 2018'de 21,9 milyondan 2019'da 52 milyona yükseldi ve bu da büyüme hızının göstergesi.
Allwinner Teknolojisi, ses ana yonga pazarının bir katılımcısıdır ve akıllı hoparlörler, şirketin odaklandığı bir alandır. Allwinner, 2018 yılında R serisi akıllı hoparlörlerde bazı atılımlar yaptı. Allwinner, 2019'da iyi pazar sonuçlarıyla akıllı ses için özel bir işlemci olan R328'i piyasaya sürdü. R329, yüksek bilgi işlem gücüne ve düşük güç tüketimine sahip özel bir AI ses yongası olarak konumlandırılan R328 tabanlı yükseltilmiş bir üründür.
Allwinner sözcüsü, 2020 yılında Allwinner'ın akıllı hoparlörler için çeşitli çipler piyasaya süreceğini söyledi. R329'a ek olarak, Allwinner şu anda düşük maliyetli ürün pazarının yinelemeli ihtiyaçlarını karşılamak için entegre WiFi / BT RTOS sistem yongasına sahip yeni nesil ekransız akıllı hoparlörleri planlıyor; ve ekran hoparlörlerinin yinelemesi için Allwinner, yüksek performanslı bir dört çekirdekli piyasaya sürmek üzere. A53 çip R818.
