Salgın altında Fener Festivali nasıl kutlanır? Aile toplantısı yemeği hazırlamak için yapay zekayı kullanın
Bahar Şenliği'nden sonra küçük bir buluşma olan Fener Festivali, aynı zamanda yılın ilk dolunay gecesi.Leifeng.com AI Technology Review, herkese obur, şişman değil ve hayalleri olmamasını dilemek için burada.
Önceki yıllarda Fener Festivali'nde fenerlerin tadını çıkarmak, ejderha fenerlerini dans etmek, fener bilmecelerini tahmin etmek, ateş ağaçları ve gümüş çiçekler ritüeli ile geleceğe yönelik beklentilerimizi karşılamak için evimizden dışarı çıkardık. 2020 Fener Festivali'nde, salgın nedeniyle kutlama şeklimiz daha zayıf olabilir, ancak yine de ebeveynlerle paylaşmak için bir yemek masası yapmak harika.
Mutfak ustaları, yeteneklerini tam anlamıyla sergileme ve yukarıdaki resimde gösterildiği gibi lezzetli yemekler yapma becerisine sahiptir. Ancak, pişirmeye yalnızca tuz koymayı bilen "şef" için endişelenmeyin. Weibo'da en çok satan yemekleri arayabilir ve bunları belirlemek için AI yazılımını kullanabilirsiniz. Kaba bir tarif bulabilirsiniz. Bu alışılmadık "tatilde" pişirme becerilerinizi geliştirmek için AI'nın gücünü kullanın!
Aşağıdaki Leifeng.com AI Technology Review, iki tarif tanıma yazılımını tanıtacak: MITin Pic2Recipe AI sistemi ve Facebookun tarif tanıma AI sistemi. Sonunda, ilgili teknik ilkeler tanıtılacak.Evinde henüz yeniden çalışmamış okuyucular da programlamayı deneyebilirler.
Önce MIT, arkada Facebook
Lei Feng
MITnin Pic2Recipe tanıma yazılımı 2017 yılında geliştirildi. Katar Bilgi İşlem Araştırma Enstitüsü (QCRI, MITnin en büyük laboratuvarı) ve Polytechnic University of Catalonianın ortak araştırma ürünüdür. Food- 101 veri seti, 2014 yılında İsviçreli bilim adamlarının çalışmalarına göre iyileştirildi. Ayrıca, bir milyondan fazla yemek resmi ve bunlara karşılık gelen tarifleri içeren kendi Recipe1M veritabanını kullandılar.
İşlem adımları şunlardır: kullanıcı tarafından gönderilen fotoğraflar çevrimiçi tarifte toplanır ve makine, içerik listesi, pişirme talimatları ve yiyecek resimlerini analiz ederek otomatik olarak yiyecek hazırlama yöntemini anlayacak şekilde eğitilir. Tarifler, 20'den fazla popüler yemek pişirme web sitesinden toplanır ve bir boru hattı aracılığıyla işlenir. İlgili metin orijinal HTML'den çıkarılır, görüntünün bağlantısı indirilir ve veriler her biri kompakt bir JSON şemasında birleştirilir. İşaretli veriler benzersizdir.
Pic2Recipe animasyon ekranı, kaynak: https://www.sohu.com/a/159754992_99905315
AI teknolojisi inceleme testinden sonra, bu yazılımın mevcut web sürümü çevrimdışı oldu, ancak o yıl CVPR 2017 için araştırma sonuçları seçildi ve ilgili makaleler ve kodlar açık kaynak oldu.
kağıt: Github: veri kümesi:
MIT'in yapay zeka sistemi ile karşılaştırıldığında, Facebook'un 2019'da açık kaynaklı yapay zekayı piyasaya sürmesi daha "gelişmiş". Önceki erişim yöntemiyle karşılaştırıldığında, Facebook yeni bir düşünme biçimini değiştirdi ve görüntü sorununu formüle koşullu bir üretim sorunu olarak formüle etti. Yani: olası reçeteleri üretmek için görüntüye ve karşılık gelen bileşen listesine dayalı talimat dizileri oluşturmak için önceden eğitilmiş görüntü kodlayıcı ve bileşen kod çözücüyü kullanın. Sistem, Adrianna Romero ve FAIR Montreal laboratuvarındaki diğer birkaç araştırmacı tarafından geliştirildi. Ayrıca, önceki bileşen tahmin yöntemlerinin temeline kıyasla performansı artıran büyük ölçekli bir tarif veri setinde de değerlendirilir. Genel olarak, yiyecek görüntüleri girerek yemek hazırlamanın bir yolunu sağlayabilir.
Ayrıca araştırma sonuçları CVPR 2019 konferansında yayınlandı ve kod GitHub'da açık kaynaklı hale getirildi. https: //github.com/ facebookresearch / inversecooking
Veri kümesi tanıtımı Makine öğrenimi modeli eğitimi için ilk husus veri kümesidir.İyi bir veri kümesiyle eğitilen modelin performansı genellikle iyidir. Yukarıda bahsedilen iki AI modelinde, Pic2Recipe sistemi Recipe1M veri seti + Food-101 veri setini kullanır. Facebook AI modeli, Recipe1M veri setinde değerlendirilir.
Bunların arasında Gıda-101 veri seti, 101 gıda kategorisini içeren bir görüntü veri setidir.Genellikle görüntü sınıflandırması için kullanılır. Toplam 101.000 görüntüye sahiptir.Ortalama olarak her kategoride 250 test görüntüsü ve 750 eğitim görüntüsü vardır. Eğitim görüntüleri veri temizliğine tabi tutulmamıştır. Tüm görüntüler yeniden ölçeklendirildi ve maksimum kenar uzunluğu 512 piksele ulaştı. Bu veri seti Stanford Üniversitesi tarafından 2014 yılında yayınlandı.
Veri seti indirme adresi:
Recipe1M veri koleksiyonu, 1 milyon yemek tarifi ve Çin yemekleri de dahil olmak üzere 13 milyon yemek resmi içeren çok büyük. Bu veri tabanının ana kaynağının sosyal ağlarda yayınlanan yemek resimleri olduğunu belirtmekte fayda var. Başka bir deyişle, Weibo ve Moments'taki "zehirlenmeniz" yapay zekanın gelişimini teşvik etti; ayrıca, tarif verilerinin toplanması, dünyanın en büyük tarifi olan Tüm Tarifler ve Food.com dahil olmak üzere birden fazla yemek tarifi web sitesine atıfta bulunuyor Ve yemek sitelerinden biri.
Veri seti indirme adresi:
Resmin arkasındaki AI teknolojisi, tarifin arkasındaki AI teknolojisi için, tarifin resimden türetilmesi temelde iki bilgi boyutu gerektirir: bir yandan, malzemeler ve malzemeler de dahil olmak üzere resimdeki yiyecekleri tanımlamak gerekir; diğer yandan, malzemeleri ve malzemeleri çıkarmaktır. İşleme süreci, kesilmiş veya parçalanmış, soğuk veya kaynatılmış vb. Geleneksel yöntemler, bu süreci bir eşleştirme görevi haline getirme eğilimindedir ve MIT'den önceki Pic2Recipe modeli tam da bunu yapmıştır. Spesifik süreç şudur: önce resimdeki yiyecekleri ve yemekleri değerlendirin ve ardından veri tabanında ilgili tarifleri arayın ve eşleştirin.
Kesin olarak karşılık gelen bir tarif yoksa, en benzer olanı eşleştirilecektir. Bu tür yöntemler büyük miktarda tarif verilerine dayanır ve esneklik ve çeşitlilikten yoksundur. Veritabanında olmayan veya farklı görünen yiyecekler olduğunda, doğrulukları önemli ölçüde düşecek ve bu da büyük bir sorumluluk olmayı zorlaştıracaktır. Bu sefer Facebook makalesinde kullanılan derin öğrenme modelini tanıtıyoruz. Özellikle, Facebook araştırmacıları, resimlerden tariflere kadar olan süreci koşullu bir üretim sistemi olarak ele alan, yemek resimlerini girerek ve üç tür bilgi veren yeni bir fikir benimsedi: yemek adı, içerik listesi ve pişirme adımları. Resimler ve tarifler arasındaki ilişki, eşleştirmeden çok türetme ve analizle ilgilidir.
Tarif oluşturma modelinin iş akışı
Makaleye göre, bu tarif oluşturma modeli, görüntü özelliklerini çıkaran bir görüntü kodlayıcı, bileşen listesini analiz eden bir bileşen kod çözücü, bileşenlerin işlenmesini tahmin eden bir bileşen kodlayıcı ve birçok pişirme adımından oluşan dört ana bölümden oluşuyor. Dikkat mekanizmasını ve ResNet-50 evrişimli sinir ağı modelini kullanan kod çözücü.
Yapay zekanın performansını artırmak için, araştırmacılar ayrıca görüntü kodlayıcı ve yiyecek kod çözücüyü önceden eğitti. Spesifik olarak: İlgili bileşenlere sahip bir girdi görüntüsü verildiğinde, Transformer komutu aracılığıyla bir komut dizisi R oluşturulur.
Bunlar arasında, başlık ilk talimat olarak tahmin edilir, kod çözücü görüntünün girişine ve yiyeceğe dayanır; daha sonra görüntü temsili ResNet-50 aracılığıyla çıkarılır ve yiyeceği tahmin etmek için kod çözücü mimarisi aracılığıyla gıda gömme elde edilir ve ardından tek bir gömme katmanı sabit bir Vektörün boyutu. Komut kod çözücü, Transformer bloklarından oluşur ve her Transformer bloğu, iki dikkat katmanı ve ardından doğrusal bir katman içerir. İlk dikkat katmanı, önceden üretilen çıktıya öz dikkat uygularken, ikinci katman öz-dikkat çıktısını iyileştirmek için model ayarlamalarına odaklanır. Ek olarak, Transformer modeli birden fazla modülün ardından doğrusal bir katman ve softmax doğrusal olmama durumundan oluşur.
Trafo modeli
Kompozisyon deşifre etmede, kağıt, bileşenleri listeler ve setler olarak kullanma yöntemini benimser ve yeni bir içerik tahmin çerçevesi önerir ve tahmin etmek için bileşenler arasındaki ortak bağımlılığı kullanır.
Tarif geriye dönük doğru mu? Yukarıdaki iki AI sisteminin doğruluk oranları sorgulanabilir.Önceki raporlara göre Pic2Recipe'ın doğruluk oranı sadece% 65 ve eğer Çin mutfağı içeriyorsa düşecek. Facebook daha güzeldir ve herhangi bir resmi kabul edip analiz edebilir, ancak ay resmini "ev yapımı krep" ve iPhone'u "ev yapımı buz jeli" olarak tanıyabilir. Pikachu'ya gelince, AI bunun "kızarmış yumurta" olarak yeniden adlandırılması gerektiğini düşünüyor. . . .
İlgili araştırmacılara göre, AI tarif sisteminin şu anda karşılaştığı en büyük darboğaz aslında resmin kendisidir. Çünkü yiyecek resimleri çekerken, yiyeceklerin sunumu genellikle açı, mesafe, yerleştirme ve ışıklandırma gibi çekim durumundan etkilenir ve bu da farklı tanıma sonuçlarına neden olabilir.
Modeller açısından, hesaplama gücü onu destekleyebiliyorsa, daha yüksek entegrasyon doğruluğuna sahip bir sistem hiç sorun değil, sonuçta mevcut yüz tanıma sistemi% 95 doğruluğa ulaşabilir. Bu nedenle, esas olarak veri setinin kalitesinin iyileştirilmesi olmak üzere, görüntü tersine çevirme tarifleri yoluyla gelecekte iyileştirme için hala çok yer var. Peki, veri setini ve arkasındaki teknik ilkeleri anlayın ve ilgilenen arkadaşlar bir Cai Cai AI'yı kendi başlarına uygulayabilir ~
Referanslar:
arxiv: https: //arxiv.org/abs/1812.06164
https://ai.facebook.com/blog/inverse-cooking/https://research.fb.com/publications/inverse-cooking-recipe-generation-from-food-images/
