Üçüncü Bilimler Akademisi Akademisyeni Demetri Terzopoulos: Bireysel dövüşün derin öğrenme yönteminden kurtulun, "antik ve moderni birleştirmek" geleceğin yönü olacakCCF-GAIR 2019
Editörün notu: 12-14 Temmuz tarihleri arasında 4. Küresel Yapay Zeka ve Robotik Zirvesi 2019 (CCF-GAIR 2019) resmi olarak Shenzhen'de yapıldı. Zirve, Lei Feng.com, Hong Kong Çin Üniversitesi (Shenzhen) tarafından organize edilen ve Shenzhen Yapay Zeka ve Robotik Enstitüsü tarafından ortaklaşa düzenlenen Çin Bilgisayar Federasyonu (CCF) tarafından düzenleniyor. Yerli yapay zeka alanında güçlü bir sınır ötesi değişim ve işbirliği platformu oluşturmayı amaçlayan üç ana sanayi ve yatırım alanında değişim ve fuar etkinliği.
14 Temmuz'da Kraliyet Bilimler Akademisi ve Kanada Bilimler Akademisi üyesi ve bilgisayarla görme alanında önde gelen bir isim olan Profesör Demetri Terzopoulos, "AI'nın Tıbbi Görüntüleme ve Sağlık Hizmetlerine Uygulanması" konulu bir konuşma yaptı.
Yapay zeka tıp oturumunun açılış konuğu olan Profesör Demetri Terzopoulos, bilgisayarlı görü tarihini sistematik olarak gözden geçirdi: ilk örüntü tanıma yönteminden model tabanlı yönteme ve şimdi derin öğrenme aşamasına geçildi.
1978'den beri Profesör Demetri Terzopoulos, tıbbi görüntülerin analizini kullanmaya çalıştı. 1980'lerde Demetri Terzopoulos, deforme olabilen modellere dayalı tıbbi görüntüleme araştırmalarına başladı.
1987'de Demetri Terzopoulos, ünlü Snake modelini önermek için Kass ve diğerleri ile işbirliği yaptı ve ortak yayınlanan makale, bilgisayar bilimlerinde en çok alıntı yapılan makalelerden biri olan IJCV'nin Marr Prize özel sayısının ilk sayısında da ödül aldı. . Model önerildikten sonra, çeşitli aktif kontur tabanlı görüntü bölütleme, anlama ve tanıma yöntemleri gelişti.
Profesör konuşmasında, aktif kontur modelini kullanarak birkaç görüntü segmentasyonu ve rekonstrüksiyon vakası sıraladı.
Profesör Demetri Terzopoulos, bilgisayar bilimi, yapay zeka ve bilgi teknolojisinin, gelecek için en büyük yenilik kaynağı olan tıp mesleğini güçlendirmek için muazzam bir potansiyele sahip olduğuna inanıyor. Bununla birlikte, "Son teknoloji veri odaklı makine öğrenimi teknolojimiz ve güçlü model tabanlı yöntemlere sahibiz, ancak derin öğrenmenin tek başına tüm sorunları çözebileceğine körü körüne inanamayız."
Profesör Demetri Terzopoulos'un ortaya koyduğu bu bakış açısı, derin öğrenmenin son yıllardaki "eğitim için çok fazla veri gerektirmesi" ve "yetersiz yorumlanabilirlik" gibi bazı dezavantajlarını da yansıtıyor.
Lei Feng.com ile yaptığı röportajda Profesör Demetri, derin öğrenmenin beş veya altı yıllık bir geçmişi olduğunu ve kısa sürede birçok farklı alanı etkilediğini de itiraf etti. Şimdi, derin öğrenme, aynı zamanda normal bir fenomen olan birçok zorlukla karşı karşıyadır.Herhangi bir teknolojinin gelişimi düz bir çizgide yükselmeyecek ve her zaman düşük bir ebb ile karşılaşacaktır.
"Lezyon segmentasyonu gerçekten zor bir sorun. Etiketlemenin pahalı ve tutarlılığın zayıf olduğu görevlerde derin ağlarda çok iyi performans alamıyoruz. Diğer bir büyük sorun kayıttır. Birden çok veri kümeniz, birden çok görüntü modeliniz var, bunların kaydedilmesi gerekiyor. Örneğin kardiyak analiz yaparken vücuttaki damar yapıları tıpkı bir kişinin hareket etmesi gibi kan pompaladığı için takip önemlidir.Bu nedenle görüntülerin kaydı bölütleme gibi adımlarda olduğu gibi çok zordur. uygulamaya."
Bu nedenle, son zamanlardaki ilgisinin, daha güçlü tıbbi görüntü analizi algoritmaları üretmek için makine öğrenimi yöntemlerini önceki model tabanlı tekniklerle birleştirmek olduğunu ortaya koydu.
"Model tabanlı yöntemler, segmentasyon sürecinde neler olup bittiğini daha iyi açıklayabilir. Aslında, bir yöntemle etkileşime girebilirsiniz. Model tabanlı tekniklerin birçok avantajı vardır, örneğin bazıları çok fazla eğitim verisi gerektirmez. . Öyleyse şunu ifade edin, bence geleceğin yolu iki teknolojiyi birleştirmek.
Şu anda Profesör Demetri Terzopoulos, Voxel Technology'nin kurucu ortağı ve baş bilim adamıdır.
Voxel'in ana lokasyonları Şanghay ve Los Angeles olan çok genç bir şirket olduğunu söyledi. Los Angeles'ta bir yer kurmanın nedeni, şirketin Los Angeles'taki California Üniversitesi'ne (UCLA) çok yakın olmasıdır, çünkü UCLA, batı Amerika Birleşik Devletleri'ndeki (UCLA Tıp Merkezi) en iyi iki hastaneden birine sahiptir. tıp fakültesi ve birçok yüksek kaliteli tıp programı.
Tabii ki, belirli hastalık türleri açısından, Voxel Technology genel gelişim yönü olarak göğüs BT, fundus renkli fotoğraflar, koroner CTA ve cilt dört kapsamlı hastalık çözümünü alır. Profesör Demetri, "Şimdiye kadar tüm hastalık sistemi için sistemik bir teknoloji geliştirdik ve bence bu bizim en büyük başarılarımızdan biri."
Profesör Demetri Terzopoulo'nun Lei Feng.com'un orijinal niyeti değiştirmeden düzenlediği ve düzenlediği canlı konuşmasının içeriği aşağıdadır:
Demetri Terzopoulos: Herkese merhaba. Beni tanıştırdığınız için teşekkür ederim ev sahibi. Konferansı düzenleyenlere ve tüm personele bu etkinliği organize ettikleri için teşekkür ederim.
Bugün sizlere yapay zekanın görsel hesaplama ve tıp alanındaki uygulamalarından bahsetmek istiyorum.
Bildiğiniz gibi, tıbbi görüntüleme alanında bazı itici güçler var. Birincisi görüntü tanımamız çok hızlı gelişiyor ve çok fazla tıbbi veri biriktirdik.Hasta geçmişi hakkında çok fazla tıbbi kayıt verisi biriktirdik.Bu tür veri ve teknolojinin desteğiyle daha çok şey başarabiliriz.
Ama şimdi bazı zorluklar var ve tıp hala bazı teknolojilerden yoksun. Çin gibi büyük bir nüfusa sahip bir ülkede, tıbbi bakım talebi hala çok büyük. İşte bazı veriler, her yıl çok sayıda tanı var ve bunların çoğu tıbbi bakımda nispeten yaygın olan yanlış. Bu yanlış tanılar tedavi sırasında erken veya geç ortaya çıkabilir.
Bu tür zorluklarla nasıl başa çıkılır? Sağlık hizmetlerini güçlendirmek için bilgisayarların gücünü kullanabilmek istiyoruz.
Tıbbi görüntüleme söz konusu olduğunda hangi spesifik sorunları ele almamız gerekiyor? Görüntü bölütleme, kayıt, görüntü rekonstrüksiyonu, modelleme, hareket modeli analizi ve bilgisayar destekli teşhis ve tedavi sırasında takip gibi sorunlarla karşılaşacağız.
Tıp alanında bilgisayar teknolojisinin evriminin tarihine bir göz atın.
Başlangıçta bir örüntü tanıma yaklaşımı kullandık ve daha sonra model tabanlı bir yaklaşıma ve şimdi daha çok bir derin öğrenme yaklaşımına geçtik.
ilk aşama
1970'lerde araştırmaya dahil oldum. Aynı zamanda, örüntü tanıma üzerine bunun gibi bazı makaleler de vardı. Bu benim yaptığım bir çalışma.O zamanlar denetimli bir öğrenme modeliydi.Bilgisayarı eğitmek için çok sayıda kemik dokusu resmi kullandık, eğitim yoluyla kemik displazisini ve doğuştan kemik kusurlarını teşhis edebileceğini umuyorduk.
ikinci sahne
1980'lere gelindiğinde, deforme olabilen modeller dediğimiz model tabanlı tıbbi görüntüleme üzerinde çalışıyordum. O zamandan beri yeni bir araştırma yöntemi oldu ve bilgisayarla görme ve görüntü analizi kullanıyorduk.
O zamanlar, bu araştırma nispeten başarılıydı, çünkü yukarıdan aşağıya ve aşağıdan yukarıya yöntemlerin bir kombinasyonunu kullandı ve aynı zamanda şekil ve hareketle ilgili orijinal sınırlamalarımızda atılımlar yaptı, bu nedenle yeni bir gelişmeydi. Model tabanlı tıbbi görüntülemede, aynı zamanda bazı anatomi bilgilerini de kullanırız.
Şuna bir göz atabilirsiniz, bu çok ünlü bir aktif kontür modelidir, Yılanlar olarak anılır. Meslektaşlarım ve ben bu tür modelleri 1987 yılında tanıtmaya başladık. Bu, nesnenin kenar konturunu tanımlayabilen ve konturu kırmızı bir çizgiyle işaretleyebilen Snake modeliyle etkileşimli bir deneydir.
Bu, dudakların kenarlarını özetleyen ikinci küçük video. Dudaklar hareket etse de yine de izlenebilirler, bu da bilgisayarla görmenin bir parçası ve artık tıpta yaygın olarak kullanılıyor.
Bu benim bizzat katıldığım bir görüntü bölütlemenin 3 boyutlu rekonstrüksiyonudur. Bu görüntü nöron dendritlerinin organizasyonudur.Beyindeki bir doku olan kesitini görebiliriz. Şimdi, nöral dendritleri farklı renklerde çizgilerle ana hatlarıyla belirtmek için Snake model aracını kullanıyoruz ve son olarak nöron dendritlerinin üç boyutlu bir yeniden yapılandırma modeli oluşturuyoruz. Bu çalışma, sinir ağlarındaki araştırmamızı çok güçlü bir şekilde ilerletiyor.
Bu, bir retina anjiyogramının görüntüsü olan aktif kontur modelini kullanan başka bir deneydir.
Başka bir örnek, meslektaşlarımla başka bir yerde yaptığım bir proje. Bu konuşan bir kişidir.Resimde dilin hareketini algılamak için ultrason kullanıyoruz ve konuşurken dilin nasıl hareket ettiğini görüyoruz.Bu model çok sağlamdır ve gürültü çıkarabilir ve oluşturulan resimler de nispeten nettir.
Sol ventrikülümüzü gösteren ve sol ventrikülün hareketini izleyen dört boyutlu, ikinci resimdeki gibi üç boyutlu bir görüntü elde edebiliriz.
Bu uygulama, tipik bir durum olan bezlerin görüntü segmentasyonu ile ilgilidir.
Bu, kontur modelinin bir parçasıdır, öncelikle iki boyutlu bir görüntü, tüm değişimi görebiliriz. Soldaki çizimde, bezin şeklini görebilirsiniz, orijinal eğriyi daha küçük eğrilere böldük ve sonunda ana hatlarını daha kesin olarak bulmamıza yardımcı olmak için yeniden yapılandırılabilir. İşte aktif kontur modelleri için bazı kullanım durumları.
Esas olarak eğitilebilir veriler kullanılarak gerçekleştirilen başka bir deforme olabilir modele bakalım. Burada algoritmik bir model oluşturulur ve bu görüntüdeki her verinin çok boyutlu uçtan uca bir model olan bir noktası vardır.
Üzerinde çalışacağımız daha fazla veri olsaydı, bir nokta bulutu elde ederdik, her noktanın belirli bir bilgisi olur ve her noktanın bir görüntüsü olur. Boyut azaltma yöntemiyle, ortalamasını daha net bir şekilde hesaplayabilir ve ardından bu Priors modelinde çok önemli olan bazı eliptik çizgiler veya diğer matematiksel modeller oluşturulabilmesi için üzerinde matematiksel işlemler yapabiliriz. Yüksek boyutlu nokta bulutu modelinde farklı yönler ve spesifik bilgiler vardır.
Burada birçok özel uygulama var. Bunun gibi, 1992'de Taylor tarafından önerilen Aktif Şekil Modeli veya kısaca ASM'dir. Burada verileri açıkladık. Sağda dinamik bir resim var, model aktif olarak takılacak. Pek çok resimden bazı veriler alıyoruz ve eğitim yoluyla otomatik olarak böyle bir uyum sağlayabiliyoruz.
Bu, deforme olabilen organik form dediğimiz deforme olabilen modelin son halidir. Beyinde bilgiden sorumlu yapı olan ve beyinde çok önemli bir role sahip olan korpus kallozumun yapısı böyledir. Korpus kallozumun spesifik yapısını görebiliriz. Etrafında sinirbilimimizle çok ilgili olan daha yumuşak lifli doku vardır. Bunu inceleyerek, beynin kararsızlığının bazı nedenlerini bulabiliriz.
Korpus kallozumun yerini belirlemek için bu modeli kullanarak, yapısal özelliklerinin neler olduğunu görebilmek için şeklini ana hatlarıyla belirtebilirsiniz. Konumlandırma hızının çok yüksek olduğunu ve tamamen otomatik bir görüntü bölütleme işlemi olan görüntü bölütleme işlemini doğru bir şekilde yapabildiğini görebiliyoruz. Yavaş oynatmaya bir göz atabiliriz, şimdi arama yapıyor, çok doğru bir görüntü segmentasyon sonucu elde edene kadar konumunu sürekli olarak ayarlıyor.
Deforme olabilen modele ait birkaç form tanıttım ve size tam otomatik görüntü bölütleme işlemini gösterdim.Spesifik detaylar size verilmeyecektir.Bu işlemlerin tamamen otomatik olduğunu vurgulamak istiyorum.
Beynin ve iki ventrikülün organizasyonu aracılığıyla ventriküllerin bu tarafta nerede olduğuna dair iyi bir tanım elde etmeye başlarız. Bu yapıldıktan sonra iki kız evlat üretilir, kesilen çekirdekler vardır, bu kıza tepki verir ve daha sonra beynin böyle bir bölümüne girer. Bu, işbirlikçi bir şekilde yürütülen, etkili bir şekilde bölümlere ayrılabilen ve tıbbi görüntüleme analizi için yapay zeka model teknolojisine dayanan bir organın yürütülmesidir.
Görüntüleme teknolojisine en son veri odaklı makine öğrenimi katkımız hakkında konuşun, yani derin yapay zeka algoritmaları, bilgisayarla görme alanında devrim niteliğinde ilerlemeler sağlamıştır.
Tıbbi görüntülemede, makine öğrenimi de sıcak bir konudur. Bu yeni bir makale ve bu konuyla ilgili binlerce makale ortaya çıktı. Örnek olarak akciğer kanserini ele alalım: Her yıl 18 milyondan fazla yeni akciğer kanseri vakası oluyor ve her yıl 15 milyon insan akciğer kanserinden ölüyor.
Burada akciğer nodülü tespiti için derin evrişimli sinir ağları gerçekleştiriyoruz. Sinir ağının yapısal analizinin çok seviyeli olduğu görülebilir. Resimdeki evrişimsel sinir gibi, bilgi işlem birimi-nöronun, düşük çözünürlüklü kümelenmenin bir alt ağ oluşturduğunu görebilirsiniz. Tıbbi görüntüleme için derin evrişimli sinir ağlarının analizi olan önceki özellik ağını analiz edin.
Bu analizin önemli bir yönü, pulmoner nodüllerin segmentasyonunda, bazıları malign tümörlü ve bazıları malign tümörsüz olmak üzere çeşitli yüzdelerin olmasıdır.Böyle bir görüntüleme analizinin segmentasyonu çok önemlidir.Böyle bir mimariyi göstermek için derin öğrenme kullandık ( PPT'ye bakın).
Burada bir kağıt var. Bu çalışma neden en iyi makaleyi kazandı? Çünkü, böyle bir görüntü üzerinde iyi yorumlanan, akciğer nodüllerinin tam otomatik, stereoskopik segmentasyonudur.
Bunun, otomatik segmentasyondan daha fazla çıktının olacağı ve tıbbi görüntülemeyi daha verimli hale getireceği bir geleceği temsil eden bir mega trend olduğuna inanıyorum. Derin öğrenme ve deforme olabilen modellerin birleşiminin veriye dayalı tıbbi görüntü analizini mümkün kılacağına inanıyorum.
Laboratuvarımızda aktif bir DLAC kontur modeli bulunmaktadır. Evrişimsel sinir ağının mimarisinin kısıtlı zaman nedeniyle ayrıntılı olarak yorumlanamayacağını görebiliriz, ancak anahattın alt seviyesinde derin bir sinir ağını ek katmanlarla birleştirdiğini görebiliriz. Entegre bir model olarak, aktif bir kontur modeli olarak, temelde eğitim için bir derin öğrenme çerçevesi kullanılarak aktif eğitim gerçekleştirilebilir.
Bu resimden, tıbbi görüntüleme verileriyle ilgili uçtan uca eğitimin sonuçlarını görebilirsiniz.Otomatik yol, manuel yoldan daha iyi sonuçlara sahiptir.Bu analiz ve segmentasyon için, sıkı zaman durumunda, makine otomatik yolu Daha iyi manuel çalışma yerine, farklı tıbbi görüntüleme analizleri için kullanılabilir ve hastaların hayatta kalma oranını daha iyi artırabilir. Bazı lezyonların sınır şeklini manuel olarak tahmin etmek zordur, ancak bu model bunu insanlardan daha iyi yapar.
Bu tür özelliklerle, tıbbi görüntüleme analizindeki AI derin öğrenme rolümüz, tıbbi bilgileri yorumlamamıza yardımcı olacak önemli bilgiler sağlayabilecek doğru ve zamanında geri bildirim sağlayarak maliyetleri düşürmemize ve verimliliği artırmamıza olanak tanır. , Hastanın müjdesini iyileştirmek için daha az tıbbi yanlış teşhis.
Gelecekte, AI destekli tıbbi sistemimiz, büyük veri girişi yoluyla buluta dayalı patoloji ve tıbbi görüntüleme teknolojisini iyileştirebilir. AI motoru, Web tabanlı otomatik olarak tıbbi raporlar oluşturabilir. Doktorlara daha iyi yardımcı olmak için raporlama yolları iş verimliliğini ve iş akışını iyileştirin.
Yüksek lisans öğrencim Dr. Ding Xiaowei tarafından kurulan VoxelCloud Voxel Technology, 2016 yılında Şanghay'da ağırlıklı olarak profesyonel görüntüleme ekipmanlarından ev cep telefonlarına kadar lanse edildi.Sistemin daha iyi yorumlanabilen derin öğrenme algoritmaları başta olmak üzere yapay zeka algoritmaları vardır. Bir hastanın tıbbi görüntüsü.
VoxelCloud Voxel Technology gibi bir start-up'taki birinci sınıf Ar-Ge ekibimiz, yapay zeka özellikli tıp için kritik öneme sahip yüzlerce tıbbi kurum ve hastane ile işbirliği yaparak bu teknolojileri gerçek tıbbi senaryolarda uygulamak için çok çalışmaya devam ediyor. VoxelCloud AI'nın gerçek dünyadaki sonuçlarını geçmişte on binlerce ve yüz binlerce insan üzerinde yayınlayacağız, AI'nın yükselen bir tıbbi kaynak olarak ulusal tıbbi sistemde, bireysel tıbbi kurumlarda önemli bir rol oynadığına dair güçlü bir kanıt olarak yayınlayacağız. ve hatta aileler. önemli rol.
Resimde mevcut müşterilerimizden ve Ar-Ge ortaklarımızdan bazıları yer almaktadır. Gelecekte, büyük tıbbi kurumlara yerleştirildiğinde, sistemimiz günde 3,5 saat içinde on binlerce CT raporunu geri besleyebilir.
Aşağıdaki resimler oftalmoloji ve cilt hastalıklarındaki ortaklarımızdır.Oftalmoloji departmanı Los Angeles County Kamu Tıp Sistemi, Eyepacs, Çin Ulusal Standardize Metabolik Hastalık Yönetim Merkezi MMC, Union Hastanesi, Tongren Hastanesi, Guangdong Zhongshan Göz Merkezi ve 200'den fazla merkezi içermektedir. , Skin yapay zekası, Harvard Tıp Okulu gibi Çin ve Amerika Birleşik Devletleri'ndeki tanınmış kurumlarla işbirliği yapmaktadır.
Burada Sequoia Capital, Tencent gibi yatırım kuruluşları var.2018 yılı itibari ile finansman miktarımız 80 milyon ABD dolarıdır.
Özetle, bilgisayar bilimi, yapay zeka ve bilgi teknolojisi, geleceğin en büyük inovasyon kaynağı olan tıp kariyerini güçlendirmek için büyük bir potansiyele sahiptir. Yukarıda bahsedilen aktif kontur modeli de dahil olmak üzere en son veriye dayalı makine öğrenme teknikleri ve güçlü model tabanlı yöntemlerin bir kombinasyonuna sahibiz, ancak derin öğrenmenin tek başına tüm sorunları çözebileceğini körü körüne varsayamayız.
Bu nedenle, tıbbi amacın gelişimini desteklemek için derin öğrenme ve yapay zekamızdan tam olarak yararlanmak için diğer teknolojilerle birleştirmemiz, yani geleneksel tıp topluluğuyla işbirliği yapmamız gerekiyor. Geleceğini daha iyi anlamak, tıp mesleğindeki gerçek sorunları çözmek ve daha fazla hastaya fayda sağlamak için çok fazla araştırmaya ihtiyaç var.
Sabrınız için tekrar teşekkür ederiz.
