Yazar
Özer, Sedat, Ege, M., Özkanoglu, M. A.
Basım Tarihi
2022-09
Basım Yeri
-
Elsevier
Konu
Verimli öğrenme, Çok modlu füzyon, Çok zamanlı füzyon
Tür
Süreli Yayın
Dil
İngilizce
Dijital
Evet
Yazma
Hayır
Kütüphane
Özyeğin Üniversitesi
Demirbaş Numarası
0031-3203
Kayıt Numarası
55adc5dc-a7b3-43cc-b100-b75f240fb973
Lokasyon
Bilgisayar Bilimi
Tarih
2022-09
Notlar
TÜBİTAK
Örnek Metin
Örüntü analizindeki son gelişmeler, birçok araştırmacıyı çeşitli görüntü işleme uygulamalarında derin öğrenmeye dayalı çözümler geliştirmeye odaklanmaya motive etmiştir. Çok modlu görüntülerin birleştirilmesi, farklı modlardan gelen farklı bilgilerin görsel olarak daha anlamlı ve bilgilendirici bir şekilde birleştirilmesine ilgi duyulan uygulama alanlarından biri olmuştur. Bu amaçla, öncelikle her bir yöntemden göze çarpan özellikleri çıkarmak ve daha sonra bunları mümkün olduğunca verimli ve bilgilendirici bir şekilde birleştirmek önemlidir. Çok modlu görüntülerin birleştirilmesiyle ilgili son literatür, hem görünür (RGB) hem de kızılötesi (IR) görüntüleri birleştiren çok sayıda derin çözümü rapor etmektedir. Bu yazıda, literatürde mevcut olan çeşitli derin çözümlerin performansını inceleyerek şu soruya yanıt arıyoruz: "Çok modlu görüntüleri birleştirmek için gerçekten daha derin ağlara ihtiyacımız var mı?" Bu soruya bir cevap bulmak için, RGB (görünür) görüntüleri kızılötesi (IR) görüntülerle birleştiren ve en son teknoloji sonuçlarını raporlayan Siyam ağlarına dayalı yeni bir mimari sunuyoruz. Daha derin ağlar kullanmanın (veya ek katmanlar eklemenin) önerdiğimiz çözüme önemli bir performans katıp katmadığını görmek için yukarıda belirtilen soruyu akılda tutarak mimarideki katman sayılarını artırmaya yönelik kapsamlı bir analiz sunuyoruz. En az sayıda eğitilebilir parametre gerektirirken, verilen görünür ve IR görüntü çiftlerini çoklu performans ölçümlerinde görsel olarak birleştirmenin en son teknoloji sonuçlarını rapor ediyoruz. Deneysel sonuçlarımız, sığ ağların (bu yazıda önerdiğimiz çözümlerde olduğu gibi), literatürde daha önce önerilen derin ağların yanı sıra hem görünür hem de IR görüntüleri birleştirebileceğini göstermektedir (eğitilebilir parametrelerin toplam sayısını %96,5'e kadar azaltmayı başardık, 2.625 eğitilebilir parametreyi 74.193 eğitilebilir parametreyle karşılaştırdık).
DOI
10.1016/j.patcog.2022.108712
Cilt
129
