Yazar
Safayenikoo, P., Aktürk, İsmail
Basım Tarihi
2021-12
Basım Yeri
-
IEEE
Konu
Yapay sinir ağları, Eğitim süresi, Zamansal değişim, Ağırlık güncellemesi
Tür
Süreli Yayın
Dil
İngilizce
Dijital
Evet
Yazma
Hayır
Kütüphane
Özyeğin Üniversitesi
Demirbaş Numarası
2-s2.0-85119441655
Kayıt Numarası
e85402e5-53f5-4d04-a896-a323c5b0cefb
Lokasyon
Bilgisayar Bilimi
Tarih
2021-12
Örnek Metin
Yapay Sinir Ağları (YSA), Makine Öğrenimi (ML) alanında en gelişmiş teknikler olarak bilinmektedir ve tanıma, sınıflandırma ve segmentasyon gibi veri yoğun uygulamalarda olağanüstü sonuçlar elde etmiştir. Bu ağlar çoğunlukla, her katmanda çok sayıda filtre bulunan derin evrişim katmanları ve/veya tamamen bağlı katmanlar kullanır ve rekabetçi doğruluk elde etmek için büyük miktarda veri ve ayarlanabilir hiper parametreler gerektirir. Sonuç olarak, eğitimin depolama, iletişim ve hesaplama maliyetleri (özellikle eğitim için harcanan zaman), bunların ölçeğini büyütmek için sınırlayıcı faktörler haline gelir. Bu yazıda, YSA'lar için, varyasyon küçük olduğunda güncelleme ağırlıklarını atlamamıza izin veren zamansal varyasyonları gösteren doğruluğun iyileştirilmesinin gözleminden yararlanan yeni bir eğitim metodolojisi öneriyoruz. Bu tür zaman pencereleri sırasında, ağın hala eğitilmesini ve aşırı uyumun önlenmesini sağlayan önyargıyı güncellemeye devam ediyoruz; ancak güncelleme ağırlıklarını (ve zaman alan hesaplamalarını) seçerek atlıyoruz. Bu eğitim yaklaşımı, neredeyse aynı doğruluğu çok daha az hesaplama maliyetiyle elde eder ve eğitim için harcanan zamanı azaltır. Ağırlıkları seçerek güncellemek için önerilen eğitim yönteminin iki varyasyonunu geliştirdik ve bunları i) Ağırlık Güncelleme Atlama (WUS) ve ii) Öğrenme Hızı Planlayıcısı ile Ağırlık Güncelleme Atlama (WUS+LR) olarak adlandırdık. Bu iki yaklaşımı, CIFAR veri kümeleri üzerinde AlexNet, VGG-11, VGG-16, ResNet-18 gibi son teknoloji modelleri analiz ederek değerlendiriyoruz. Ayrıca AlexNet, VGG-16 ve Resnet-18 için ImageNet veri kümesini kullanıyoruz. Ortalama olarak, WUS ve WUS+LR, CIFAR-10 için eğitim süresini (taban çizgisine kıyasla) sırasıyla CPU'da %54 ve %50 ve GPU'da %22 ve %21 azalttı; CIFAR-100 için sırasıyla CPU'da %43 ve %35 ve GPU'da %22 ve %21; ve son olarak ImageNet için sırasıyla %30 ve %27.
DOI
10.1109/JETCAS.2021.3127907
Cilt
11
