Yazar
Özfatura, E., Özfatura, Ahmet Kerem, Gündüz, D.
Basım Tarihi
2021
Basım Yeri
-
IEEE
Tür
Belge
Dil
İngilizce
Dijital
Evet
Yazma
Hayır
Kütüphane
Özyeğin Üniversitesi
Demirbaş Numarası
978-153868209-8
Kayıt Numarası
61750359-461f-4a47-a58f-c465853dc910
Tarih
2021
Notlar
Mühendislik ve Fizik Bilimleri Araştırma Konseyi; Avrupa Araştırma Konseyi
Örnek Metin
Birleşik öğrenme (FL), birden fazla müşterinin, yerel veri kümelerini açıklamadan bir parametre sunucusunun (PS) yardımıyla paylaşılan bir modeli işbirliği içinde eğitmesine olanak tanır. Ancak, eğitilen modellerin boyutunun artması nedeniyle, istemciler ve PS arasındaki yinelemeli alışverişlerden kaynaklanan iletişim yükü genellikle performansta bir darboğaz haline gelir. İstemcilerden PS'ye model güncellemelerinin yalnızca küçük bir alt kümesinin iletildiği iletişim yükünü azaltmak için genellikle seyrek iletişim kullanılır. Bu yazıda, seyrek iletişim çerçevesinin, temeldeki modelin en önemli unsurlarını tanımlayıcı olarak kabul edilebileceği fikrine dayanan, yeni bir zamanla ilişkili seyrekleştirme (TCS) şemasını tanıtıyoruz. Bu nedenle TCS, FL'deki ardışık yinelemelerde seyrek temsiller arasındaki korelasyondan yararlanır, böylece seyrek temsilin kodlanmasından kaynaklanan ek yük, test doğruluğundan ödün vermeden önemli ölçüde azaltılabilir. CIFAR-10 veri seti üzerindeki kapsamlı simülasyonlar aracılığıyla, TCS'nin, nicemleme ile kullanıldığında iletişim yükünde 100 kat seyrekleştirme ve 2000 kata kadar azalma ile merkezi eğitim doğruluğu elde edebildiğini gösteriyoruz.
DOI
10.1109/ISIT45174.2021.9518221
