Yazar
Astekin, M., Özcan, S., Sözer, Hasan
Basım Tarihi
2019
Basım Yeri
-
IEEE
Konu
Log analizi, Dağıtık sistemler, Paralel işleme, Anormallik tespiti, Büyük veri, Makine öğrenimi
Tür
Belge
Dil
İngilizce
Dijital
Evet
Yazma
Hayır
Kütüphane
Özyeğin Üniversitesi
Demirbaş Numarası
978-1-7281-0857-5
Kayıt Numarası
3797ac85-8095-4a36-882c-5e9d8833b99c
Lokasyon
Bilgisayar Bilimi
Tarih
2019
Örnek Metin
Sistemin yürütülmesi sırasındaki anormallikler, sistem tarafından oluşturulan günlüklerin otomatik analiziyle tespit edilebilir. Ancak büyük ölçekli sistemler birkaç gün içinde on milyonlarca satırlık log üretebilmektedir. Geleneksel makine öğrenimi algoritmalarının merkezi uygulamaları bu tür veriler için ölçeklenebilir değildir. Bu nedenle yakın zamanda anormallik tespiti için dağıtılmış bir günlük analiz çerçevesi sunduk. Bu yazıda, bu çerçevenin mevcut çevrimdışı analiz yaklaşımı yerine artımlı analiz yoluyla anormallikleri daha erken tespit edebilen bir uzantısını tanıtıyoruz. Genişletilmiş versiyonda şu ana kadar biriken log verilerini periyodik olarak işleriz. Bu yaklaşımın etkinliğini değerlendirmek için bir kıyaslama veri setini temel alan kontrollü deneyler gerçekleştirdik. Analiz sıklığını ve her seferinde işlenen verinin boyutunu belirleyen deneylerimizi çeşitli periyotlarla tekrarladık. Sonuçlar, çevrimiçi analizimizin, çevrimdışı yaklaşımla elde edilen doğruluk düzeyini aynı tutarken anormallik tespit süresini önemli ölçüde artırabildiğini gösterdi. Doğruluğun tehlikeye girdiği tek istisnai durum, nadiren, belirli bir olay oturumuyla ilişkili tüm günlük verileri toplanmadan önce analizin tetiklenmesiyle ortaya çıkar.
DOI
10.1109/BigData47090.2019.9006593
