العودة إلى البحث

تحليل قابل للتطوير لسجلات النظام واسعة النطاق للكشف عن الحالات الشاذة

العنوان	تحليل قابل للتطوير لسجلات النظام واسعة النطاق للكشف عن الحالات الشاذة
المؤلف	استكين، ميرفي
تاريخ النشر:	2019-05-30
الموضوع	الحوسبة السحابية، الأنظمة الموزعة، هندسة البرمجيات، البيانات الضخمة، أنظمة الوقت الحقيقي، كشف الأحداث، الحوسبة المتوازية، البرمجيات مفتوحة المصدر، كشف الشذوذ، سجلات النظام، تحليل البرمجيات، اختبار البرمجيات
النوع	وثيقة
اللغة	الإنجليزية
رقمي	نعم
مخطوط	لا
المكتبة:	جامعة اوزيجين
رقم السجل	87508a8e-c26e-4a81-93ce-b02dab6f69ad
موقع المكتبة	قسم علوم الحاسوب
التاريخ	2019-05-30
نص عينة	توفر سجلات النظام معلومات تتعلق بحالة مكونات النظام والأحداث المختلفة التي تحدث أثناء وقت التشغيل. يمكن أن تدعم هذه المعلومات أنشطة اكتشاف الأخطاء وتشخيصها والتنبؤ بها. ومع ذلك، يعد تحليل وتفسير حجم ضخم من بيانات السجل مهمة صعبة، والتي لا تتوافق دائمًا مع البنية الموحدة. مع زيادة الحجم، يمكن للأنظمة الموزعة إنشاء سجلات كمجموعة ضخمة من الرسائل من عدة مكونات. وبالتالي، يصبح من غير الممكن رصد الحالات الشاذة واكتشافها بكفاءة وفعالية من خلال تطبيق تقنيات التحليل اليدوية أو التقليدية. كانت هناك العديد من الدراسات التي تهدف إلى اكتشاف الحالات الشاذة في النظام تلقائيًا من خلال تطبيق تقنيات التعلم الآلي على سجلات النظام. ومع ذلك، فهي ذات كفاءة محدودة وقابلية للتوسع. لقد حددنا ثلاثة أوجه قصور تسبب هذه القيود: 1) لا تقوم تقنيات تحليل السجل الحالية بتحليل رسائل السجل غير المنظمة بطريقة متوازية وموزعة. 2) تتم معالجة بيانات السجل بشكل أساسي في الوضع العادي وليس عبر الإنترنت. أي أنه يتم جمع بيانات السجل بالكامل مسبقًا، بدلاً من تحليلها قطعة قطعة بمجرد توفر المزيد من البيانات. ج) تستخدم الدراسات الحالية تطبيقات مركزية لخوارزميات التعلم الآلي. في هذه الأطروحة، نتناول أوجه القصور هذه لتسهيل التحليل الشامل والقابل للتطوير لسجلات النظام واسعة النطاق للكشف عن الحالات الشاذة. نقدم إطارًا للتحليل الموزع لرسائل السجل غير المنظمة. قمنا بتقييم إطار عملنا من خلال مجموعتين من رسائل السجل التي تم الحصول عليها من أنظمة حقيقية. أظهرت النتائج أن إطار عملنا يحقق تحسنًا في الأداء بنسبة تزيد عن 30% في المتوسط، مقارنةً بالمناهج الأساسية التي لا تستخدم المعالجة الموزعة بالكامل. بالإضافة إلى ذلك، فإنها تحافظ على نفس مستوى الدقة الذي تم الحصول عليه من خلال الدراسات المعيارية على الرغم من أنها لا تتطلب توفر الكود المصدري، على عكس تلك الدراسات. يتيح إطار عملنا أيضًا المعالجة عبر الإنترنت، حيث تتم معالجة بيانات السجل تدريجيًا في نوافذ زمنية متتالية. وتتمثل فائدة هذا النهج في أنه يمكن اكتشاف بعض الحالات الشاذة في وقت مبكر. ويكمن الخطر في إمكانية إعاقة الدقة. أظهرت النتائج التجريبية أن هذا الخطر نادرًا ما يحدث، فقط عندما تتقاطع حدود النافذة مع جلسة من الأحداث. ومن ناحية أخرى، يتم تقليل متوسط وقت الكشف عن الشذوذ بشكل كبير. أخيرًا، نقدم دراسة حالة تقيم التطبيقات الموزعة لخوارزميات PCA وK-means. قمنا بمقارنة دقة وأداء هذه الخوارزميات فيما يتعلق ببعضها البعض وفيما يتعلق بتطبيقاتها المركزية. وأظهرت النتائج أن الإصدارات الموزعة يمكن أن تحقق نفس الدقة وتوفر تحسينًا في الأداء من حيث الحجم مقارنة بإصداراتها المركزية. تبين أن أداء PCA أفضل من وسائل K، على الرغم من أننا لاحظنا أن الفرق بين الاثنين يميل إلى الانخفاض مع زيادة درجة التوازي. Bu bilgi hata tespit, teşhis ve tahmin faaliyetlerini destekleyebilmektedir. Bununla birlikte، معيارها الزمني هو سجل حافل لتحليل البيانات والتحليلات اليومية، وهو ما يجعل الأمر أكثر سهولة. Ноlçekleri arttıkça, Đıtık sistemler sistemler bileşenlerinden çok sayıda mesajın bir ığını halinde sistem logları olüşturabilmektedir. على الرغم من ذلك، استخدم مانويل تقنيات تحليلية معقدة للغاية ونظام تسجيل الدخول متطورًا ومتطورًا، وقد يتسبب في حدوث خلل في وقت واحد. يتم تشغيل نظام تسجيل الدخول تلقائيًا باستخدام تقنيات التشغيل غير الطبيعية للنظام التلقائي، ويتم تشغيله تلقائيًا من خلال نظام تسجيل الدخول. Ancak, bu çalışmalar verimlilik ve ölçeklenebilirlik açısından kısıtlı kalmaktadırlar. Bu kısıtlamalara neden olan üç eksiklik tespit etk: i) Mevcut log ayrıştırma teknikleri, yapılandırılmamış log mesajlarını paralel ve dağıtık bir şekilde ayrıştırmamaktadır. ii) سجل التحقق العام من السجل (akış halinde) değil, çevrimdışı (yığın) modda işlenmektedir. بعد ذلك، ستتم إعادة إرسال رسائل السجل الخاصة بك إلى جزء من السجل الذي تم التحقق منه مرة واحدة من خلال تحليل البيانات التالية. iii) Mevcut çalışmalar, makin öğrenmesi algoritmalarının Merkezi uygulamalarını kullanmaktadır. ومع ذلك، هناك حالات شاذة تحدث في نظام تسجيل بيانات أولي متطور للغاية لتحليل البيانات بشكل أفضل أو أكثر. Öncelikli olarak, yapılandırılmamış log mesajlarının dağıtık Analysis için bi cerçeve sunuyoruz. تأكد من أن أنظمة التحكم الأخرى قد تم حذفها من خلال إرسال رسائل البريد الإلكتروني إلى حسابك أو حذفها. Sonuçlar, cerçevemizin tomüyle dağıtık islem yapmayan temel yaklaşımlara kıyasla, ortalama olarak %30'dan fazla فناني الأداء artışı sağladığını göstermiştir. علاوة على ذلك، فإن cerçevemiz diğer çalışmalardanfarklı olarak kaynak bulunmasını gerektirmeden de, kıyaslama çalışmaları ile elde edilenlerle is a doğruluk seviyesini korumaktadır. في هذه الحالة، يتم التحقق من سجل نظام التحقق من خلال وقت محدد من خلال تحسين عملية التحقق من صحة السجل. ومع ذلك، فإن بعض الحالات الشاذة قد تؤدي إلى تفاقم المشكلة. علاوة على ذلك، فإن العديد من الحالات الشاذة قد تؤدي إلى مخاطر محتملة. قال دينيسيل، إنه يخاطر بمحاولة إبعاد نفسه عن مغامراته في وقت قريب من الحد الأدنى من العقاب. من ناحية أخرى، هناك بعض الحالات الشاذة التي قد تحدث بشكل غير طبيعي. ومع ذلك، فإن خوارزميات PCA وK-ortalama تعمل على تحسين أداء خوارزميات PCA وK. تعمل الخوارزميات والأداء على تحسين أداء الخوارزميات، حيث يتم استخدام البيبيرين في عمليات التسويق. من المؤكد أن هذه المهارات ستساعد في تحسين الأداء والتسويق من خلال تقديم أداء أفضل للأداء. أداء خوارزمية PCA, تم تصميم خوارزمية K-ortalama بشكل صحيح, كما أنها تعمل بشكل متوازي على تحسين أداء خوارزمية الحوسبة السحابية.

عرض في المصدر جامعة اوزيجين جامعة اوزيجين - محرك بحث الآثار التاريخية والأرشيفات والدوريات

جامعة اوزيجين

تحليل قابل للتطوير لسجلات النظام واسعة النطاق للكشف عن الحالات الشاذة

المؤلف استكين، ميرفي

تاريخ النشر 2019-05-30

الموضوع الحوسبة السحابية، الأنظمة الموزعة، هندسة البرمجيات، البيانات الضخمة، أنظمة الوقت الحقيقي، كشف الأحداث، الحوسبة المتوازية، البرمجيات مفتوحة المصدر، كشف الشذوذ، سجلات النظام، تحليل البرمجيات، اختبار البرمجيات

النوع وثيقة

اللغة الإنجليزية

رقمي نعم

مخطوط لا

المكتبة جامعة اوزيجين

رقم السجل 87508a8e-c26e-4a81-93ce-b02dab6f69ad

موقع المكتبة قسم علوم الحاسوب

التاريخ 2019-05-30

نص عينة توفر سجلات النظام معلومات تتعلق بحالة مكونات النظام والأحداث المختلفة التي تحدث أثناء وقت التشغيل. يمكن أن تدعم هذه المعلومات أنشطة اكتشاف الأخطاء وتشخيصها والتنبؤ بها. ومع ذلك، يعد تحليل وتفسير حجم ضخم من بيانات السجل مهمة صعبة، والتي لا تتوافق دائمًا مع البنية الموحدة. مع زيادة الحجم، يمكن للأنظمة الموزعة إنشاء سجلات كمجموعة ضخمة من الرسائل من عدة مكونات. وبالتالي، يصبح من غير الممكن رصد الحالات الشاذة واكتشافها بكفاءة وفعالية من خلال تطبيق تقنيات التحليل اليدوية أو التقليدية. كانت هناك العديد من الدراسات التي تهدف إلى اكتشاف الحالات الشاذة في النظام تلقائيًا من خلال تطبيق تقنيات التعلم الآلي على سجلات النظام. ومع ذلك، فهي ذات كفاءة محدودة وقابلية للتوسع. لقد حددنا ثلاثة أوجه قصور تسبب هذه القيود: 1) لا تقوم تقنيات تحليل السجل الحالية بتحليل رسائل السجل غير المنظمة بطريقة متوازية وموزعة. 2) تتم معالجة بيانات السجل بشكل أساسي في الوضع العادي وليس عبر الإنترنت. أي أنه يتم جمع بيانات السجل بالكامل مسبقًا، بدلاً من تحليلها قطعة قطعة بمجرد توفر المزيد من البيانات. ج) تستخدم الدراسات الحالية تطبيقات مركزية لخوارزميات التعلم الآلي. في هذه الأطروحة، نتناول أوجه القصور هذه لتسهيل التحليل الشامل والقابل للتطوير لسجلات النظام واسعة النطاق للكشف عن الحالات الشاذة. نقدم إطارًا للتحليل الموزع لرسائل السجل غير المنظمة. قمنا بتقييم إطار عملنا من خلال مجموعتين من رسائل السجل التي تم الحصول عليها من أنظمة حقيقية. أظهرت النتائج أن إطار عملنا يحقق تحسنًا في الأداء بنسبة تزيد عن 30% في المتوسط، مقارنةً بالمناهج الأساسية التي لا تستخدم المعالجة الموزعة بالكامل. بالإضافة إلى ذلك، فإنها تحافظ على نفس مستوى الدقة الذي تم الحصول عليه من خلال الدراسات المعيارية على الرغم من أنها لا تتطلب توفر الكود المصدري، على عكس تلك الدراسات. يتيح إطار عملنا أيضًا المعالجة عبر الإنترنت، حيث تتم معالجة بيانات السجل تدريجيًا في نوافذ زمنية متتالية. وتتمثل فائدة هذا النهج في أنه يمكن اكتشاف بعض الحالات الشاذة في وقت مبكر. ويكمن الخطر في إمكانية إعاقة الدقة. أظهرت النتائج التجريبية أن هذا الخطر نادرًا ما يحدث، فقط عندما تتقاطع حدود النافذة مع جلسة من الأحداث. ومن ناحية أخرى، يتم تقليل متوسط وقت الكشف عن الشذوذ بشكل كبير. أخيرًا، نقدم دراسة حالة تقيم التطبيقات الموزعة لخوارزميات PCA وK-means. قمنا بمقارنة دقة وأداء هذه الخوارزميات فيما يتعلق ببعضها البعض وفيما يتعلق بتطبيقاتها المركزية. وأظهرت النتائج أن الإصدارات الموزعة يمكن أن تحقق نفس الدقة وتوفر تحسينًا في الأداء من حيث الحجم مقارنة بإصداراتها المركزية. تبين أن أداء PCA أفضل من وسائل K، على الرغم من أننا لاحظنا أن الفرق بين الاثنين يميل إلى الانخفاض مع زيادة درجة التوازي. Bu bilgi hata tespit, teşhis ve tahmin faaliyetlerini destekleyebilmektedir. Bununla birlikte، معيارها الزمني هو سجل حافل لتحليل البيانات والتحليلات اليومية، وهو ما يجعل الأمر أكثر سهولة. Ноlçekleri arttıkça, Đıtık sistemler sistemler bileşenlerinden çok sayıda mesajın bir ığını halinde sistem logları olüşturabilmektedir. على الرغم من ذلك، استخدم مانويل تقنيات تحليلية معقدة للغاية ونظام تسجيل الدخول متطورًا ومتطورًا، وقد يتسبب في حدوث خلل في وقت واحد. يتم تشغيل نظام تسجيل الدخول تلقائيًا باستخدام تقنيات التشغيل غير الطبيعية للنظام التلقائي، ويتم تشغيله تلقائيًا من خلال نظام تسجيل الدخول. Ancak, bu çalışmalar verimlilik ve ölçeklenebilirlik açısından kısıtlı kalmaktadırlar. Bu kısıtlamalara neden olan üç eksiklik tespit etk: i) Mevcut log ayrıştırma teknikleri, yapılandırılmamış log mesajlarını paralel ve dağıtık bir şekilde ayrıştırmamaktadır. ii) سجل التحقق العام من السجل (akış halinde) değil, çevrimdışı (yığın) modda işlenmektedir. بعد ذلك، ستتم إعادة إرسال رسائل السجل الخاصة بك إلى جزء من السجل الذي تم التحقق منه مرة واحدة من خلال تحليل البيانات التالية. iii) Mevcut çalışmalar, makin öğrenmesi algoritmalarının Merkezi uygulamalarını kullanmaktadır. ومع ذلك، هناك حالات شاذة تحدث في نظام تسجيل بيانات أولي متطور للغاية لتحليل البيانات بشكل أفضل أو أكثر. Öncelikli olarak, yapılandırılmamış log mesajlarının dağıtık Analysis için bi cerçeve sunuyoruz. تأكد من أن أنظمة التحكم الأخرى قد تم حذفها من خلال إرسال رسائل البريد الإلكتروني إلى حسابك أو حذفها. Sonuçlar, cerçevemizin tomüyle dağıtık islem yapmayan temel yaklaşımlara kıyasla, ortalama olarak %30'dan fazla فناني الأداء artışı sağladığını göstermiştir. علاوة على ذلك، فإن cerçevemiz diğer çalışmalardanfarklı olarak kaynak bulunmasını gerektirmeden de, kıyaslama çalışmaları ile elde edilenlerle is a doğruluk seviyesini korumaktadır. في هذه الحالة، يتم التحقق من سجل نظام التحقق من خلال وقت محدد من خلال تحسين عملية التحقق من صحة السجل. ومع ذلك، فإن بعض الحالات الشاذة قد تؤدي إلى تفاقم المشكلة. علاوة على ذلك، فإن العديد من الحالات الشاذة قد تؤدي إلى مخاطر محتملة. قال دينيسيل، إنه يخاطر بمحاولة إبعاد نفسه عن مغامراته في وقت قريب من الحد الأدنى من العقاب. من ناحية أخرى، هناك بعض الحالات الشاذة التي قد تحدث بشكل غير طبيعي. ومع ذلك، فإن خوارزميات PCA وK-ortalama تعمل على تحسين أداء خوارزميات PCA وK. تعمل الخوارزميات والأداء على تحسين أداء الخوارزميات، حيث يتم استخدام البيبيرين في عمليات التسويق. من المؤكد أن هذه المهارات ستساعد في تحسين الأداء والتسويق من خلال تقديم أداء أفضل للأداء. أداء خوارزمية PCA, تم تصميم خوارزمية K-ortalama بشكل صحيح, كما أنها تعمل بشكل متوازي على تحسين أداء خوارزمية الحوسبة السحابية.