بازگشت به جستجو

حذف وزن به روز رسانی: کاهش زمان آموزش شبکه های عصبی مصنوعی

عنوان	حذف وزن به روز رسانی: کاهش زمان آموزش شبکه های عصبی مصنوعی
نویسنده	صفائنیکو، ص، آکتورک، اسماعیل
تاریخ انتشار:	2021-12
محل انتشار	- IEEE
موضوع	شبکه های عصبی مصنوعی، زمان آموزش، تغییرات زمانی، به روز رسانی وزن
نوع	دوره ای
زبان	انگلیسی
دیجیتال	بله
نسخه خطی	خیر
کتابخانه:	دانشگاه اوزیغین
شناسه دارایی کتابخانه	2-s2.0-85119441655
شماره ثبت	e85402e5-53f5-4d04-a896-a323c5b0cefb
محل کتابخانه	علوم کامپیوتر
تاریخ	2021-12
متن نمونه	شبکه‌های عصبی مصنوعی (ANN) به عنوان تکنیک‌های پیشرفته در یادگیری ماشین (ML) شناخته می‌شوند و به نتایج برجسته‌ای در برنامه‌های کاربردی داده فشرده، مانند تشخیص، طبقه‌بندی و تقسیم‌بندی دست یافته‌اند. این شبکه‌ها عمدتاً از لایه‌های عمیق کانولوشن و/یا لایه‌های کاملاً متصل با فیلترهای زیادی در هر لایه استفاده می‌کنند که برای دستیابی به دقت رقابتی، نیاز به مقدار زیادی داده و فراپارامترهای قابل تنظیم دارند. در نتیجه، هزینه‌های ذخیره‌سازی، ارتباطات و محاسباتی آموزش (به‌ویژه زمان صرف شده برای آموزش) به عوامل محدودکننده‌ای برای افزایش آن‌ها تبدیل می‌شوند. در این مقاله، ما یک روش آموزشی جدید برای شبکه‌های عصبی مصنوعی پیشنهاد می‌کنیم که از مشاهده بهبود دقت، تغییرات زمانی را نشان می‌دهد که به ما امکان می‌دهد از به‌روزرسانی وزن‌ها در زمانی که تغییرات جزئی است، بگذریم. در طول چنین پنجره های زمانی، ما به روز رسانی سوگیری را ادامه می دهیم که تضمین می کند شبکه همچنان آموزش می بیند و از نصب بیش از حد جلوگیری می کند. با این حال، ما به طور انتخابی از به روز رسانی وزن ها (و محاسبات وقت گیر آنها) صرف نظر می کنیم. این رویکرد آموزشی عملاً به همان دقت با هزینه محاسباتی بسیار کمتر دست می یابد و زمان صرف شده برای آموزش را کاهش می دهد. ما دو نوع از روش تمرینی پیشنهادی را برای به‌روزرسانی انتخابی وزن‌ها توسعه دادیم، و آنها را به عنوان i) پرش به‌روزرسانی وزن (WUS)، و دوم) پرش به‌روزرسانی وزن با زمان‌بندی نرخ یادگیری (WUS+LR) نامیدیم. ما این دو رویکرد را با تجزیه و تحلیل مدل‌های پیشرفته، از جمله AlexNet، VGG-11، VGG-16، ResNet-18 در مجموعه داده‌های CIFAR ارزیابی می‌کنیم. ما همچنین از مجموعه داده ImageNet برای AlexNet، VGG-16 و Resnet-18 استفاده می کنیم. به طور متوسط، WUS و WUS+LR زمان آموزش (در مقایسه با خط پایه) را به ترتیب 54% و 50% در CPU و 22% و 21% در GPU برای CIFAR-10 کاهش دادند. و 43% و 35% در CPU و 22% و 21% در GPU برای CIFAR-100. و در نهایت به ترتیب 30% و 27% برای ImageNet.
DOI	10.1109/JETCAS.2021.3127907
Cilt	11

مشاهده در منبع دانشگاه اوزیغین دانشگاه اوزیغین - موتور جستجوی آثار تاریخی، آرشیوها و نشریات

دانشگاه اوزیغین

حذف وزن به روز رسانی: کاهش زمان آموزش شبکه های عصبی مصنوعی

نویسنده صفائنیکو، ص، آکتورک، اسماعیل

تاریخ انتشار 2021-12

محل انتشار - IEEE

موضوع شبکه های عصبی مصنوعی، زمان آموزش، تغییرات زمانی، به روز رسانی وزن

نوع دوره ای

زبان انگلیسی

دیجیتال بله

نسخه خطی خیر

کتابخانه دانشگاه اوزیغین

شناسه دارایی کتابخانه 2-s2.0-85119441655

شماره ثبت e85402e5-53f5-4d04-a896-a323c5b0cefb

محل کتابخانه علوم کامپیوتر

تاریخ 2021-12

متن نمونه شبکه‌های عصبی مصنوعی (ANN) به عنوان تکنیک‌های پیشرفته در یادگیری ماشین (ML) شناخته می‌شوند و به نتایج برجسته‌ای در برنامه‌های کاربردی داده فشرده، مانند تشخیص، طبقه‌بندی و تقسیم‌بندی دست یافته‌اند. این شبکه‌ها عمدتاً از لایه‌های عمیق کانولوشن و/یا لایه‌های کاملاً متصل با فیلترهای زیادی در هر لایه استفاده می‌کنند که برای دستیابی به دقت رقابتی، نیاز به مقدار زیادی داده و فراپارامترهای قابل تنظیم دارند. در نتیجه، هزینه‌های ذخیره‌سازی، ارتباطات و محاسباتی آموزش (به‌ویژه زمان صرف شده برای آموزش) به عوامل محدودکننده‌ای برای افزایش آن‌ها تبدیل می‌شوند. در این مقاله، ما یک روش آموزشی جدید برای شبکه‌های عصبی مصنوعی پیشنهاد می‌کنیم که از مشاهده بهبود دقت، تغییرات زمانی را نشان می‌دهد که به ما امکان می‌دهد از به‌روزرسانی وزن‌ها در زمانی که تغییرات جزئی است، بگذریم. در طول چنین پنجره های زمانی، ما به روز رسانی سوگیری را ادامه می دهیم که تضمین می کند شبکه همچنان آموزش می بیند و از نصب بیش از حد جلوگیری می کند. با این حال، ما به طور انتخابی از به روز رسانی وزن ها (و محاسبات وقت گیر آنها) صرف نظر می کنیم. این رویکرد آموزشی عملاً به همان دقت با هزینه محاسباتی بسیار کمتر دست می یابد و زمان صرف شده برای آموزش را کاهش می دهد. ما دو نوع از روش تمرینی پیشنهادی را برای به‌روزرسانی انتخابی وزن‌ها توسعه دادیم، و آنها را به عنوان i) پرش به‌روزرسانی وزن (WUS)، و دوم) پرش به‌روزرسانی وزن با زمان‌بندی نرخ یادگیری (WUS+LR) نامیدیم. ما این دو رویکرد را با تجزیه و تحلیل مدل‌های پیشرفته، از جمله AlexNet، VGG-11، VGG-16، ResNet-18 در مجموعه داده‌های CIFAR ارزیابی می‌کنیم. ما همچنین از مجموعه داده ImageNet برای AlexNet، VGG-16 و Resnet-18 استفاده می کنیم. به طور متوسط، WUS و WUS+LR زمان آموزش (در مقایسه با خط پایه) را به ترتیب 54% و 50% در CPU و 22% و 21% در GPU برای CIFAR-10 کاهش دادند. و 43% و 35% در CPU و 22% و 21% در GPU برای CIFAR-100. و در نهایت به ترتیب 30% و 27% برای ImageNet.

DOI 10.1109/JETCAS.2021.3127907

Cilt 11