التصفية اللاحقة للتكيف مع السماعات القائمة على التعلم العميق مع بيانات التكيف المحدودة لأنظمة تحويل النص إلى كلام المضمنة
| العنوان | التصفية اللاحقة للتكيف مع السماعات القائمة على التعلم العميق مع بيانات التكيف المحدودة لأنظمة تحويل النص إلى كلام المضمنة |
|---|---|
| المؤلف | إرين، إراي، دمير أوغلو، جينك |
| تاريخ النشر: | 2023-06 |
| مكان النشر | - إلسفير |
| الموضوع | التدريب على الخصومة، التعلم العميق، التصفية اللاحقة، التكيف مع المتحدث، تركيب الكلام، المحول |
| النوع | دورية |
| اللغة | الإنجليزية |
| رقمي | نعم |
| مخطوط | لا |
| المكتبة: | جامعة اوزيجين |
| معرف أصل المكتبة | 0885-2308 |
| رقم السجل | 9af7a4e2-a8f8-476c-998f-82b0414a9459 |
| موقع المكتبة | الهندسة الكهربائية والإلكترونية |
| التاريخ | 2023-06 |
| نص عينة | أصبحت أنظمة تركيب الكلام من طرف إلى طرف (e2e) شائعة مع الإدخال الأخير لأنظمة تحويل النص إلى الطيف، مثل تاكوترون، التي تستخدم البنى العصبية القائمة على التشفير وفك التشفير. على الرغم من أن أنظمة التسلسل إلى التسلسل هذه يمكنها إنتاج مخططات طيفية ميل من الحروف دون واجهة أمامية لمعالجة النص، إلا أنها تتطلب كميات كبيرة من البيانات الصوتية المُصنفة والتي يتم التعامل معها جيدًا والتي تحتوي على نسبة إشارة إلى ضوضاء (SNR) عالية وحد أدنى من القطع الأثرية. تجعل متطلبات البيانات هذه من الصعب إنشاء أنظمة شاملة من البداية، خاصة بالنسبة للغات منخفضة الموارد. علاوة على ذلك، فإن معظم أنظمة e2e غير مصممة للأجهزة ذات الذاكرة الصغيرة وموارد وحدة المعالجة المركزية. هنا، ندرس استخدام الشبكة العصبية العميقة التقليدية (DNN) للنمذجة الصوتية جنبًا إلى جنب مع مرشح لاحق يعمل على تحسين ميزات الكلام التي تنتجها الشبكة. تم تدريب البنى المقترحة باستخدام قاعدة بيانات وول ستريت جورنال (WSJ) الصاخبة نسبيًا ومتعددة المتحدثين، وتم اختبارها باستخدام مكبرات صوت غير مرئية. تم تكييف طبقة ما بعد التصفية الرفيعة مع الحد الأدنى من البيانات للمتكلم المستهدف للاختبار. لقد قمنا بدراسة العديد من بنيات ما بعد التصفية وقمنا بمقارنتها مع كل من الاختبارات الموضوعية والذاتية. كان أداء البنى المتصلة بالكامل والقائمة على المحولات هو الأفضل في الاختبارات الذاتية. كان أداء الهندسة المعمارية الجديدة القائمة على المحولات العدائية مع فقدان التمييز التكيفي هو الأفضل في الاختبارات الموضوعية. علاوة على ذلك، كان أسرع من البنى الأخرى سواء في التدريب أو الاستدلال. وبالتالي، فإن بنية ما بعد الفلتر خفيفة الوزن والمعتمدة على المحولات المقترحة قد حسنت بشكل كبير من جودة الكلام وتكيفت بكفاءة مع مكبرات الصوت الجديدة مع لقطات قليلة من البيانات ومئات من تكرارات التدريب، مما يجعلها فعالة من الناحية الحسابية ومناسبة لقابلية التوسع. |
| DOI | 10.1016/j.csl.2023.101520 |
| Cilt | 81 |
