Yazar
Hudabakş, Ali
Basım Tarihi
2015-10
Konu
Bilgisayar Mühendisliği ve Bilgisayar Bilimi ve Kontrolü, Konuşma sentezi, Konuşmacı tanıma
Tür
Belge
Dil
İngilizce
Dijital
Evet
Yazma
Hayır
Kütüphane
Özyeğin Üniversitesi
Kayıt Numarası
2ea0ba76-d04a-4f38-b227-edf5bd2cbadb
Lokasyon
Elektrik-Elektronik Mühendisliği Bölümü
Tarih
2015-10
Örnek Metin
Son yıllarda konuşmacı doğrulama alanında önemli ilerlemeler kaydedildi. Özellikle I-vektör tabanlı yaklaşım, yüksek performansı nedeniyle büyük ilgi gördü. Doğrulama teknolojisindeki gelişmeler aynı zamanda i-vector tabanlı yöntemlerin savunmasız olduğu sahtecilik saldırılarına ilişkin endişelere de yol açtı. Burada ilk olarak, saldırganın hedef konuşmacıdan yalnızca çok sınırlı miktarda veriye sahip olduğu duruma özel olarak odaklanarak istatistiksel konuşma sentezi (SSS) kullanan i-vektör tabanlı bir doğrulama sisteminin saldırılara karşı savunmasızlığını araştırdık. Ancak SSS ile üretilen konuşmanın, büyüklük veya faz spektrumundan çıkarılan özellikler kullanılarak tespit edilmesinin kolay olduğu iyi bilinmektedir. Bu nedenle, daha etkili saldırılar için hibrit bir istatistiksel/birleştirici sentez yaklaşımı öneriyoruz ve hibrit sentezin, temel istatistiksel sentez yöntemiyle karşılaştırıldığında doğrulama sistemindeki yanlış alarm oranını önemli ölçüde artırdığını gösteriyoruz. Üstelik önerilen hibrit sentez, saldırganın elinde çok sınırlı miktarda orijinal konuşma kaydı mevcut olsa bile sentetik konuşmanın tespitini zorlaştırıyor. Saldırıların etkinliğini daha da artırmak için sentetik özellikleri daha doğal özelliklere dönüştüren doğrusal bir regresyon yöntemi öneriyoruz. En iyi yanıltma performansını sağladığı gösterilen regresyon ve hibrit sentez yöntemlerini birleştirmek için bir enterpolasyon yaklaşımı önerilmiştir. Ayrıca, istatistiksel konuşma sentezi sistemleriyle, ilave gürültü olduğunda yanıltma saldırılarının etkinliğini araştırdık. Deney sonuçları, sentetik konuşmaya gürültü eklendiğinde saldırıların önemli ölçüde daha etkili hale geldiğini gösteriyor. Ayrıca, sentetik ve doğal konuşmalar arasında tespit yapmak için i-vektörlerdeki oturum farklılıklarını kullanan sentetik bir konuşma dedektörü de öneriyoruz. Eşleşen gürültü koşulları için çoğu durumda dedektörün %0,5'ten daha az toplam hata oranına sahip olduğunu deneysel olarak gösterdik. Üçüncü bir katkı olarak, SAS corpus adı verilen konuşmacı doğrulama sahteciliği ve sahteciliğe karşı veri tabanının ilk sürümünün oluşturulmasına katılımımızı sunuyoruz. Derlem dokuz sahtekarlık tekniği içerir; bunlardan ikisi konuşma sentezi ve yedisi ses dönüştürmedir. Biri standart konuşmacı doğrulama değerlendirmesi için, diğeri sahtekarlık materyalleri üretmek için olmak üzere iki protokol tasarlandı. Bu nedenle, konuşma sentezi topluluğunun, konuşmacı doğrulama sahtekarlığı ve sahteciliğe karşı koruma bilgisi olmadan, aşamalı olarak sahtecilik malzemeleri üretmesine olanak tanır. Bir dizi ön sonuç sağlamak için, son teknolojiye sahip iki sistemi kullanarak konuşmacı doğrulama deneyleri gerçekleştirdik. Herhangi bir sahteciliğe karşı koruma tekniği olmadığında, bu iki sistem, SAS sistemimizde uygulanan sahtekarlık saldırılarına karşı son derece savunmasızdır. Bu çalışma daha sonra ilk otomatik konuşmacı doğrulama sahtekarlığı ve karşı önlem sorununu doğurdu. Bu mücadeleye katılımımızda, Gauss karışım modeli tabanlı dedektörler, ses birimleri ve ses sınıflarındaki tek tek çerçevelerin, ne kadar bilgi taşıdıklarına bağlı olarak olabilirlik-oran puanlarını tartan üç algoritmayı araştırdık. Önerilen yöntemler, hem kısa hem de uzun süreli artefaktları tespit etmeyi öğrenir ve bu da onları, tüm çerçeveleri ve ses birimlerini eşit ağırlıkta ele alan temel bir sistemle karşılaştırıldığında daha güvenilir kılar. Dedektörlerin eğitiminde kullanılan bilinen saldırı yöntemlerinde temel sisteme göre önemli iyileştirmeler elde edildi. Ancak bilinmeyen saldırı türleriyle sağlanan iyileşme çok fazla olmadı. Son yıllarda performans alanında önemli bir ilerleme kaydedildi. I-vektöre dayalı yaklaşımın yüksek performansı nedeniyle dikkat çekilmiştir. Doğrulama teknolojisindeki gelişmelerin ürünleri i-vektöre dayalı metotlara karşı sahtecilik (yanıltıcı) saldırılara süt kaygılara yol açtı. Burada, biz ilk olarak Saldırgan'ın hedef kitlesinden elde edilen limitli veri ile istatiksel ses sentezi (İSS) yöntemine karşı i-vektörüne dayalı sistematik sisteminin performansını inceledik. Ancak bilindiği gibi İSS yönteminden elde edilen konuşmanın kapsamlı genlik ve faz spektrumundan elde edilen özellikler ile mümkündür. Bu nedenle, biz daha etkili saldırılar için, hibrid istatiksel/birleştirmeli sentezleme tasarladık ve hibrid sentezinin istatiksel yönteme göre saklanma sistemlerinde yanlış alarmın önemli ölçüde arttırıldığını gösterdik. Ek olarak, tasarlanmış hibrid sentezleme, orijinal sesten alınan kayıtlı verilerin az olması durumunda bile sentetik sesin anlaşılmasını daha zor hale getiriyor. Saldırının ilerlemesi için sentetik özellikleri daha doğal özelliklere dönüştüren doğrusal regresyon yöntemini tanımladık. En iyi performans performansı tasarımı ara görünüm yaklaşımı, regresyon ve hibrid sentezleme yönteminin birleştirilmesiyle tasarlandı. Ayrıca, fazladan ses eklenmiş istatiksel ses sentezi ile yapılan yanıltıcı(spoofing) atakların bölümü incelendi. Deney sonuçları sentetik sese gürültü eklendiğinde atakların önemli ölçüde daha etkili olduğu gösterilmiştir. Ayrıca i-vektörler içinde oturum farkı kullanarak sentetik ve doğal sesi ayıran bir sentetik ses dedektörü tasarladık. Bir çok durumda bozulma detektörünün %0,5'den daha düşük hata oranı vardı. Üçüncü katkı olarak, SAS kütüphane adı verilen sürekli ve yanıltmaya karşı koruma veri tabanının oluşumunda yer aldı. Kütüphanede ikisi ses sentezi ve yedisi ses ekipmanları olmak üzere dokuz adet yanıltma tekniği içermektedir. standart parçalama değerlendirme ve yanıltma gereçleri için iki farklı tasarım protokolü uygulandı. Bu nedenle, sürekli yanıltma ve yanıltmaya karşı koruma bilgisi olmadan ses sentezinin çalıştırılması olarak sahtecilik (yanıltıcı) gereçlerin üretilmesine izin verildi. Ön sonuçları elde etmek için en gelişmiş sistemleri kullanarak iki farklı çalışabilir deneyi yürüttük. Herhangi bir yanıltmaya karşı koruma ekipmanı uygulandığında, bu iki sistem SAS veritabanı kullanılarak yapılan yanıltıcı ataklara karşı son derece dağılımdır. Bu çalışma daha sonra ilk otomatik olarak çalışır durumda yanılma ve karşı önlem mücadelesinin doğmasını sağlamıştır. Biz bu meydan okumaya katıldığımızda Gaus karışımı modeline dayalı dedektörlerin içinde her bir çerçevenin, bölümün olabilirlik oranı skorlarının ağırlığı, birim birimleri ve ses hücrelerinin ne kadar bilgi taşıdığıyla ilgili 3 araştırma yaptık. Bu yöntemler kısa ve uzun yapay parçacıkları belirliyor ve bu olay bu yöntemleri bütün bölümlerin ve birim seslerin eşit etkide olduğu bazal sistemden daha güvenilir yapıyor. Dedektörlerin öğrenme yöntemiyle kullanılan atak yöntemleri bilindiğinde bazal sistem önemli ölçüde geliştirildi. Fakat, yabancı ataklara karşı bir gelişme mevcut değil.
