Bu model 2021-11-17 tarihinde HF papers'ta yayımlandı ve 2023-06-20 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

XLS-R

Genel Bakış

XLS-R modeli, Arun Babu, Changhan Wang, Andros Tjandra, Kushal Lakhotia, Qiantong Xu, Naman Goyal, Kritika Singh, Patrick von Platen, Yatharth Saraf, Juan Pino, Alexei Baevski, Alexis Conneau ve Michael Auli tarafından XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale makalesinde önerilmiştir.

Makalenin özeti aşağıdaki gibidir:

Bu makale, wav2vec 2.0 tabanlı, diller arası konuşma temsili öğrenimi için büyük ölçekli bir model olan XLS-R'ı sunar. 128 dilde, kamuya açık yaklaşık yarım milyon saatlik konuşma ses verisi üzerinde, bilinen en büyük önceki çalışmadan bir büyüklük derecesi daha fazla kamuya açık veriyle, 2B parametreye kadar modeller eğittik. Değerlendirmemiz, yüksek ve düşük kaynaklı dillerde, çeşitli görevleri, alanları, veri rejimlerini ve dilleri kapsamaktadır. CoVoST-2 konuşma çevirisi benchmark'ında, İngilizceye 21 çeviri yönünde önceki en iyi performansı ortalama 7.4 BLEU puanı ile aştık. Konuşma tanıma için XLS-R, BABEL, MLS, CommonVoice ve VoxPopuli üzerinde bilinen en iyi önceki çalışmalara kıyasla iyileşme sağlayarak hata oranlarını ortalama olarak göreli olarak %14-34 oranında düşürdü. XLS-R, VoxLingua107 dil tanıma görevinde de yeni bir en iyi performansa ulaştı. Ayrıca, yeterli model boyutuyla, İngilizce konuşmanın diğer dillere çevrilmesi gibi monolingual ön eğitimi lehine olan bir ayarlamada, diller arası ön eğitimin yalnızca İngilizce ön eğitimden daha iyi performans gösterebileceğini gösterdik. XLS-R'ın, dünyanın daha fazla dilindeki konuşma işleme görevlerini iyileştirmeye yardımcı olmasını umuyoruz.

İlgili denetim noktaları https://huggingface.co/models?other=xls_r altında bulunabilir.

Orijinal kod burada bulunabilir.

Kullanım ipuçları

• XLS-R, ses sinyalinin ham dalga formuna karşılık gelen bir float dizisini kabul eden bir ses modelidir.
• XLS-R modeli, bağlantıcı zamansal sınıflandırma (CTC) kullanılarak eğitildiğinden, model çıktısının Wav2Vec2CTCTokenizer ile çözümlenmesi gerekir.

XLS-R mimarisi Wav2Vec2 modeline dayanmaktadır; API referansı için Wav2Vec2 dokümantasyon sayfasına bakınız.