Duplicate from AnhP/Vietnamese-RVC-Project

Co-authored-by: Phạm Huỳnh Anh <[email protected]>

.gitattributes

@@ -0,0 +1,46 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tar filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text
+miku.png filter=lfs diff=lfs merge=lfs -text
+uvr5_models/Demucs/04573f0d-f3cf25b2.th filter=lfs diff=lfs merge=lfs -text
+uvr5_models/Demucs/92cfc3b6-ef3bcb9c.th filter=lfs diff=lfs merge=lfs -text
+uvr5_models/Demucs/955717e8-8726e21a.th filter=lfs diff=lfs merge=lfs -text
+uvr5_models/Demucs/d12395a8-e57c48e6.th filter=lfs diff=lfs merge=lfs -text
+uvr5_models/Demucs/f7e0c4bc-ba3fe64a.th filter=lfs diff=lfs merge=lfs -text
+uvr5_models/Demucs/5c90dfd2-34c22ccb.th filter=lfs diff=lfs merge=lfs -text
+uvr5_models/Demucs/75fc33f5-1941ce65.th filter=lfs diff=lfs merge=lfs -text
+ffmpeg/ffmpeg.exe filter=lfs diff=lfs merge=lfs -text
+ffmpeg/ffprobe.exe filter=lfs diff=lfs merge=lfs -text
+ico.png filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,349 @@
+---
+license: apache-2.0
+language:
+- vi
+- en
+pipeline_tag: audio-to-audio
+tags:
+- RVC
+- VITS
+- VC
+- Voice Conversion
+base_model:
+- lj1995/VoiceConversionWebUI
+- IAHispano/Applio
+- cvssp/audioldm2
+- cvssp/audioldm2-music
+- cvssp/audioldm2-large
+- speechbrain/spkrec-ecapa-voxceleb
+---
+
+<div align="center">
+<img alt="LOGO" src="https://huggingface.co/AnhP/Vietnamese-RVC-Project/resolve/main/ico.png" width="300" height="300" />
+
+# Vietnamese RVC BY ANH
+Công cụ chuyển đổi giọng nói chất lượng và hiệu suất cao đơn giản dành cho người Việt.
+
+[![Vietnamese RVC](https://img.shields.io/badge/GitHub-100000?style=for-the-badge&logo=github&logoColor=white)](https://github.com/PhamHuynhAnh16/Vietnamese-RVC)
+[![Open In Colab](https://img.shields.io/badge/Colab-F9AB00?style=for-the-badge&logo=googlecolab&color=525252)](https://colab.research.google.com/github/PhamHuynhAnh16/Vietnamese-RVC-ipynb/blob/main/Vietnamese-RVC.ipynb)
+[![Licence](https://img.shields.io/github/license/saltstack/salt?style=for-the-badge)](https://github.com/PhamHuynhAnh16/Vietnamese-RVC/blob/main/LICENSE)
+
+</div>
+
+<div align="center">
+
+[![Hugging Face](https://img.shields.io/badge/%F0%9F%A4%97%20Hugging%20Face-Spaces-blue)](https://huggingface.co/spaces/AnhP/RVC-GUI)
+[![Hugging Face](https://img.shields.io/badge/%F0%9F%A4%97-Models-blue)](https://huggingface.co/AnhP/Vietnamese-RVC-Project)
+
+</div>
+
+# Mô tả
+Dự án này là một công cụ chuyển đổi giọng nói đơn giản, dễ sử dụng, được thiết kế cho người Việt Nam. Với mục tiêu tạo ra các sản phẩm chuyển đổi giọng nói chất lượng cao và hiệu suất tối ưu, dự án cho phép người dùng thay đổi giọng nói một cách mượt mà, tự nhiên.
+
+# Các tính năng của dự án
+
+- Tách nhạc (MDX-Net/Demucs)
+
+- Chuyển đổi giọng nói (Chuyển đổi tệp/Chuyển đổi hàng loạt/Chuyển đổi với Whisper/Chuyển đổi văn bản)
+
+- Chỉnh sửa nhạc nền
+
+- Áp dụng hiệu ứng cho âm thanh
+
+- Tạo dữ liệu huấn luyện (Từ đường dẫn liên kết)
+
+- Huấn luyện mô hình (v1/v2, bộ mã hóa chất lượng cao)
+
+- Dung hợp mô hình
+
+- Đọc thông tin mô hình
+
+- Xuất mô hình sang ONNX
+
+- Tải xuống từ kho mô hình có sẳn
+
+- Tìm kiếm mô hình từ web
+
+- Trích xuất cao độ
+
+- Hỗ trợ suy luận chuyển đổi âm thanh bằng mô hình ONNX
+
+- Mô hình ONNX RVC cũng sẽ hỗ trợ chỉ mục để suy luận
+
+- Nhiều tùy chọn mô hình:
+
+F0: `pm, dio, mangio-crepe-tiny, mangio-crepe-small, mangio-crepe-medium, mangio-crepe-large, mangio-crepe-full, crepe-tiny, crepe-small, crepe-medium, crepe-large, crepe-full, fcpe, fcpe-legacy, rmvpe, rmvpe-legacy, harvest, yin, pyin, swipe`
+
+F0_ONNX: Một số mô hình được chuyển đổi sang ONNX để hỗ trợ tăng tốc trích xuất
+
+F0_HYBRID: Có thể kết hợp nhiều tùy chọn lại với nhau như `hybrid[rmvpe+harvest]` hoặc bạn có thể thử kết hợp toàn bộ tất cả tùy chọn lại với nhau
+
+EMBEDDERS: `contentvec_base, hubert_base, japanese_hubert_base, korean_hubert_base, chinese_hubert_base, portuguese_hubert_base`
+
+EMBEDDERS_ONNX: Tất cả mô hình nhúng ở trên điều có phiên bản được chuyển đổi sẳn sang ONNX để sử dụng tăng tốc trích xuất nhúng
+
+EMBEDDERS_TRANSFORMERS: Tất cả mô hình nhúng ở trên điều có phiên bản được chuyển đổi sẳn sang huggingface để sử dụng thay thế cho fairseq
+
+SPIN_EMBEDDERS: Một mô hình trích xuất nhúng mới, có thể mang đến chất lượng cao hơn các trích xuất cũ.
+
+# Hướng dẫn sử dụng
+
+**Sẽ có nếu tôi thực sự rảnh...**
+
+# Cách cài đặt và sử dụng
+
+- B1: **Cài đặt python từ trang chủ hoặc [python](https://www.python.org/ftp/python/3.10.7/python-3.10.7-amd64.exe) (YÊU CẦU PYTHON 3.10.x HOẶC PYTHON 3.11.x)**
+- B2: **Cài đặt ffmpeg từ [FFMPEG](https://github.com/BtbN/FFmpeg-Builds/releases) giải nén và thêm vào PATH**
+- B3: **Tải mã nguồn về và giải nén ra**
+- B4: **Vào thư mục mã nguồn và mở Command Prompt hoặc Terminal**
+- B5: **Nhập lệnh để cài đặt thư viện cần thiết để hoạt động**
+
+```
+python -m venv env
+env\\Scripts\\activate
+```
+
+Nếu có GPU NVIDIA thì chạy bước này tùy theo cuda của bạn có thể thay đổi cu117 thành cu128...
+
+```
+# Nếu sử dụng Torch 2.3.1
+python -m pip install torch==2.3.1 torchaudio==2.3.1 torchvision==0.18.1 --index-url https://download.pytorch.org/whl/cu117
+
+# Nếu sử dụng Torch 2.6.0
+python -m pip install torch==2.6.0 torchaudio==2.6.0 torchvision==0.21.0 --index-url https://download.pytorch.org/whl/cu117
+```
+
+Tiếp theo chạy
+
+```
+python -m pip install -r requirements.txt
+```
+
+- B5: **Chạy tệp run_app để mở giao diện sử dụng(Lưu ý: không tắt Command Prompt hoặc Terminal của giao diện)**
+- Hoặc sử dụng cửa sổ Command Prompt hoặc cửa sổ Terminal trong thư mục mã nguồn
+- Nếu muốn cho phép giao diện truy cập được các tệp ngoài dự án hãy thêm --allow_all_disk vào lệnh
+```
+env\\Scripts\\python.exe main\\app\\app.py --open
+```
+
+**Với trường hợp bạn sử dụng Tensorboard để kiểm tra huấn luyện**
+```
+Chạy tệp: tensorboard hoặc lệnh env\\Scripts\\python.exe main/app/tensorboard.py
+```
+
+# Sử dụng với cú pháp lệnh
+```
+python main\\app\\parser.py --help
+```
+
+# Cấu trúc chính của mã nguồn:
+
+<pre>
+Vietnamese-RVC-main
+├── assets
+│   ├── f0
+│   ├── languages
+│   │   ├── en-US.json
+│   │   └── vi-VN.json
+│   ├── logs
+│   │   └── mute
+│   │       ├── f0
+│   │       │   └── mute.wav.npy
+│   │       ├── f0_voiced
+│   │       │   └── mute.wav.npy
+│   │       ├── sliced_audios
+│   │       │   ├── mute32000.wav
+│   │       │   ├── mute40000.wav
+│   │       │   └── mute48000.wav
+│   │       ├── sliced_audios_16k
+│   │       │   └── mute.wav
+│   │       ├── v1_extracted
+│   │       │   ├── mute.npy
+│   │       │   └── mute_spin.npy
+│   │       └── v2_extracted_spin
+│   │           ├── mute.npy
+│   │           └── mute_spin.npy
+│   ├── models
+│   │   ├── audioldm2
+│   │   ├── embedders
+│   │   ├── predictors
+│   │   ├── pretrained_custom
+│   │   ├── pretrained_v1
+│   │   ├── pretrained_v2
+│   │   ├── speaker_diarization
+│   │   │   ├── assets
+│   │   │   │   ├── gpt2.tiktoken
+│   │   │   │   ├── mel_filters.npz
+│   │   │   │   └── multilingual.tiktoken
+│   │   │   └── models
+│   │   └── uvr5
+│   ├── presets
+│   ├── weights
+│   └── ico.png
+├── audios
+├── dataset
+├── main
+│   ├── app
+│   │   ├── app.py
+│   │   ├── tensorboard.py
+│   │   └── parser.py
+│   ├── configs
+│   │   ├── v1
+│   │   │   ├── 32000.json
+│   │   │   ├── 40000.json
+│   │   │   └── 48000.json
+│   │   ├── v2
+│   │   │   ├── 32000.json
+│   │   │   ├── 40000.json
+│   │   │   └── 48000.json
+│   │   ├── config.json
+│   │   └── config.py
+│   ├── inference
+│   │   ├── audio_effects.py
+│   │   ├── audioldm2.py
+│   │   ├── convert.py
+│   │   ├── create_dataset.py
+│   │   ├── create_index.py
+│   │   ├── extract.py
+│   │   ├── preprocess.py
+│   │   ├── separator_music.py
+│   │   └── train.py
+│   ├── library
+│   │   ├── algorithm
+│   │   │   ├── commons.py
+│   │   │   ├── modules.py
+│   │   │   ├── mrf_hifigan.py
+│   │   │   ├── onnx_export.py
+│   │   │   ├── refinegan.py
+│   │   │   ├── residuals.py
+│   │   │   ├── separator.py
+│   │   │   └── stftpitchshift.py
+│   │   ├── architectures
+│   │   │   ├── demucs_separator.py
+│   │   │   ├── fairseq.py
+│   │   │   └── mdx_separator.py
+│   │   ├── audioldm2
+│   │   │   ├── models.py
+│   │   │   └── utils.py
+│   │   ├── predictors
+│   │   │   ├── CREPE.py
+│   │   │   ├── FCPE.py
+│   │   │   ├── Generator.py
+│   │   │   ├── RMVPE.py
+│   │   │   ├── SWIPE.py
+│   │   │   └── WORLD_WRAPPER.py
+│   │   ├── speaker_diarization
+│   │   │   ├── audio.py
+│   │   │   ├── ECAPA_TDNN.py
+│   │   │   ├── embedding.py
+│   │   │   ├── encoder.py
+│   │   │   ├── features.py
+│   │   │   ├── parameter_transfer.py
+│   │   │   ├── segment.py
+│   │   │   ├── speechbrain.py
+│   │   │   └── whisper.py
+│   │   ├── uvr5_separator
+│   │   │   ├── common_separator.py
+│   │   │   ├── spec_utils.py
+│   │   │   └── demucs
+│   │   │       ├── apply.py
+│   │   │       ├── demucs.py
+│   │   │       ├── hdemucs.py
+│   │   │       ├── htdemucs.py
+│   │   │       ├── states.py
+│   │   │       └── utils.py
+│   │   └── utils.py
+│   └── tools
+│       ├── gdown.py
+│       ├── huggingface.py
+│       ├── mediafire.py
+│       ├── meganz.py
+│       ├── noisereduce.py
+│       └── pixeldrain.py
+├── docker-compose-cpu.yaml
+├── docker-compose-cuda118.yaml
+├── docker-compose-cuda128.yaml
+├── Dockerfile
+├── Dockerfile.cuda118
+├── Dockerfile.cuda128
+├── LICENSE
+├── README.md
+├── requirements.txt
+├── run_app.bat
+└── tensorboard.bat
+</pre>
+
+# LƯU Ý
+
+- **Dự án này chỉ hỗ trợ trên gpu của NVIDIA (Có thể sẽ hỗ trợ AMD sau nếu tôi có gpu AMD để thử)**
+- **Hiện tại các bộ mã hóa mới như MRF HIFIGAN vẫn chưa đầy đủ các bộ huấn luyện trước**
+- **Bộ mã hóa MRF HIFIGAN và REFINEGAN không hỗ trợ huấn luyện khi không không huấn luyện cao độ**
+- **Các mô hình trong kho lưu trữ Vietnamese-RVC được thu thập rải rác trên AI Hub, HuggingFace và các các kho lưu trữ khác. Có thể mang các giấy phép bản quyền khác nhau (Ví dụ: Audioldm2 có các trọng số mô hình với điều khoản "Phi Thương Mại")**
+- **Mã nguồn này có chứa thành phần phần mềm bên thứ ba được cấp phép với điều khoản "phi thương mại". Bất kỳ hành vi sử dụng thương mại nào, bao gồm kêu gọi tài trợ hoặc tài chính hóa phần mềm phái sinh, đều có thể vi phạm giấy phép và sẽ phải chịu trách nhiệm pháp lý tương ứng.**
+
+# Điều khoản sử dụng
+
+- Bạn phải đảm bảo rằng các nội dung âm thanh bạn tải lên và chuyển đổi qua dự án này không vi phạm quyền sở hữu trí tuệ của bên thứ ba.
+
+- Không được phép sử dụng dự án này cho bất kỳ hoạt động nào bất hợp pháp, bao gồm nhưng không giới hạn ở việc sử dụng để lừa đảo, quấy rối, hay gây tổn hại đến người khác.
+
+- Bạn chịu trách nhiệm hoàn toàn đối với bất kỳ thiệt hại nào phát sinh từ việc sử dụng sản phẩm không đúng cách.
+
+- Tôi sẽ không chịu trách nhiệm với bất kỳ thiệt hại trực tiếp hoặc gián tiếp nào phát sinh từ việc sử dụng dự án này.
+
+# Dự án này được xây dựng dựa trên các dự án như sau
+
+|                                                            Tác Phẩm                                                            |         Tác Giả         |  Giấy Phép  |
+|--------------------------------------------------------------------------------------------------------------------------------|-------------------------|-------------|
+| **[Applio](https://github.com/IAHispano/Applio/tree/main)**                                                                    | IAHispano               | MIT License |
+| **[Python-audio-separator](https://github.com/nomadkaraoke/python-audio-separator/tree/main)**                                 | Nomad Karaoke           | MIT License |
+| **[Retrieval-based-Voice-Conversion-WebUI](https://github.com/RVC-Project/Retrieval-based-Voice-Conversion-WebUI/tree/main)**  | RVC Project             | MIT License |
+| **[RVC-ONNX-INFER-BY-Anh](https://github.com/PhamHuynhAnh16/RVC_Onnx_Infer)**                                                  | Phạm Huỳnh Anh          | MIT License |
+| **[Torch-Onnx-Crepe-By-Anh](https://github.com/PhamHuynhAnh16/TORCH-ONNX-CREPE)**                                              | Phạm Huỳnh Anh          | MIT License |
+| **[Hubert-No-Fairseq](https://github.com/PhamHuynhAnh16/hubert-no-fairseq)**                                                   | Phạm Huỳnh Anh          | MIT License |
+| **[Local-attention](https://github.com/lucidrains/local-attention)**                                                           | Phil Wang               | MIT License |
+| **[TorchFcpe](https://github.com/CNChTu/FCPE/tree/main)**                                                                      | CN_ChiTu                | MIT License |
+| **[FcpeONNX](https://github.com/deiteris/voice-changer/blob/master-custom/server/utils/fcpe_onnx.py)**                         | Yury                    | MIT License |
+| **[ContentVec](https://github.com/auspicious3000/contentvec)**                                                                 | Kaizhi Qian             | MIT License |
+| **[Mediafiredl](https://github.com/Gann4Life/mediafiredl)**                                                                    | Santiago Ariel Mansilla | MIT License |
+| **[Noisereduce](https://github.com/timsainb/noisereduce)**                                                                     | Tim Sainburg            | MIT License |
+| **[World.py-By-Anh](https://github.com/PhamHuynhAnh16/world.py)**                                                              | Phạm Huỳnh Anh          | MIT License |
+| **[Mega.py](https://github.com/3v1n0/mega.py)**                                                                                | Marco Trevisan          | No License  |
+| **[Gdown](https://github.com/wkentaro/gdown)**                                                                                 | Kentaro Wada            | MIT License |
+| **[Whisper](https://github.com/openai/whisper)**                                                                               | OpenAI                  | MIT License |
+| **[PyannoteAudio](https://github.com/pyannote/pyannote-audio)**                                                                | pyannote                | MIT License |
+| **[AudioEditingCode](https://github.com/HilaManor/AudioEditingCode)**                                                          | Hila Manor              | MIT License |
+| **[StftPitchShift](https://github.com/jurihock/stftPitchShift)**                                                               | Jürgen Hock             | MIT License |
+| **[Codename-RVC-Fork-3](https://github.com/codename0og/codename-rvc-fork-3)**                                                  | Codename;0              | MIT License |
+
+# Kho mô hình của công cụ tìm kiếm mô hình
+
+- **[VOICE-MODELS.COM](https://voice-models.com/)**
+
+# Các phương pháp trích xuất Pitch trong RVC
+
+Tài liệu này trình bày chi tiết các phương pháp trích xuất cao độ được sử dụng, thông tin về ưu, nhược điểm, sức mạnh và độ tin cậy của từng phương pháp theo trải nghiệm cá nhân.
+
+| Phương pháp        |      Loại      |          Ưu điểm          |            Hạn chế           |      Sức mạnh      |     Độ tin cậy     |
+|--------------------|----------------|---------------------------|------------------------------|--------------------|--------------------|
+| pm                 | Praat          | Nhanh                     | Kém chính xác                | Thấp               | Thấp               |
+| dio                | PYWORLD        | Thích hợp với Rap         | Kém chính xác với tần số cao | Trung bình         | Trung bình         |
+| harvest            | PYWORLD        | Chính xác hơn DIO         | Xử lý chậm hơn               | Cao                | Rất cao            |
+| crepe              | Deep Learning  | Chính xác cao             | Yêu cầu GPU                  | Rất cao            | Rất cao            |
+| mangio-crepe       | crepe finetune | Tối ưu hóa cho RVC        | Đôi khi kém crepe gốc        | Trung bình đến cao | Trung bình đến cao |
+| fcpe               | Deep Learning  | Chính xác, thời gian thực | Cần GPU mạnh                 | Khá                | Trung bình         |
+| fcpe-legacy        | Old            | Chính xác, thời gian thực | Cũ hơn                       | Khá                | Trung bình         |
+| rmvpe              | Deep Learning  | Hiệu quả với giọng hát    | Tốn tài nguyên               | Rất cao            | Xuất sắc           |
+| rmvpe-legacy       | Old            | Hỗ trợ hệ thống cũ        | Cũ hơn                       | Cao                | Khá                |
+| yin                | Librosa        | Đơn giản, hiệu quả        | Dễ lỗi bội                   | Trung bình         | Thấp               |
+| pyin               | Librosa        | Ổn định hơn YIN           | Tính toán phức tạp hơn       | Khá                | Khá                |
+| swipe              | WORLD          | Độ chính xác cao          | Nhạy cảm với nhiễu           | Cao                | Khá                |
+
+# Báo cáo lỗi
+
+- **Với trường hợp gặp lỗi khi sử dụng mã nguồn này tôi thực sự xin lỗi bạn vì trải nghiệm không tốt này, bạn có thể gửi báo cáo lỗi thông qua cách phía dưới**
+- **Bạn có thể báo cáo lỗi cho tôi thông qua hệ thống báo cáo lỗi webhook trong giao diện sử dụng**
+- **Với trường hợp hệ thống báo cáo lỗi không hoạt động bạn có thể báo cáo lỗi cho tôi thông qua Discord `pham_huynh_anh` Hoặc [ISSUE](https://github.com/PhamHuynhAnh16/Vietnamese-RVC/issues)**
+
+# ☎️ Liên hệ tôi
+- Discord: **pham_huynh_anh**

audioldm/README.txt

@@ -0,0 +1,29 @@
+Mô hình thuộc sở hữu của https://huggingface.co/cvssp
+
+Mô hình Audioldm2: https://huggingface.co/cvssp/audioldm2
+Bản Quyền: cc-by-nc-sa-4.0
+
+Mô hình Audioldm2-large: https://huggingface.co/cvssp/audioldm2-large
+Bản Quyền: cc-by-nc-sa-4.0
+
+Mô hình Audioldm2-music: https://huggingface.co/cvssp/audioldm2-music
+Bản Quyền: cc-by-nc-sa-4.0
+
+NẾU SỬ DỤNG CÁC MÔ HÌNH TỪ KHO LƯU TRỮ NÀY VUI LÒNG TUÂN THỦ BẢN QUYỀN TỪ CÁC MÔ HÌNH TRÊN! 
+BẠN CHỊU TRÁCH NHIỆM HOÀN TOÀN ĐỐI VỚI BẤT KỲ THIỆT HẠI NÀO PHÁT SINH TỪ VIỆC SỬ DỤNG KHO LƯU TRỮ KHÔNG ĐÚNG CÁCH!
+TÔI SẼ KHÔNG CHỊU TRÁCH NHIỆM VỚI BẤT KỲ THIỆT HẠI TRỰC TIẾP HOẶC GIÁN TIẾP NÀO PHÁT SINH TỪ VIỆC SỬ DỤNG KHO LƯU TRỮ NÀY!
+
+Model owned by https://huggingface.co/cvssp
+
+Audioldm2 model: https://huggingface.co/cvssp/audioldm2
+Copyright: cc-by-nc-sa-4.0
+
+Audioldm2-large model: https://huggingface.co/cvssp/audioldm2-large
+Copyright: cc-by-nc-sa-4.0
+
+Audioldm2-music model: https://huggingface.co/cvssp/audioldm2-music
+Copyright: cc-by-nc-sa-4.0
+
+IF YOU USE MODELS FROM THIS ARCHIVE PLEASE COMPLY WITH THE COPYRIGHT FROM THE ABOVE MODELS! 
+YOU ARE SOLELY RESPONSIBLE FOR ANY DAMAGES THAT RESULT FROM IMPROPER USE OF THE ARCHIVE! 
+I WILL NOT BE LIABLE FOR ANY DIRECT OR INDIRECT DAMAGES THAT RESULT FROM THE USE OF THIS ARCHIVE!

audioldm/audioldm2-large/feature_extractor/preprocessor_config.json

@@ -0,0 +1,22 @@
+{
+  "chunk_length_s": 10,
+  "feature_extractor_type": "ClapFeatureExtractor",
+  "feature_size": 64,
+  "fft_window_size": 1024,
+  "frequency_max": 14000,
+  "frequency_min": 50,
+  "hop_length": 480,
+  "max_length_s": 10,
+  "n_fft": 1024,
+  "nb_frequency_bins": 513,
+  "nb_max_frames": 1000,
+  "nb_max_samples": 480000,
+  "padding": "repeatpad",
+  "padding_side": "right",
+  "padding_value": 0.0,
+  "processor_class": "ClapProcessor",
+  "return_attention_mask": false,
+  "sampling_rate": 48000,
+  "top_db": null,
+  "truncation": "rand_trunc"
+}

audioldm/audioldm2-large/language_model/config.json

@@ -0,0 +1,39 @@
+{
+  "activation_function": "gelu_new",
+  "architectures": [
+    "GPT2Model"
+  ],
+  "attn_pdrop": 0.1,
+  "bos_token_id": 50256,
+  "embd_pdrop": 0.1,
+  "eos_token_id": 50256,
+  "initializer_range": 0.02,
+  "layer_norm_epsilon": 1e-05,
+  "max_new_tokens": 8,
+  "model_type": "gpt2",
+  "n_ctx": 1024,
+  "n_embd": 768,
+  "n_head": 12,
+  "n_inner": null,
+  "n_layer": 12,
+  "n_positions": 1024,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.1,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "task_specific_params": {
+    "text-generation": {
+      "do_sample": true,
+      "max_length": 50
+    }
+  },
+  "torch_dtype": "float32",
+  "transformers_version": "4.32.0.dev0",
+  "use_cache": true,
+  "vocab_size": 50257
+}

audioldm/audioldm2-large/language_model/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:350bb51cf4f23502f239009d12ce0230d166f9d3f5752196505c0a6d841a5514
+size 497772432

audioldm/audioldm2-large/language_model/pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:ca0febb7670925080c1737a3b36689cea7aefe48c2b45d2321f2ba0bbcbf08fc
+size 497803293

audioldm/audioldm2-large/model_index.json

@@ -0,0 +1,48 @@
+{
+  "_class_name": "AudioLDM2Pipeline",
+  "_diffusers_version": "0.20.0.dev0",
+  "feature_extractor": [
+    "transformers",
+    "ClapFeatureExtractor"
+  ],
+  "language_model": [
+    "transformers",
+    "GPT2Model"
+  ],
+  "projection_model": [
+    "audioldm2",
+    "AudioLDM2ProjectionModel"
+  ],
+  "scheduler": [
+    "diffusers",
+    "DDIMScheduler"
+  ],
+  "text_encoder": [
+    "transformers",
+    "ClapModel"
+  ],
+  "text_encoder_2": [
+    "transformers",
+    "T5EncoderModel"
+  ],
+  "tokenizer": [
+    "transformers",
+    "RobertaTokenizerFast"
+  ],
+  "tokenizer_2": [
+    "transformers",
+    "T5TokenizerFast"
+  ],
+  "unet": [
+    "audioldm2",
+    "AudioLDM2UNet2DConditionModel"
+  ],
+  "vae": [
+    "diffusers",
+    "AutoencoderKL"
+  ],
+  "vocoder": [
+    "transformers",
+    "SpeechT5HifiGan"
+  ]
+}

audioldm/audioldm2-large/projection_model/config.json

@@ -0,0 +1,7 @@
+{
+  "_class_name": "AudioLDM2ProjectionModel",
+  "_diffusers_version": "0.20.0.dev0",
+  "langauge_model_dim": 768,
+  "text_encoder_1_dim": 1024,
+  "text_encoder_dim": 512
+}

audioldm/audioldm2-large/projection_model/diffusion_pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:abba0622501d8cd9c640a726df5da03c124bf966bba98809af620dc2f2681f5f
+size 4739951

audioldm/audioldm2-large/projection_model/diffusion_pytorch_model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d41d9363c1e9f7c455d1ce9d60d3c888793e295128a1bc722be96b9f5718a4ed
+size 4737688

audioldm/audioldm2-large/scheduler/scheduler_config.json

@@ -0,0 +1,19 @@
+{
+  "_class_name": "DDIMScheduler",
+  "_diffusers_version": "0.20.0.dev0",
+  "beta_end": 0.0195,
+  "beta_schedule": "scaled_linear",
+  "beta_start": 0.0015,
+  "clip_sample": false,
+  "clip_sample_range": 1.0,
+  "dynamic_thresholding_ratio": 0.995,
+  "num_train_timesteps": 1000,
+  "prediction_type": "epsilon",
+  "rescale_betas_zero_snr": false,
+  "sample_max_value": 1.0,
+  "set_alpha_to_one": false,
+  "steps_offset": 1,
+  "thresholding": false,
+  "timestep_spacing": "leading",
+  "trained_betas": null
+}

audioldm/audioldm2-large/text_encoder/config.json

@@ -0,0 +1,35 @@
+{
+  "architectures": [
+    "ClapModel"
+  ],
+  "audio_config": {
+    "depths": [
+      2,
+      2,
+      12,
+      2
+    ],
+    "fusion_num_hidden_layers": 2,
+    "hidden_size": 1024,
+    "model_type": "clap_audio_model",
+    "patch_embeds_hidden_size": 128,
+    "projection_hidden_size": 768
+  },
+  "hidden_size": 768,
+  "initializer_factor": 1.0,
+  "logit_scale_init_value": 14.285714285714285,
+  "model_type": "clap",
+  "num_hidden_layers": 16,
+  "projection_dim": 512,
+  "projection_hidden_act": "relu",
+  "text_config": {
+    "classifier_dropout": null,
+    "fusion_hidden_size": 768,
+    "fusion_num_hidden_layers": 2,
+    "initializer_range": 0.02,
+    "model_type": "clap_text_model",
+    "projection_hidden_size": 768
+  },
+  "torch_dtype": "float64",
+  "transformers_version": "4.32.0.dev0"
+}

audioldm/audioldm2-large/text_encoder/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a4a47b4a637dd58e9edb7b64a06acf37328b7cc3eafb0b8a85df895cc9e45d09
+size 776327432

audioldm/audioldm2-large/text_encoder/pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:637b3ff0f7b212cedafb00739521dc49d8f7953f12bfc1f76ff692f108a41ed0
+size 776444665

audioldm/audioldm2-large/text_encoder_2/config.json

@@ -0,0 +1,32 @@
+{
+  "architectures": [
+    "T5EncoderModel"
+  ],
+  "classifier_dropout": 0.0,
+  "d_ff": 2816,
+  "d_kv": 64,
+  "d_model": 1024,
+  "decoder_start_token_id": 0,
+  "dense_act_fn": "gelu_new",
+  "dropout_rate": 0.1,
+  "eos_token_id": 1,
+  "feed_forward_proj": "gated-gelu",
+  "initializer_factor": 1.0,
+  "is_encoder_decoder": true,
+  "is_gated_act": true,
+  "layer_norm_epsilon": 1e-06,
+  "model_type": "t5",
+  "n_positions": 512,
+  "num_decoder_layers": 24,
+  "num_heads": 16,
+  "num_layers": 24,
+  "output_past": true,
+  "pad_token_id": 0,
+  "relative_attention_max_distance": 128,
+  "relative_attention_num_buckets": 32,
+  "tie_word_embeddings": false,
+  "torch_dtype": "float32",
+  "transformers_version": "4.32.0.dev0",
+  "use_cache": true,
+  "vocab_size": 32128
+}

audioldm/audioldm2-large/text_encoder_2/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c1d0c8f1c739db9343c12ea4b0e3f2c97a833b3c072c251e91d97b7326fefb4e
+size 1364951064

audioldm/audioldm2-large/text_encoder_2/pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8c4be8e23954ef72bd0d623206a46b7e1ab7fa23f530b7b9f691d40785273b27
+size 1364996921

audioldm/audioldm2-large/tokenizer/special_tokens_map.json

@@ -0,0 +1,15 @@
+{
+  "bos_token": "<s>",
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": true,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "unk_token": "<unk>"
+}

audioldm/audioldm2-large/tokenizer/tokenizer_config.json

@@ -0,0 +1,20 @@
+{
+  "add_prefix_space": false,
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "errors": "replace",
+  "mask_token": "<mask>",
+  "max_length": null,
+  "model_max_length": 512,
+  "pad_to_multiple_of": null,
+  "pad_token": "<pad>",
+  "pad_token_type_id": 0,
+  "padding_side": "right",
+  "processor_class": "ClapProcessor",
+  "sep_token": "</s>",
+  "tokenizer_class": "RobertaTokenizer",
+  "trim_offsets": true,
+  "unk_token": "<unk>"
+}

audioldm/audioldm2-large/tokenizer_2/special_tokens_map.json

@@ -0,0 +1,107 @@
+{
+  "additional_special_tokens": [
+    "<extra_id_0>",
+    "<extra_id_1>",
+    "<extra_id_2>",
+    "<extra_id_3>",
+    "<extra_id_4>",
+    "<extra_id_5>",
+    "<extra_id_6>",
+    "<extra_id_7>",
+    "<extra_id_8>",
+    "<extra_id_9>",
+    "<extra_id_10>",
+    "<extra_id_11>",
+    "<extra_id_12>",
+    "<extra_id_13>",
+    "<extra_id_14>",
+    "<extra_id_15>",
+    "<extra_id_16>",
+    "<extra_id_17>",
+    "<extra_id_18>",
+    "<extra_id_19>",
+    "<extra_id_20>",
+    "<extra_id_21>",
+    "<extra_id_22>",
+    "<extra_id_23>",
+    "<extra_id_24>",
+    "<extra_id_25>",
+    "<extra_id_26>",
+    "<extra_id_27>",
+    "<extra_id_28>",
+    "<extra_id_29>",
+    "<extra_id_30>",
+    "<extra_id_31>",
+    "<extra_id_32>",
+    "<extra_id_33>",
+    "<extra_id_34>",
+    "<extra_id_35>",
+    "<extra_id_36>",
+    "<extra_id_37>",
+    "<extra_id_38>",
+    "<extra_id_39>",
+    "<extra_id_40>",
+    "<extra_id_41>",
+    "<extra_id_42>",
+    "<extra_id_43>",
+    "<extra_id_44>",
+    "<extra_id_45>",
+    "<extra_id_46>",
+    "<extra_id_47>",
+    "<extra_id_48>",
+    "<extra_id_49>",
+    "<extra_id_50>",
+    "<extra_id_51>",
+    "<extra_id_52>",
+    "<extra_id_53>",
+    "<extra_id_54>",
+    "<extra_id_55>",
+    "<extra_id_56>",
+    "<extra_id_57>",
+    "<extra_id_58>",
+    "<extra_id_59>",
+    "<extra_id_60>",
+    "<extra_id_61>",
+    "<extra_id_62>",
+    "<extra_id_63>",
+    "<extra_id_64>",
+    "<extra_id_65>",
+    "<extra_id_66>",
+    "<extra_id_67>",
+    "<extra_id_68>",
+    "<extra_id_69>",
+    "<extra_id_70>",
+    "<extra_id_71>",
+    "<extra_id_72>",
+    "<extra_id_73>",
+    "<extra_id_74>",
+    "<extra_id_75>",
+    "<extra_id_76>",
+    "<extra_id_77>",
+    "<extra_id_78>",
+    "<extra_id_79>",
+    "<extra_id_80>",
+    "<extra_id_81>",
+    "<extra_id_82>",
+    "<extra_id_83>",
+    "<extra_id_84>",
+    "<extra_id_85>",
+    "<extra_id_86>",
+    "<extra_id_87>",
+    "<extra_id_88>",
+    "<extra_id_89>",
+    "<extra_id_90>",
+    "<extra_id_91>",
+    "<extra_id_92>",
+    "<extra_id_93>",
+    "<extra_id_94>",
+    "<extra_id_95>",
+    "<extra_id_96>",
+    "<extra_id_97>",
+    "<extra_id_98>",
+    "<extra_id_99>"
+  ],
+  "eos_token": "</s>",
+  "pad_token": "<pad>",
+  "unk_token": "<unk>"
+}

audioldm/audioldm2-large/tokenizer_2/spiece.model

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d60acb128cf7b7f2536e8f38a5b18a05535c9e14c7a355904270e15b0945ea86
+size 791656

audioldm/audioldm2-large/tokenizer_2/tokenizer_config.json

@@ -0,0 +1,112 @@
+{
+  "additional_special_tokens": [
+    "<extra_id_0>",
+    "<extra_id_1>",
+    "<extra_id_2>",
+    "<extra_id_3>",
+    "<extra_id_4>",
+    "<extra_id_5>",
+    "<extra_id_6>",
+    "<extra_id_7>",
+    "<extra_id_8>",
+    "<extra_id_9>",
+    "<extra_id_10>",
+    "<extra_id_11>",
+    "<extra_id_12>",
+    "<extra_id_13>",
+    "<extra_id_14>",
+    "<extra_id_15>",
+    "<extra_id_16>",
+    "<extra_id_17>",
+    "<extra_id_18>",
+    "<extra_id_19>",
+    "<extra_id_20>",
+    "<extra_id_21>",
+    "<extra_id_22>",
+    "<extra_id_23>",
+    "<extra_id_24>",
+    "<extra_id_25>",
+    "<extra_id_26>",
+    "<extra_id_27>",
+    "<extra_id_28>",
+    "<extra_id_29>",
+    "<extra_id_30>",
+    "<extra_id_31>",
+    "<extra_id_32>",
+    "<extra_id_33>",
+    "<extra_id_34>",
+    "<extra_id_35>",
+    "<extra_id_36>",
+    "<extra_id_37>",
+    "<extra_id_38>",
+    "<extra_id_39>",
+    "<extra_id_40>",
+    "<extra_id_41>",
+    "<extra_id_42>",
+    "<extra_id_43>",
+    "<extra_id_44>",
+    "<extra_id_45>",
+    "<extra_id_46>",
+    "<extra_id_47>",
+    "<extra_id_48>",
+    "<extra_id_49>",
+    "<extra_id_50>",
+    "<extra_id_51>",
+    "<extra_id_52>",
+    "<extra_id_53>",
+    "<extra_id_54>",
+    "<extra_id_55>",
+    "<extra_id_56>",
+    "<extra_id_57>",
+    "<extra_id_58>",
+    "<extra_id_59>",
+    "<extra_id_60>",
+    "<extra_id_61>",
+    "<extra_id_62>",
+    "<extra_id_63>",
+    "<extra_id_64>",
+    "<extra_id_65>",
+    "<extra_id_66>",
+    "<extra_id_67>",
+    "<extra_id_68>",
+    "<extra_id_69>",
+    "<extra_id_70>",
+    "<extra_id_71>",
+    "<extra_id_72>",
+    "<extra_id_73>",
+    "<extra_id_74>",
+    "<extra_id_75>",
+    "<extra_id_76>",
+    "<extra_id_77>",
+    "<extra_id_78>",
+    "<extra_id_79>",
+    "<extra_id_80>",
+    "<extra_id_81>",
+    "<extra_id_82>",
+    "<extra_id_83>",
+    "<extra_id_84>",
+    "<extra_id_85>",
+    "<extra_id_86>",
+    "<extra_id_87>",
+    "<extra_id_88>",
+    "<extra_id_89>",
+    "<extra_id_90>",
+    "<extra_id_91>",
+    "<extra_id_92>",
+    "<extra_id_93>",
+    "<extra_id_94>",
+    "<extra_id_95>",
+    "<extra_id_96>",
+    "<extra_id_97>",
+    "<extra_id_98>",
+    "<extra_id_99>"
+  ],
+  "clean_up_tokenization_spaces": true,
+  "eos_token": "</s>",
+  "extra_ids": 100,
+  "model_max_length": 128,
+  "pad_token": "<pad>",
+  "sp_model_kwargs": {},
+  "tokenizer_class": "T5Tokenizer",
+  "unk_token": "<unk>"
+}

audioldm/audioldm2-large/unet/config.json

@@ -0,0 +1,78 @@
+{
+  "_class_name": "AudioLDM2UNet2DConditionModel",
+  "_diffusers_version": "0.20.0.dev0",
+  "act_fn": "silu",
+  "attention_head_dim": 8,
+  "block_out_channels": [
+    128,
+    256,
+    384,
+    640
+  ],
+  "class_embed_type": null,
+  "class_embeddings_concat": false,
+  "conv_in_kernel": 3,
+  "conv_out_kernel": 3,
+  "cross_attention_dim": [
+    [
+      null,
+      768,
+      1024,
+      null
+    ],
+    [
+      null,
+      768,
+      1024,
+      null
+    ],
+    [
+      null,
+      768,
+      1024,
+      null
+    ],
+    [
+      null,
+      768,
+      1024,
+      null
+    ]
+  ],
+  "down_block_types": [
+    "DownBlock2D",
+    "CrossAttnDownBlock2D",
+    "CrossAttnDownBlock2D",
+    "CrossAttnDownBlock2D"
+  ],
+  "downsample_padding": 1,
+  "flip_sin_to_cos": true,
+  "freq_shift": 0,
+  "in_channels": 8,
+  "layers_per_block": 2,
+  "mid_block_scale_factor": 1,
+  "mid_block_type": "UNetMidBlock2DCrossAttn",
+  "norm_eps": 1e-05,
+  "norm_num_groups": 32,
+  "num_attention_heads": null,
+  "num_class_embeds": null,
+  "only_cross_attention": false,
+  "out_channels": 8,
+  "projection_class_embeddings_input_dim": null,
+  "resnet_time_scale_shift": "default",
+  "sample_size": 256,
+  "time_cond_proj_dim": null,
+  "time_embedding_act_fn": null,
+  "time_embedding_dim": null,
+  "time_embedding_type": "positional",
+  "timestep_post_act": null,
+  "transformer_layers_per_block": 2,
+  "up_block_types": [
+    "CrossAttnUpBlock2D",
+    "CrossAttnUpBlock2D",
+    "CrossAttnUpBlock2D",
+    "UpBlock2D"
+  ],
+  "upcast_attention": false,
+  "use_linear_projection": false
+}

audioldm/audioldm2-large/unet/diffusion_pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:0002541e3d5ef789055304622fcf5d9b810dc413724ab1081b6c57d3c319d1ba
+size 2873458601

audioldm/audioldm2-large/unet/diffusion_pytorch_model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c58b1585fc87e9fb31cb16e049100c3626685ab418a4a1f48a370713f0131d13
+size 2872468672

audioldm/audioldm2-large/vae/config.json

@@ -0,0 +1,28 @@
+{
+  "_class_name": "AutoencoderKL",
+  "_diffusers_version": "0.20.0.dev0",
+  "act_fn": "silu",
+  "block_out_channels": [
+    128,
+    256,
+    512
+  ],
+  "down_block_types": [
+    "DownEncoderBlock2D",
+    "DownEncoderBlock2D",
+    "DownEncoderBlock2D"
+  ],
+  "force_upcast": true,
+  "in_channels": 1,
+  "latent_channels": 8,
+  "layers_per_block": 2,
+  "norm_num_groups": 32,
+  "out_channels": 1,
+  "sample_size": 1024,
+  "scaling_factor": 0.400870144367218,
+  "up_block_types": [
+    "UpDecoderBlock2D",
+    "UpDecoderBlock2D",
+    "UpDecoderBlock2D"
+  ]
+}

audioldm/audioldm2-large/vae/diffusion_pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:b3494aadd9cf3e3f0cbb4e913f9b35a25da4a3cb709852e204b667ae5890f758
+size 221586761

audioldm/audioldm2-large/vae/diffusion_pytorch_model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:5f8ddddc5c45eddaab38a67a434e8a64486964540ba3fc248a0da7cbd599d4ad
+size 221530308

audioldm/audioldm2-large/vocoder/config.json

@@ -0,0 +1,50 @@
+{
+  "architectures": [
+    "SpeechT5HifiGan"
+  ],
+  "initializer_range": 0.01,
+  "leaky_relu_slope": 0.1,
+  "model_in_dim": 64,
+  "model_type": "hifigan",
+  "normalize_before": false,
+  "resblock_dilation_sizes": [
+    [
+      1,
+      3,
+      5
+    ],
+    [
+      1,
+      3,
+      5
+    ],
+    [
+      1,
+      3,
+      5
+    ]
+  ],
+  "resblock_kernel_sizes": [
+    3,
+    7,
+    11
+  ],
+  "sampling_rate": 16000,
+  "torch_dtype": "float32",
+  "transformers_version": "4.32.0.dev0",
+  "upsample_initial_channel": 1024,
+  "upsample_kernel_sizes": [
+    16,
+    16,
+    8,
+    4,
+    4
+  ],
+  "upsample_rates": [
+    5,
+    4,
+    2,
+    2,
+    2
+  ]
+}

audioldm/audioldm2-large/vocoder/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:d9dc6513c30a5b86c2497712690c04fe74b4aa79fdab6d490b34fcb4e24c590c
+size 221079092

audioldm/audioldm2-large/vocoder/pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f9fbefc2b31c85d1dabe98e53d09ac88039af411162a7e641040a9c2b5f62364
+size 221120349

audioldm/audioldm2-music/feature_extractor/preprocessor_config.json

@@ -0,0 +1,22 @@
+{
+  "chunk_length_s": 10,
+  "feature_extractor_type": "ClapFeatureExtractor",
+  "feature_size": 64,
+  "fft_window_size": 1024,
+  "frequency_max": 14000,
+  "frequency_min": 50,
+  "hop_length": 480,
+  "max_length_s": 10,
+  "n_fft": 1024,
+  "nb_frequency_bins": 513,
+  "nb_max_frames": 1000,
+  "nb_max_samples": 480000,
+  "padding": "repeatpad",
+  "padding_side": "right",
+  "padding_value": 0.0,
+  "processor_class": "ClapProcessor",
+  "return_attention_mask": false,
+  "sampling_rate": 48000,
+  "top_db": null,
+  "truncation": "rand_trunc"
+}

audioldm/audioldm2-music/language_model/config.json

@@ -0,0 +1,39 @@
+{
+  "activation_function": "gelu_new",
+  "architectures": [
+    "GPT2Model"
+  ],
+  "attn_pdrop": 0.1,
+  "bos_token_id": 50256,
+  "embd_pdrop": 0.1,
+  "eos_token_id": 50256,
+  "initializer_range": 0.02,
+  "layer_norm_epsilon": 1e-05,
+  "max_new_tokens": 8,
+  "model_type": "gpt2",
+  "n_ctx": 1024,
+  "n_embd": 768,
+  "n_head": 12,
+  "n_inner": null,
+  "n_layer": 12,
+  "n_positions": 1024,
+  "reorder_and_upcast_attn": false,
+  "resid_pdrop": 0.1,
+  "scale_attn_by_inverse_layer_idx": false,
+  "scale_attn_weights": true,
+  "summary_activation": null,
+  "summary_first_dropout": 0.1,
+  "summary_proj_to_labels": true,
+  "summary_type": "cls_index",
+  "summary_use_proj": true,
+  "task_specific_params": {
+    "text-generation": {
+      "do_sample": true,
+      "max_length": 50
+    }
+  },
+  "torch_dtype": "float32",
+  "transformers_version": "4.32.0.dev0",
+  "use_cache": true,
+  "vocab_size": 50257
+}

audioldm/audioldm2-music/language_model/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8c57787555e1feb378e69e676a9d4f384363150dee6eeef390c47c1a5a99525d
+size 497772432

audioldm/audioldm2-music/language_model/pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:be4e5b755437914957edb250243e323fa2b38ab53f097078bea7c2d78aeae507
+size 497803293

audioldm/audioldm2-music/model_index.json

@@ -0,0 +1,48 @@
+{
+  "_class_name": "AudioLDM2Pipeline",
+  "_diffusers_version": "0.20.0.dev0",
+  "feature_extractor": [
+    "transformers",
+    "ClapFeatureExtractor"
+  ],
+  "language_model": [
+    "transformers",
+    "GPT2Model"
+  ],
+  "projection_model": [
+    "audioldm2",
+    "AudioLDM2ProjectionModel"
+  ],
+  "scheduler": [
+    "diffusers",
+    "DDIMScheduler"
+  ],
+  "text_encoder": [
+    "transformers",
+    "ClapModel"
+  ],
+  "text_encoder_2": [
+    "transformers",
+    "T5EncoderModel"
+  ],
+  "tokenizer": [
+    "transformers",
+    "RobertaTokenizerFast"
+  ],
+  "tokenizer_2": [
+    "transformers",
+    "T5TokenizerFast"
+  ],
+  "unet": [
+    "audioldm2",
+    "AudioLDM2UNet2DConditionModel"
+  ],
+  "vae": [
+    "diffusers",
+    "AutoencoderKL"
+  ],
+  "vocoder": [
+    "transformers",
+    "SpeechT5HifiGan"
+  ]
+}

audioldm/audioldm2-music/projection_model/config.json

@@ -0,0 +1,7 @@
+{
+  "_class_name": "AudioLDM2ProjectionModel",
+  "_diffusers_version": "0.20.0.dev0",
+  "langauge_model_dim": 768,
+  "text_encoder_1_dim": 1024,
+  "text_encoder_dim": 512
+}

audioldm/audioldm2-music/projection_model/diffusion_pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:91e9680e70c34aa7957b8d0cfdce48fe8cd145b509d672b83d3d090863d77946
+size 4739951

audioldm/audioldm2-music/projection_model/diffusion_pytorch_model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:2d58536f307aec6d114f8017c0c0e46762a35bce76f418f8ff7cee0c68ebc8f8
+size 4737688

audioldm/audioldm2-music/scheduler/scheduler_config.json

@@ -0,0 +1,19 @@
+{
+  "_class_name": "DDIMScheduler",
+  "_diffusers_version": "0.20.0.dev0",
+  "beta_end": 0.0195,
+  "beta_schedule": "scaled_linear",
+  "beta_start": 0.0015,
+  "clip_sample": false,
+  "clip_sample_range": 1.0,
+  "dynamic_thresholding_ratio": 0.995,
+  "num_train_timesteps": 1000,
+  "prediction_type": "epsilon",
+  "rescale_betas_zero_snr": false,
+  "sample_max_value": 1.0,
+  "set_alpha_to_one": false,
+  "steps_offset": 1,
+  "thresholding": false,
+  "timestep_spacing": "leading",
+  "trained_betas": null
+}

audioldm/audioldm2-music/text_encoder/config.json

@@ -0,0 +1,35 @@
+{
+  "architectures": [
+    "ClapModel"
+  ],
+  "audio_config": {
+    "depths": [
+      2,
+      2,
+      12,
+      2
+    ],
+    "fusion_num_hidden_layers": 2,
+    "hidden_size": 1024,
+    "model_type": "clap_audio_model",
+    "patch_embeds_hidden_size": 128,
+    "projection_hidden_size": 768
+  },
+  "hidden_size": 768,
+  "initializer_factor": 1.0,
+  "logit_scale_init_value": 14.285714285714285,
+  "model_type": "clap",
+  "num_hidden_layers": 16,
+  "projection_dim": 512,
+  "projection_hidden_act": "relu",
+  "text_config": {
+    "classifier_dropout": null,
+    "fusion_hidden_size": 768,
+    "fusion_num_hidden_layers": 2,
+    "initializer_range": 0.02,
+    "model_type": "clap_text_model",
+    "projection_hidden_size": 768
+  },
+  "torch_dtype": "float64",
+  "transformers_version": "4.32.0.dev0"
+}

audioldm/audioldm2-music/text_encoder/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:a4a47b4a637dd58e9edb7b64a06acf37328b7cc3eafb0b8a85df895cc9e45d09
+size 776327432

audioldm/audioldm2-music/text_encoder/pytorch_model.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:637b3ff0f7b212cedafb00739521dc49d8f7953f12bfc1f76ff692f108a41ed0
+size 776444665

audioldm/audioldm2-music/text_encoder_2/config.json

@@ -0,0 +1,32 @@
+{
+  "architectures": [
+    "T5EncoderModel"
+  ],
+  "classifier_dropout": 0.0,
+  "d_ff": 2816,
+  "d_kv": 64,
+  "d_model": 1024,
+  "decoder_start_token_id": 0,
+  "dense_act_fn": "gelu_new",
+  "dropout_rate": 0.1,
+  "eos_token_id": 1,
+  "feed_forward_proj": "gated-gelu",
+  "initializer_factor": 1.0,
+  "is_encoder_decoder": true,
+  "is_gated_act": true,
+  "layer_norm_epsilon": 1e-06,
+  "model_type": "t5",
+  "n_positions": 512,
+  "num_decoder_layers": 24,
+  "num_heads": 16,
+  "num_layers": 24,
+  "output_past": true,
+  "pad_token_id": 0,
+  "relative_attention_max_distance": 128,
+  "relative_attention_num_buckets": 32,
+  "tie_word_embeddings": false,
+  "torch_dtype": "float32",
+  "transformers_version": "4.32.0.dev0",
+  "use_cache": true,
+  "vocab_size": 32128
+}

audioldm/audioldm2-music/text_encoder_2/model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c1d0c8f1c739db9343c12ea4b0e3f2c97a833b3c072c251e91d97b7326fefb4e
+size 1364951064