File size: 1,244 Bytes
7620bf0 a648cd5 7620bf0 a648cd5 7620bf0 a648cd5 7620bf0 e62794c a648cd5 7620bf0 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 |
---
license: mit
language:
- ja
base_model:
- tohoku-nlp/bert-base-japanese-v3
---
[japanese-splade-base-v1](https://huggingface.co/hotchpotch/japanese-splade-base-v1)を [huggingface/text-embeddings-inference](https://github.com/huggingface/text-embeddings-inference)で動かすための fork です。
なぜか safetensor では動かないので、pytorch_model.bin に変換したモデルの重みを入れています。
なお、[text-embeddings-inference で日本語トークナイザーモデルの推論をする](https://secon.dev/entry/2024/09/30/160000/)のように、token_ids に変換して API を叩く必要があります。
## docker-compose.yaml 例
```yaml
services:
splade-jp-v1:
# image の部分はアーキテクチャにあったものに変えること
image: ghcr.io/huggingface/text-embeddings-inference:86-1.5
ports:
- "8080:80"
volumes:
- /tmp/docker-tei-data:/data
command: [ "--model-id", "hotchpotch/japanese-splade-base-v1-dummy-fast-tokenizer-for-tei", "--dtype", "float16", "--pooling", "splade"]
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [ gpu ]
```
|