README.md

---
license: mit
language:
- ja
base_model:
- tohoku-nlp/bert-base-japanese-v3
---

[japanese-splade-base-v1](https://huggingface.co/hotchpotch/japanese-splade-base-v1)を [huggingface/text-embeddings-inference](https://github.com/huggingface/text-embeddings-inference)で動かすための fork です。

なぜか safetensor では動かないので、pytorch_model.bin に変換したモデルの重みを入れています。

なお、[text-embeddings-inference で日本語トークナイザーモデルの推論をする](https://secon.dev/entry/2024/09/30/160000/)のように、token_ids に変換して API を叩く必要があります。


## docker-compose.yaml 例

```yaml
services:
  splade-jp-v1:
    # image の部分はアーキテクチャにあったものに変えること
    image: ghcr.io/huggingface/text-embeddings-inference:86-1.5
    ports:
      - "8080:80"
    volumes:
      - /tmp/docker-tei-data:/data
    command: [ "--model-id", "hotchpotch/japanese-splade-base-v1-dummy-fast-tokenizer-for-tei", "--dtype", "float16", "--pooling", "splade"]
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [ gpu ]
```