Update README.md
Browse files
README.md
CHANGED
@@ -43,7 +43,7 @@ pipeline_tag: text-ranking
|
|
43 |
動作には transformers ライブラリの v4.48 以上が必要です。
|
44 |
|
45 |
```
|
46 |
-
pip install -U "transformers>=4.48.0" sentence-transformers
|
47 |
```
|
48 |
|
49 |
GPU が Flash Attention 2 をサポートしている場合、flash-attn ライブラリを入れることで、高速な推論が可能です。
|
@@ -52,7 +52,6 @@ GPU が Flash Attention 2 をサポートしている場合、flash-attn ライ
|
|
52 |
pip install flash-attn --no-build-isolation
|
53 |
```
|
54 |
|
55 |
-
|
56 |
### SentenceTransformers
|
57 |
|
58 |
```python
|
@@ -83,10 +82,10 @@ print("Scores:", scores)
|
|
83 |
CPU 環境や arm 環境などで、より高速に動かしたい場合は onnx や量子化モデルを利用できます。
|
84 |
|
85 |
```
|
86 |
-
pip install onnx onnxruntime accelerate
|
87 |
```
|
88 |
|
89 |
-
```
|
90 |
from sentence_transformers import CrossEncoder
|
91 |
|
92 |
# oxxn のモデルを選ばないと model.onnx が自動で使われる
|
@@ -109,6 +108,7 @@ else:
|
|
109 |
...
|
110 |
```
|
111 |
|
|
|
112 |
## HuggingFace transformers
|
113 |
|
114 |
```python
|
|
|
43 |
動作には transformers ライブラリの v4.48 以上が必要です。
|
44 |
|
45 |
```
|
46 |
+
pip install -U "transformers>=4.48.0" sentence-transformers sentencepiece
|
47 |
```
|
48 |
|
49 |
GPU が Flash Attention 2 をサポートしている場合、flash-attn ライブラリを入れることで、高速な推論が可能です。
|
|
|
52 |
pip install flash-attn --no-build-isolation
|
53 |
```
|
54 |
|
|
|
55 |
### SentenceTransformers
|
56 |
|
57 |
```python
|
|
|
82 |
CPU 環境や arm 環境などで、より高速に動かしたい場合は onnx や量子化モデルを利用できます。
|
83 |
|
84 |
```
|
85 |
+
pip install onnx onnxruntime accelerate optimum
|
86 |
```
|
87 |
|
88 |
+
```python
|
89 |
from sentence_transformers import CrossEncoder
|
90 |
|
91 |
# oxxn のモデルを選ばないと model.onnx が自動で使われる
|
|
|
108 |
...
|
109 |
```
|
110 |
|
111 |
+
|
112 |
## HuggingFace transformers
|
113 |
|
114 |
```python
|