Update README.md
Browse files
README.md
CHANGED
@@ -67,12 +67,12 @@ Entity Recognition Results:
|
|
67 |
- 各次元のlogit値は,入力文章における各entityの関連度を表現しています.
|
68 |
|
69 |
### 4. entity_logits(entityの埋め込み表現)
|
70 |
-
- entityの一覧は,tokenizerがentity_vocab
|
71 |
```
|
72 |
tokenizer.entity_vocab # => {"": 0, ... ,"AGC": 48, ....
|
73 |
tokenizer.entity_vocab["味の素"] # => 8469(味の素のentity_id)
|
74 |
```
|
75 |
-
- entity_spans及びentitties引数をtokenizerに渡し,tokenをencodeすることで,entity
|
76 |
```
|
77 |
model.eval()
|
78 |
tokens = tokenizer("味の素", entities=["味の素"], entity_spans=[(0, 3)], truncation=True, max_length=512, return_tensors="pt")
|
@@ -81,7 +81,7 @@ with torch.no_grad():
|
|
81 |
outputs = model(**tokens)
|
82 |
outputs.entity_logits.shape # 味の素のentity_vector
|
83 |
```
|
84 |
-
- entityの埋め込み表現の内積(やコサイン類似度)を計算することで,entity
|
85 |
```
|
86 |
def encode(entity_text):
|
87 |
model.eval()
|
|
|
67 |
- 各次元のlogit値は,入力文章における各entityの関連度を表現しています.
|
68 |
|
69 |
### 4. entity_logits(entityの埋め込み表現)
|
70 |
+
- entityの一覧は,tokenizerがentity_vocabに辞書形式で持ちます.
|
71 |
```
|
72 |
tokenizer.entity_vocab # => {"": 0, ... ,"AGC": 48, ....
|
73 |
tokenizer.entity_vocab["味の素"] # => 8469(味の素のentity_id)
|
74 |
```
|
75 |
+
- entity_spans及びentitties引数をtokenizerに渡し,tokenをencodeすることで,entityの埋め込み表現を得ます.
|
76 |
```
|
77 |
model.eval()
|
78 |
tokens = tokenizer("味の素", entities=["味の素"], entity_spans=[(0, 3)], truncation=True, max_length=512, return_tensors="pt")
|
|
|
81 |
outputs = model(**tokens)
|
82 |
outputs.entity_logits.shape # 味の素のentity_vector
|
83 |
```
|
84 |
+
- entityの埋め込み表現の内積(やコサイン類似度)を計算することで,entity同士の類似度を計算可能です.
|
85 |
```
|
86 |
def encode(entity_text):
|
87 |
model.eval()
|