728x90
BPE ๋จ๊ณ
- ๋น๋์์ ํจ๊ป ์ฃผ์ด์ง ๋ฐ์ดํฐ์ ์์ ๋จ์ด ์ถ์ถ
- ์ดํ ์ฌ์ ํฌ๊ธฐ ์ ์ (vocab_dict)
- ๋จ์ด๋ฅผ ๋ฌธ์ ์ํ์ค๋ก ๋ถํ
- ๋ฌธ์ ์ํ์ค์ ๋ชจ๋ ๊ณ ์ ๋ฌธ์๋ฅผ ์ดํ ์ฌ์ ์ ์ถ๊ฐ
- ๋น๋๊ฐ ๋์ ๊ธฐํธ ์์ ์ ํํ๊ณ ๋ณํฉ
- ์ดํ ์ฌ์ ํฌ๊ธฐ์ ๋๋ฌํ ๋๊น์ง ์ ๋ค์ฏ ๋จ๊ณ ๋ฐ๋ณต
๋ฐ์ํ
'๐ฃ๏ธ Natural Language Processing' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
| small scale text data classification (0) | 2023.05.16 |
|---|---|
| [M1 Transformers] M1 Mac Transformers Install Error (0) | 2022.06.19 |
| [BERT] ํ์ ๋จ์ด ํ ํฐํ + OOV (Out of Vocabulary) (0) | 2022.05.09 |
| [BERT Dict] NSP(Next Senctenct Prediction) Task (0) | 2022.05.07 |
| ๋ฒํคํ (bucketing)์ ์ด์ฉํ ํ์ต ๋ณต์ก๋ ํด๊ฒฐ (0) | 2021.03.28 |
