[Pinecone] llama-index with Pinecone
ยท
๐ฃ๏ธ Natural Language Processing
Llama-Index with Pinecone ์ด ๋
ธํธ๋ถ์์๋ semantic-search๋ฅผ ์ํด Pinecone๊ณผ llama-index(์ด์ ์ GPT-index) ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ฌ์ฉํ๋ ๋ฐฉ๋ฒ์ ๋ณด์ฌ์ค๋ค. ์ด ๋
ธํธ๋ถ์ llama-index์ ์์์ด๋ฉฐ ํฅํ ๋ฆด๋ฆฌ์ค์์๋ Pinecone ์์ ์ ์ฅ์์์ ์ฐพ์ ์ ์์ต๋๋ค. 1) install packages !pip install -qU llama-index datasets pinecone-client openai transformers 2) SQuAD dataset Load Wikipedia(context-title) from datasets import load_dataset data = load_dataset('squad', split='train') d..