Natural Language Processing

https://github.com/seohyunjun/paper-translator GitHub - seohyunjun/paper-translator: pdf paper translator pdf paper translator. Contribute to seohyunjun/paper-translator development by creating an account on GitHub. github.com Version History v0.1.2 2023/6/15 ChatGPT API Update : gpt-3.5-turbo-16k token 4k -> 16k (about 3 pages cover per 1 request) https://openai.com/blog/function-calling-and-ot..

Large language model을 두 단계 스텝으로 학습 비교 (1) raw text에서 비지도 학습을 통해 일반적인 대화 문장(general-purpose) 학습 (2) large scale instruction tuning과 강화 학습을 통해 human preference modeling [Experiment] 테스트를 위해 1000개의 실제 유저 프롬프트와 high-quality 응답을 선별. 750개의 질문과 답변을 Community forum에서 선별(Stack Exchang, wikiHow) 추가로 250개의 질문과 답변을 수동으로 작성 (Alignment style) LLaMa [Touvron et al., 2023] 65B parameter model에 fine-tuning [Resu..

Test paper alignment Markdown format tranlslate LIMA: 어울림에 있어서는 적은 것이 더 좋다 Chunting Zhou, Pengfei Liu, Puxin Xu, Srini Iyer, Jiao Sun, Yuning Mao, Xuezhe Ma, Avia Efrat, Ping Yu, Lili Yu, Susan Zhang, Gargi Ghosh, Mike Lewis, Luke Zettlemoyer, Omer Levy 메타 AI, 카네기 멜론 대학교, 남가주 대학교, 텔아비브 대학교 요약 대형 언어 모델은 두 단계로 훈련됩니다. (1) 원시 텍스트에서 무감독 사전 훈련을 통해 일반적인 목적의 표현을 학습하고 (2) 대규모 지도 튜닝 및 강화 학습을 통해 최종 작업 및 사용..

https://github.com/seohyunjun/paper-translator GitHub - seohyunjun/paper-translator: pdf paper translator pdf paper translator. Contribute to seohyunjun/paper-translator development by creating an account on GitHub. github.com [paper] https://arxiv.org/abs/2304.06035 Choose Your Weapon: Survival Strategies for Depressed AI Academics Are you an AI researcher at an academic institution? Are you an..

https://www.sbert.net/docs/pretrained_models.html Pretrained Models — Sentence-Transformers documentation We provide various pre-trained models. Using these models is easy: Multi-Lingual Models The following models generate aligned vector spaces, i.e., similar inputs in different languages are mapped close in vector space. You do not need to specify the input www.sbert.net LangChain과 같이 사용할 수 있는..

https://github.com/seohyunjun/openAI_API_token GitHub - seohyunjun/openAI_API_token: openAI API token information openAI API token information. Contribute to seohyunjun/openAI_API_token development by creating an account on GitHub. github.com

LangChain No using OpenAI API (1) QA를 위한 Document 불러오기 # Load and process the text files # loader = TextLoader("./data/texts") loader = DirectoryLoader('./pdf/', glob="./*.pdf", loader_cls=PyPDFLoader) documents = loader.load() # Document 분절 text_splitter = RecursiveCharacterTextSplitter(chunk_size=1000, chunk_overlap=200) texts = text_splitter.split_documents(documents) (2) Embedding # HuggingF..

https://discuss.huggingface.co/t/where-is-the-model-path-on-macos/21376 macOS의 모델 경로는 어디에 있습니까?AutoModelxxx를 사용하여 모델을 다운로드했지만 모델이 저장된 경로를 찾을 수 없습니다. 어디에 있습니까, os 코드로 어떻게 찾을 수 있습니까? discuss.huggingface.co Transformer 다운로드 모델 경로 ~/.cache/huggingface/hub/ ~/.cache/huggingface/hub/ 안쓰는 모델 제거 rm -rf [model]