# 전처리 함수 생성 후 적용 def preprocessing(data,stopword): rm = re.compile('[:;\\'\\"\\[\\]\\(\\)\\.,@]') rm_data = data.astype(str).apply(lambda x: re.sub(rm, '', x)) word_token = [word_tokenize(x) for x in rm_data] remove_stopwords_tokens = [] for sentence in word_token: temp = [] for word in sentence: if word not in stopword: temp.append(word) remove_stopwords_tokens.append(temp) return remove_stopwo..

자연어 처리의 활용빈도가 가장 높은 챗봇을 만들어 본다. 단순하게 규칙 기반으로 제작, 머신러닝 유사도 활용 등 다양한 방법이 있지만 딥러닝을 통해 실습을 한다. 딥러닝에서도 Sequence to sequence 모델을 활용해 챗봇을 제작하는 방법을 사용한다. Data : github.com/songys/Chatbot_data songys/Chatbot_data Chatbot_data_for_Korean. Contribute to songys/Chatbot_data development by creating an account on GitHub. github.com ( http://cafe116.daum.net/_c21_/home?grpid=1bld )에서 자주 나오는 이야기들을 참고하여 제작 자료를 오..

############## MaLSTM 모델 ############## LSTM계열을 활용해 문장의 유사도를 구한다. MaLSTM 모델은 2016년 MIT에서 조나스 뮐러(Jonas Mueller)의 논문에서 처음 소개 되었다. 문자의 Sequence 형태로 학습 시키고 기존 RNN보다 장기적인 학습에 효과적인 성늘을 보여줬다. MaLSTM이란 맨하탄 거리(Manhattan Distance) + LSTM의 줄임말이다. 코사인 유사인 유사도를 대신해 맨하탄 거리(L1)을 이용한다. LSTM의 마지막 스텝인 $LSTM_a$의 $h_5^{a}$ 값과 $LSTM_b$의 $h_4^{b}$ 값이 은닉 상태 벡터로 사용된다. 이 값은 문장의 모든 단어에 대한 정보가 반영된 값으로 전체 문장을 대표하는 벡터가 된다. ..

www.kaggle.com/c/dfc615k/data DFC615K DFC615 Natural Language Processing Task 1 www.kaggle.com NSMC 네이버 영화 리뷰에 달린 별점을 긍정/부정으로 변환한 binary-class 데이터 셋 # kaggle-nsmc import os import zipfile def extractall(path,s_path,info=None,f_type=None): file_list = os.listdir(path) for file in file_list: try: if file.split('.')[1] in "zip": zipRef = zipfile.ZipFile(path + file, 'r') zipRef.extractall(s_path) #..

=== PCA === scikit-learn의 PCA모형을 문자 메시지들에 적용 import pandas as pd from nlpia.data.loaders import get_data sms = get_data("sms-spam") sms.head() index = ['sms{}{}'.format(i,'!'*j) for (i,j) in zip(range(len(sms)), sms.spam)] sms.index = index # 각 메시지의 TF-IDF 벡터를 계산 from sklearn.feature_extraction.text import TfidfVectorizer from nltk.tokenize.casual import casual_tokenize tfidf = TfidfVectorizer(t..

kaggle www.kaggle.com/c/quora-question-pairs/submissions Quora 질문 답변 사이트에서 같은 질문에 대한 판별 문제 column # ['id', 'qid1', 'qid2', 'question1', 'question2', 'is_duplicate'] Quora Question Pairs Can you identify question pairs that have the same intent? www.kaggle.com CNN - 합성 신경망 In deep learning, a convolutional neural network (CNN, or ConvNet) is a class of deep neural networks, most commonly applied ..

# KoNLPy 라이브러리 객체 # 주로 Okt 분석기를 사용함 # Hannanum: 한나눔. KAIST Semantic Web Research Center 개발. # http://semanticweb.kaist.ac.kr/hannanum/ # Kkma: 꼬꼬마. 서울대학교 IDS(Intelligent Data Systems) 연구실 개발. # http://kkma.snu.ac.kr/ # Komoran: 코모란. Shineware에서 개발. # https://github.com/shin285/KOMORAN # Mecab: 메카브. 일본어용 형태소 분석기를 한국어를 사용할 수 있도록 수정. # https://bitbucket.org/eunjeon/mecab-ko # Open Korean Text: 오픈 소..

dspace.mit.edu/bitstream/handle/1721.1/77902/18-337j-spring-2005/contents/lecture-notes/chapter_12.pdf SVM : categorical data classifier SVD : Component decomposition