NLP BERT
Aug 18, 2020 (Updated: Aug 20, 2020)
·in Titlein Title+Content
- NLP Bidirectional Encoder Representations Form Transformer transformer의 encoder만 사용한다. Pre-traning과 fine-tuning으로 활용한다. 즉, transformer…
NLP Transformer & SentecePiece
NLP CNN, RNN 대신 Self-Attention을 사용하는 모델 Transformer는 RNN, LSTM없이 time 시퀀스 역할을 하는 모델입니다. RNN, LSTM 셀을 일체 사용하지 않았으나, 자체만으로 time…Aug 15, 2020 (Updated: Aug 20, 2020)·NLP maLSTM
NLP Quora : 질문 간 텍스트 유사도 분석 maLSTM : 맨하탄 거리 사용한 LSTM GloVe : 빈도 + 맥락(Embedding) 고려한 워드 패키지 FastText : hash…Aug 07, 2020 (Updated: Aug 19, 2020)·NLP Kaggle competition 우승자가 제안한 새로운 접근방법을 배워보자
AUC Area under the roc curve (AUC) Confusion matix(Binaray classification) predictionP N actual P TP FP N FN TN TPR FPR Thes…Aug 06, 2020 (Updated: Aug 19, 2020)·NLP Sequence to Sequence
NLP NLP, Time Serise/Sin data 예측에 사용한다. 기법 종류: seq2seq (RNN) > SL(fine Tuning) → USL Attention: RNN 기반 > SL(fine Tuning) → USL Self…Aug 15, 2020 (Updated: Aug 18, 2020)·NLP 카운트 기반 방법의 텍스트 유사도 측정
one-hot 인코딩 categorical 변환 방법 Keras를 이용한 one-hot encoding '남자' '여자' '아빠' '엄마' '삼촌' '이모' '남자', '삼촌', '아빠', '엄마', '여자', '이모' [1. 0. 0. 0.…Aug 05, 2020 (Updated: Aug 18, 2020)·NLP Doc2Vec
텍스트 분류 Skip-Gram SGNS Hirarchical softmax 연산이 많아진단 단점의 softmax를 개선하여 Binary Tree 사용 Binary Tree iForest 알고리즘, DB indexing…Aug 05, 2020 (Updated: Aug 18, 2020)·NLP Ask Me Anything
NLP 분야에서 딥러닝의 고급 응용 DMN Ask Me Anything attention score layer story layer episodic memory layer answer layer 텍스트 자동 생성 예제 문장: I love you…Aug 05, 2020 (Updated: Aug 18, 2020)·NLP Word2Vec/SGNS
NLP & DL 특수 목적이 아닌, 범용적(일반적)으로 쓰일 Word Embedding을 만든다. embedding의 방법 따라서 문장 속 단어의 맥락(의미)를 파악할 줄 안다. 즉, semantic…Jul 29, 2020 (Updated: Aug 16, 2020)·NLP Embedding
NLP & 딥러닝 핵심 문제: "단어를 어떻게 수치화할 것인가?" Email - Classification 딥러닝을 이용하여 20개의 카테고리로 분류된 이메일 데이터를 학습하고, 시험 이메일을 20개 카테고리 중 하나로 분류한다. Email…Jul 22, 2020 (Updated: Aug 16, 2020)·