Machine Learning/NLP-UGRP(15)
-
MemN 참고자료
- https://github.com/sandrobarna/pytorch_memn2n/blob/master/model.py sandrobarna/pytorch_memn2n PyTorch implementation of the End-to-End Memory Network with attention layer vizualisation support. - sandrobarna/pytorch_memn2n github.com - https://github.com/carpedm20/MemN2N-tensorflow/blob/f8f4da4ca1b3a4afa764748a6907e79ab2be1ffd/model.py#L8 carpedm20/MemN2N-tensorflow "End-To-End Memory Networks..
2020.08.11 -
한국어 데이터셋 모음
- https://littlefoxdiary.tistory.com/42 한국어 자연어 처리 데이터셋 목록 *** NLP / NLU 모델 학습을 위한 한국어 데이터셋 모음 *** (8/1 UPDATE) AI HUB에 언어 인식기술 관련 멋진 데이터들이 대량 공개된 것 발견!! 특히 대화모델 학습용 데이터가 많이 포함되어 있습니다. 분� littlefoxdiary.tistory.com - http://www.aihub.or.kr/keti_data_board/language_intelligence 인식기술-언어지능 | AI Hub www.aihub.or.kr -https://pathmind.com/kr/wiki/open-datasets 공개 데이터셋 심층 학습 및 딥 러닝을 위한 선별된 데이터셋 목록이다. p..
2020.08.11 -
도움되는 사이트
medium.com/@inmoonlight/pytorch%EB%A1%9C-%EB%94%A5%EB%9F%AC%EB%8B%9D%ED%95%98%EA%B8%B0-intro-afd9c67404c3 PyTorch로 딥러닝하기 — Intro 거창하게 “딥러닝하기”라는 제목을 달았지만, 알다시피 우리에게 딥러닝을 한다는 것은 딥러닝 framework를 잘 사용하기와 같은 의미입니다. medium.com tutorials.pytorch.kr/intermediate/seq2seq_translation_tutorial.html 기초부터 시작하는 NLP: Sequence to Sequence 네트워크와 Attention을 이용한 번역 — PyTorch Tutorials 1.6.0 do Tutorials > 기초부터 시작하는..
2020.08.05 -
한국어 seq2seq 모델 만들기
shttps://hichoe95.tistory.com/13 [pytorch] RNN seq2seq 간단한 대화모델 며칠간 재미있는 대화 데이터를 가지고 대화모델을 만들어 보았다. source.txt 거울 보면 본인이 잘생겼다는 생각이 드나요? 너만 자꾸 생각나 생일 축하해! 너무 더워서 숨이 턱턱 막혀 주말에 뭐� hichoe95.tistory.com http://aidev.co.kr/chatbotdeeplearning/6123 챗봇 딥러닝 - RNN seq2seq 간단한 대화모델 http://hichoe95.tistory.com/13 PyTorch로 만든 RNN와 Attention 기반의 챗봇입니다. 코드도 중간중간 잘 설명이 되어 있어 어렵지 않게 이해할 수 있습니다. 뒤의 테스트 결과를 보면 띄어쓰..
2020.07.29 -
한국어 전처리
출처: https://wikidocs.net/21698 위키독스 온라인 책을 제작 공유하는 플랫폼 서비스 wikidocs.net 영어는 거의 대부분 단어 단위로 띄어쓰기가 이루어지기 때문에 띄어쓰기 토큰화와 단어 토큰화가 거의 같다. 하지만 한국어는 영어와는 달리 띄어쓰기만으로는 토큰화를 하기 부족하다. 어절: 한국어의 띄어쓰기 단위를 어절이라고 부른다. 따라서 이러한 "어절 토큰화"는 한국어 NLP에서 지양되고 있다. 어절 토큰화와 단어 토큰화가 같지 않기 때문이다. 그 근본적인 이유는 한국어가 영어와는 다른 형태를 가지는 언어인 교착어(조사, 어미 등을 붙여서 말을 만드는 언어)라는 점에서 기인한다. 1) 한국어는 교착어이다. 대부분의 한국어 NLP에서 조사는 분리해줄 필요가 있다. 한국어 토큰화에서..
2020.07.29 -
ugrp 공부 사이트(07/28)
Memory networks: https://github.com/jojonki/MemoryNetworks jojonki/MemoryNetworks End-To-End Memory Networks in PyTorch. Contribute to jojonki/MemoryNetworks development by creating an account on GitHub. github.com gitpod: https://gitpod.io/#get-started Gitpod - Online IDE for GitHub and GitLab One-click ready-to-code development environments for GitHub. gitpod.io How to download a file from a w..
2020.07.28