(ch.4) 자연어처리 - 단어를 숫자로 표현

1. 컴퓨터가 보는 문자

 

컴퓨터는 보통 ASCII TABLE을 이용해 문자를 저장한다.

유니코드, UTF-8 encoding등으로 문자를 표현하고 저장한다 ( 한글은 유니코드 , UTF-8에 포함 )

 

ASCII는 8-bit으로 되어있어서 0~127까지 표현가능

 

 

2. 컴퓨터가 보는 단어

love는 live보다 like와 더 유사하지만 컴퓨터가 보기엔 love와 live가 더 비슷해보인다.

 

3. 

 

sparse는 3차원 Dense는 2차원으로 줄어듬. 2차원일 경우 더 모여있다.

 

 

4. 말뭉치 Corpus

 

-특정 목적을 가진 언어의 표본, 분석의 용이성을 위해 형태소 분석이 포함되기도 한다.

언어학 연구에 쓰이는 확률/통계적인 자료이며, 딥러닝에도 유용하게 쓰인다

 

 

5. Word2Vec

의미적,문법적으로 비슷하면 유사한 벡터로 나온다 (=벡터 사이의 관계가 비슷하다)