텍스트 마이닝 정의

텍스트마이닝이란? 텍스트에서 의미있는 정보를 얻는 것 기계가 의미있는 정보를 얻을 수 있도록. 기계가 사람처럼 했으면 좋겠으니까 기계친화적인 데이터로 바꿔줘야겠다. 사람 친화적 -> 기계 친화적 바꾸는 과정에서 한 번의 왜곡이 생긴다. 그 왜곡을 최소화 하기 위해 전처리에 대한 수고를 많이 한다. 텍스트를 정형화된 데이터로 변환하여 의미있는 정보를 얻어내는 것 최대한 얻을 수 있는 빈도수만 살려서 전처리를 하고 그 모델도 빈도수를 기반으로 분석하는 모델을 쓰겠다. 모델을 쓸 때는 순서정보를 반영하는 전처리를 쓰고 순서정보를 반영하는 시퀀스 모델을 쓰면 된다. 데이터 수집 (웹크롤링..? 잘되어있는 데이터를 가져와도 좋다. 주제에 따라서 다르다.) 웹크롤링: 웹(접근가능한 컴퓨터 집단)이라는 공간에서 데이..