관찰과 질문, 그리고 데이터

웹 스크래핑과 크롤링으로 가장 많이 쓰이는 건 아무래도 Python일 겁니다. 라이브러리도 잘 되어 있고 빠르니까요. 하지만 코드를 한 번도 짜 본적 없는 사람이 웹 스크래핑과 크롤링을 하고 싶어서 파이썬을 배우기 시작하면 꽤 오랜 시간이 필요할 겁니다. 영어 하나 배우는 데에도 오래 걸리는데, 파이썬이라는 컴퓨터 언어는 익숙하지 않으니 더 배우기 어려울 수밖에 없죠. 최근에 구글 스프레드시트로 웹 스크래핑을 하는 법을 알게 됐습니다. 주로 파이썬으로 웹 스크래핑을 하곤 했었는데, 구글 스프레드시트에서도 스크래핑을 편하게 할 수 있도록 누가 자바스크립트 코드를 만들어 뒀더라구요. 저도 인터넷으로 찾아서 해보다 알게 됐는데, 사용 방법을 공유해 두면 좋을 것 같아서 포스팅해 보려고 합니다. 사실 웹 스크래..

17.09.27 T아카데미 캠퍼스특강 ‘Aibril을 활용한 챗봇 개발’ 본 강의의 영상본은 아래 주소에서 확인할 수 있다. https://tacademy.sktechx.com/live/player/listOnline.action 강연을 해주신 연사님은 SK C&C에서 Aibril Evangelist라는 직함으로 일하시는 류승균 선임이셨다. Evangelist의 사전적 정의는 ‘전도사’인데, Aibril 생태계와 환경을 조성하기 위해 사람들에게 Aibril이라는 소프트웨어를 알리고 가르치는 역할이라고 한다. Aibril은 SK에서 개발한, IBM Watson에 기반한 AI플랫폼을 말한다. AI +Brilliant의 줄임말인 Aibril은 IBM 왓슨의 api를 기반으로 지도학습에 강점을 가지고 있다. 개..

170903. (1)의 글로 카카오톡 텍스트를 R로 분석하는 작업을 거쳤고, 남은 과제는 Ruby on Rails를 활용해 웹페이지를 만드는 것이었다. 구상한 웹페이지의 기본 형식은 사용자에게서 카카오톡 텍스트데이터를 받는다 받은 텍스트데이터를 Ruby on rails로 분석한다 R에서 분석한 결과값을 웹페이지에서 볼 수 있게 출력한다. 이렇게 세 가지였다. 그런데 R과 Rails를 동시에 쓰려니 생기는 문제점은, Rails에서 R 언어를 활용할 수 있는 방법이 마땅치 않다. Python은 라이브러리가 워낙 많기 때문에 자체적으로 KoNLPy로 형태소 분석과 시각화가 가능하지만, Ruby는 해당 기능을 지원하지 않기 때문이다. 그래서 멋쟁이사자처럼에서 Rails 활용을 위해 쓰고 있는 c9에서 해결의 실..

(1) R로 카카오톡 텍스트데이터 분석하기 170825. 사람의 말은 그 사람의 인품을 드러내기도 하고, 의식과 무의식을 세상에 내놓는 하나의 수단이다. 그렇다면, 카카오톡에서 우리가 지인들과 아무 생각 없이 하는 말 속에는 내 무의식이 담겨 있지 않을까? 보통 카카오톡에서 어떤 대화를 많이 하는지, 어떤 감정어를 많이 쓰는지 파악하는 것도 재미있을 것 같았다. 마침 멋쟁이사자처럼 동아리에서도 방학 동안 진행해 볼 프로젝트 주제가 필요했다. 그래서 시작한 카카오톡 텍스트데이터 분석. 목표는 두 가지였다. 1. R에서 카카오톡 텍스트데이터를 분석하고 시각화를 해본다. - 워드클라우드 - 카카오톡 데이터 관련 통계량을 googleVis로 시각화 - 연관성 높은 단어를 qgraph로 시각화 2. R의 코드내용..