관찰과 질문, 그리고 데이터

성균관대학교 학생회 공약 모아보는 웹페이지 제작 프로젝트 - (2) 수집한 정보 데이터베이스 모델링하기 171129 Python으로 신문기사를 크롤링한 다음, 4명 팀원이 2014년부터 2017년 중 1년씩 맡아서 총학과 단과대의 공약 이행 데이터를 수집하기로 했다. 보통 성대신문이 제공하는 평가는 9월 무렵 중간평가 형태로 제공되거나, 11월경 최종평가 특집기사 형태로 이루어졌다. 신문기사다 보니 공약의 내용이나 이행여부도 전부 줄글로 쓰여 있다. 그래서 각자 1년치 데이터를 조사하기 위한 기준이 필요했다. 총학과 단과대의 기준을 조금 다르게 설정했다. 총학 데이터베이스 구분기준 - Attribute들이라고 해야 하나. year : 조사 연도 (integer)name : 총학생회 이름(string) c..

171122 (1) Python 웹 크롤링으로 정보 수집하기 성균관대학교 멋쟁이사자처럼 5기 - 2학기 프로젝트 학교를 몇 년 다니고 있지만, 딱히 관심을 갖고 보지 않으면 대학교 학생회가 어떤 공약을 제시했고, 얼마나 이행했는지 알기가 쉽지 않다. 프로젝트 주제 선정 과정에서 이 문제를 해결해보면 좋겠다는 이야기가 나왔고, 2014년부터 2017년까지, 4년간 총학생회와 단과대 학생회의 공약 정보를 조사하기로 했다. 이 문제를 해결하려면 어떤 과정이 필요할지 대강 그려봤다. 1. 매년 총학생회와 단과대 공약 데이터를 저장해 두는 무언가를 찾는다. 2. 조사한 데이터를 웹페이지에 활용할 수 있는 데이터베이스 형태로 만든다. 3. 데이터베이스를 활용한 웹페이지를 만든다. 이 웹페이지가 만들어지기 위해 가장..

웹 스크래핑과 크롤링으로 가장 많이 쓰이는 건 아무래도 Python일 겁니다. 라이브러리도 잘 되어 있고 빠르니까요. 하지만 코드를 한 번도 짜 본적 없는 사람이 웹 스크래핑과 크롤링을 하고 싶어서 파이썬을 배우기 시작하면 꽤 오랜 시간이 필요할 겁니다. 영어 하나 배우는 데에도 오래 걸리는데, 파이썬이라는 컴퓨터 언어는 익숙하지 않으니 더 배우기 어려울 수밖에 없죠. 최근에 구글 스프레드시트로 웹 스크래핑을 하는 법을 알게 됐습니다. 주로 파이썬으로 웹 스크래핑을 하곤 했었는데, 구글 스프레드시트에서도 스크래핑을 편하게 할 수 있도록 누가 자바스크립트 코드를 만들어 뒀더라구요. 저도 인터넷으로 찾아서 해보다 알게 됐는데, 사용 방법을 공유해 두면 좋을 것 같아서 포스팅해 보려고 합니다. 사실 웹 스크래..

17.09.27 T아카데미 캠퍼스특강 ‘Aibril을 활용한 챗봇 개발’ 본 강의의 영상본은 아래 주소에서 확인할 수 있다. https://tacademy.sktechx.com/live/player/listOnline.action 강연을 해주신 연사님은 SK C&C에서 Aibril Evangelist라는 직함으로 일하시는 류승균 선임이셨다. Evangelist의 사전적 정의는 ‘전도사’인데, Aibril 생태계와 환경을 조성하기 위해 사람들에게 Aibril이라는 소프트웨어를 알리고 가르치는 역할이라고 한다. Aibril은 SK에서 개발한, IBM Watson에 기반한 AI플랫폼을 말한다. AI +Brilliant의 줄임말인 Aibril은 IBM 왓슨의 api를 기반으로 지도학습에 강점을 가지고 있다. 개..

170903. (1)의 글로 카카오톡 텍스트를 R로 분석하는 작업을 거쳤고, 남은 과제는 Ruby on Rails를 활용해 웹페이지를 만드는 것이었다. 구상한 웹페이지의 기본 형식은 사용자에게서 카카오톡 텍스트데이터를 받는다 받은 텍스트데이터를 Ruby on rails로 분석한다 R에서 분석한 결과값을 웹페이지에서 볼 수 있게 출력한다. 이렇게 세 가지였다. 그런데 R과 Rails를 동시에 쓰려니 생기는 문제점은, Rails에서 R 언어를 활용할 수 있는 방법이 마땅치 않다. Python은 라이브러리가 워낙 많기 때문에 자체적으로 KoNLPy로 형태소 분석과 시각화가 가능하지만, Ruby는 해당 기능을 지원하지 않기 때문이다. 그래서 멋쟁이사자처럼에서 Rails 활용을 위해 쓰고 있는 c9에서 해결의 실..

(1) R로 카카오톡 텍스트데이터 분석하기 170825. 사람의 말은 그 사람의 인품을 드러내기도 하고, 의식과 무의식을 세상에 내놓는 하나의 수단이다. 그렇다면, 카카오톡에서 우리가 지인들과 아무 생각 없이 하는 말 속에는 내 무의식이 담겨 있지 않을까? 보통 카카오톡에서 어떤 대화를 많이 하는지, 어떤 감정어를 많이 쓰는지 파악하는 것도 재미있을 것 같았다. 마침 멋쟁이사자처럼 동아리에서도 방학 동안 진행해 볼 프로젝트 주제가 필요했다. 그래서 시작한 카카오톡 텍스트데이터 분석. 목표는 두 가지였다. 1. R에서 카카오톡 텍스트데이터를 분석하고 시각화를 해본다. - 워드클라우드 - 카카오톡 데이터 관련 통계량을 googleVis로 시각화 - 연관성 높은 단어를 qgraph로 시각화 2. R의 코드내용..