관찰과 질문, 그리고 데이터

AI 경량화: 더 빠르고 저렴한 AI 서비스 https://www.youtube.com/watch?v=NVNCPGWe5Ss Naver Biz CIC / AI Serving Dev Inference Latency 서버 부하 전력소모 효율 ... 모델의 아키텍처가 성능을 좌우하는데, 서비스 상황에 맞춰 아키텍처 자체를 실험적으로 바꾸며 최적값을 찾기 위한 작업은 어렵다. 아키텍처를 고정한 채, 효율성을 더 높이기 위한 삽질기. 실험에 사용한 조건 중 num_thread 고정 dynamic allocation에서 발생하는 속도차이 무시하기 위함. 같은 모델이라도 다소 느린 속도. 경량화 이론은 매우 어렵지만, 서비스 적용을 위한 코드 수정은 (이론에 비하면) 쉬운 편이다. AI 모델 트렌드는 '더 큰 모델, ..

폭증하는 카카오톡 트래픽에 대처하는 방법 카카오톡 메인 화면에서 가장 중요한 탭은 1탭과 2탭. 1탭: 친구 목록, 2탭: 채팅방 톡메세징파트는 채팅서비스에서 크게 두 가지를 담당하고 있다. 카카오 클라이언트의 로그인 관련 기능 카카오 클라이언트에서 채팅방 진입, 메시지 동기화, 메시지 전송 등 처리하는 메시지의 양 평상시 낮 최고 트래픽은 초당 62만 건 정도 메시지 전송만 보면 초당 4만 5천 건. 트래픽 폭증 예시 지진과 같은 자연재해 대형 이벤트 - 신년 / 월드컵과 같은 큰 이벤트 대응 실패하면 장애 발생. 카카오톡에서 장애 대응 시스템을 어떻게 만들어왔는지, 실제 서비스 장애가 있었던 사례와 함께 소개하고자 함. 자동 대응 시스템 2016년 9월 경주 지진으로 인한 장애를 설명하려면, 백그라운..

스마트 메시지 서비스 개발기 (Kafka Streams) https://if.kakao.com/session/22 if(kakao)2021 함께 나아가는 더 나은 세상 if.kakao.com 스마트 메시지: 카카오톡 채널 광고메시지 서비스의 일종. 소재 최적화: 여러 광고시안 중 어떤 소재가 가장 반응률이 높을 것인지 유저 타겟팅: 반응률이 높을 것 같은 유저 타겟팅. 광고 등록을 요청하면, 스마트메시지 시스템에 요청이 등록됨. 스마트메시지 시스템은 카톡 채널 로그로부터 모델을 학습해서, 소재최적화 / 유저타겟팅 대상을 선정한다. 메시지를 보내면, 반응 로그가 kafka로 유입. 스마트메시지 시스템이 다시 학습에 사용함. 광고 집행이 끝나면 리포트 생성 -> 광고주가 확인할 수 있도록 전달. 프로덕트 아..

서버 성능테스트, 클릭 한 번으로 끝내볼 수 있을까? 배민서비스개발팀 김덕수 님 전제사항 클라우드 환경. CLI로 클라우드 서버를 조작할 수 있어야 함 서버 자원을 시각화할 수 있고, 모니터링할 수 있는 수단을 갖추고 있음. 서버 성능테스트? API 요청이 많은 상황에서 서버가 어떻게 동작하는지 확인하기 위해 수행하는 테스트. 목적에 따라 성능테스트 / stress test / 부하 테스트 등 용어가 다르지만, 세분화된 용어 정의는 이 발표에서 중요하지 않으므로 '성능테스트'로 통일. 요청을 얼마나 잘 처리하는가? 병목현상이 되는 지점은? 가상의 클라이언트를 만들고, 서버 부하를 발생시켜서 상황을 관측한다. 트래픽 많이 들어오는 게 무서운 서비스... 사전에 확인하기 위해서. 가상 클라이언트를 생성하는 ..

2019년 4월, 소프트웨어 교육 컨퍼런스 SEF2019에서 발표했던 내용입니다. https://www.edwith.org/sef-2019/lecture/44870/ [LECTURE] SW공부 2년, 경제학과 학부생이 겪은 변화 (이동건ㅣ성균관대) : edwith - 커넥트재단 www.edwith.org Sef2019 presentation_LeeDonggeon from 동건 이

180608 카카오 그라운드X의 비전, 비즈니스 목표, 원하는 사업구성이 무엇인지 귀띔해 준 서밋. 블록체인을 활용할 수 있는 사회적 기여방법 / 공공사업을 고민하고자 한 의지가 보임. 그라운드X가 취할 수 있는 큰 전략(Strategy) 중에서는 나쁘지 않은 선택이지만, 구체적인 전술(tactic)은 아직 정해지지 않은 느낌.cf. 블록체인으로 해결할 사회문제가 못이고 블록체인 기술이 망치라면, 못이 있어야 망치가 의미가 있기 마련인데 혹시 망치를 들고 못을 찾아다니는 형태로 끝나지는 않을지 고민이 필요해 보임. 회사 인턴일을 하면서 찾아다닌 밋업이나 서밋, 강연회는 참 많았는데, 블록체인 쪽 관련해서는 제대로 된 목적을 지닌 모임이 얼마 없었다. 그럴듯하게 포장했지만 내실이 없는 밋업이 너무 많았고,..

180417 SKT UX HCILAB(타작마당) 오후 4:00 - 5:00 보통은 강의를 듣고 내용을 완전히 이해한 다음, 제 방식대로 재구성해서 강연내용을 풀어가는 방식으로 글을 썼습니다. 그런데 블록체인은 제가 공부를 시작한 지 오래 되지 않아서 이해부터가 온전치 않습니다. 완결된 글 형식이 아니라 강의록 요약 형태로 포스팅하게 되어 씁쓸합니다. 공부 많이 해서 제대로 풀어낼 수 있게 해야겠습니다. 주제: 블록체인, 실리콘밸리 최신 동향과 이슈 강사: 오태림 ‘글루와’ 대표 강의내용 - 현재 블록체인의 ‘사용성’을 실증할 수 있는 사례는 부족하다. 기술 자체만으로는 변화를 일으키지 못하고, 기술에 기반한 ‘제품’이 비로소 세상을 바꾼다. - 제품의 정의는? = 불편한 무언가를 해소하거나 바꾸어 사람들..

171123 2:00 - 3:30 성균관대학교 강연 AI. 미래의 핵심 기술이라는 사실에는 아무도 이견을 제시하지 않고, 기술력 좀 있고 미래를 선도하려는 야망을 가진 기업이라면 다들 준비하고 있는 분야다. 스피커 형태의 인공지능 비서인 아마존 에코, 구글 어시스턴스가 등장한 지 2~3년 정도 됐고, 한국에서도 카카오의 카카오미니, KT의 GiGa Genie, SK텔레콤의 누구 등등 홈 어시스턴스 형태로 많이도 출시됐다. 스피커 형태가 아닌 음성인식 기반 인공지능 소프트웨어로 확장하면 삼성의 빅스비, 애플의 시리도 포함될 수 있다. 이 정도면 거의 인공지능 춘추전국시대라고 불러도 좋을 것 같다. 한편으로는 궁금했다. 이 기업들이 왜 인공지능에 이렇게 투자를 하고 있을까. 인간의 음성을 인식한다는 것에서부..

171103 엔코아 공감토크 - ‘4차 산업혁명과 데이터의 역할’ by 이화식 엔코아 대표이사 (3) 원유는 ‘오랜 시간, 다양한 종류의 유기물, 미생물, 무기물 등이 혼합되고 융합되는 과정을 거쳐 만들어졌다. 이 특징 때문에 원유는 정제하고 가공할 경우 다양한 산업분야에서 사용될 수 있었다. 데이터도 마찬가지다. 다양한 종류의 데이터가 융합될 때 비로소 거의 모든 산업에 영향을 미치는 존재가 될 수 있다. 데이터 융합이 어떤 식으로 되어야 하는 걸까? 그 해답은 사업 분야에 따라 다르다. 제조업과 서비스업이라는 두 개의 축으로 분류하자. 제조업은 ‘Value Chain’을 기준으로 데이터 융합이 이루어져야 하고, 서비스업은 ‘사람’을 중심으로 모든 데이터가 연결되고 융합되어야 한다. 서비스업은 이해가 ..

171103 엔코아 공감토크 - ‘4차 산업혁명과 데이터의 역할’ by 이화식 엔코아 대표이사 (2) 이제 데이터를 보는 관점을 기업의 의사결정 차원에서 한 층 높여보자. 3차 산업혁명 이후 금융업이나 서비스업이 주목을 받던 시기가 있었지만, 한 국가의 경쟁력을 판단하는 가장 유의미한 지표는 제조업이었다. 한 국가를 나무에 비유한다면, 나무의 뿌리가 바로 제조업이라고 볼 수 있는 이유다. 제조업이라는 뿌리가 탄탄한 국가 위에, 금융업이나 의료업, 서비스업, 통신업과 같은 열매가 열릴 수 있었다. 한국의 경우, 세계 수준의 경쟁력을 지닌 반도체, 자동차, 철강, 조선업 등이 국가의 강한 체력을 유지할 수 있게 했다. 금융업과 서비스업으로 부를 창출하겠다는 움직임은 금융위기 이후 거의 사라졌다. 미국과 독일..