관찰과 질문, 그리고 데이터

탁월한 프로덕트 / 비즈니스의 성공에는 재능, 노력뿐만 아니라 ‘역설계'가 포함된다. 역설계란, 다른 분야에서 효과가 있었던 원리나 방법을 재해석한 것을 의미한다. 역설계란 일종의 패턴 분석이며, 역사적으로 다양한 분야 - 음악, 미술, 스포츠, 영화, 심지어는 도둑질에까지 - 에서 효과를 증명했다. 역설계를 하기 위한 방법으로 ‘측정하기’, ‘리스크 관리하기’, ‘전략적으로 연습하기', ‘훌륭한 피드백 선별하기'라는 네 가지 방법론을 소개한다. 스포츠 분야의 예시가 많은데, 스포츠의 문법을 일반인의 삶에 예시로 대입할 만큼 일반화할 수 있는지는 회의적이다. 저자에 따르면, 인간이 만들어낸 불세출의 창작물 또는 비즈니스적 성취에는 ‘역설계' 전략이 반드시 포함되었다. 역설계란, 다른 프로덕트의 패턴을 면..

https://youtu.be/WWaPGDS7ZQs?si=YK9YnKfo0v3G2BG6 SK브로드밴드 AI/DT Tech팀 김현석. LLM 배경 Foundation Model: 다양한 Task를 Self-supervised Learning 수행한 것. LLM의 경우 '언어' 라는 분야에 특화된 형태로, 요약 / 분류 / 번역, QA 등 다양한 task를 수행할 수 있다. 2023년에는 ChatGPT, Bard 등 LLM 기반 서비스가 많이 출시됐음. 기업에서도 자체 도메인을 적용하려는 시도 + LLaMa 오픈소스 사내 적용 시 Challenge Point Azure 환경 + ChatGPT RAG 적용해서 사내 데이터 연동하려는 PoC 진행 시 겪은 문제 Fine Tuning에 드는 비용 Hallucina..

Fast LLM Serving with vLLM and PagedAttention https://youtu.be/5ZlavKF_98U?si=sjZ31eHwRAClmx7a 권우석(woosuk.kwon). Berkley Ph.D Student LLM 기반 Application이 많이 등장함. Chat, Programming, CopyWriting... 도메인은 다양하지만 결국 LLM Serving이 핵심인 서비스들. LLM Speed / Cost 영향을 크게 받는다. 따라서 Serve Fast / Cost effcient 가 중요한 과제가 되었음 지금 LLM은 굉장히 비싼 몸. High-End GPU를 '많이' 필요함. 각각의 GPU가 handling할 수 있는 request는 매우 적음 NVidia A10..

Squash: 딥러닝 서비스 추론속도 개선기 https://youtu.be/xUDmsGS_xjg?si=lF1vYad7ssUdcnBx 발표자: 제현우 자원 최적화 목표 - Efficient AI 작년: image sensor와 AI 기술 결합한 intelligent CiS (iCiS) 소개했음 Always-On: 휴대폰 전면 카메라가 사람의 존재 확인 -> 모바일 화면 깨우기 이미지 센서에서 동작하는 초경량 AI 알고리즘이 필요... 경량화, 최적화 기법 체득. Quantization, Pruning, Knowledge Distiliation 그렇지만 AI 서비스 하다 보면 마주하는 근본적인 문제 - computation cost 특히 딥러닝 서비스는 특정 API 호출이 많아지면 응답 지연 발생... 서비..

작은 사이드 프로젝트 중간에 투입돼서 코드 개선을 하게 되었는데, FastAPI + SQLAlchemy (postgres) + Alembic으로 구성된 기존 방식에서 Alembic을 atlas로 변경했다. Python으로 구성하는 API Server + ORM + DB migration tool 조합의 정석으로 많이 쓰이지만, 글 작성 기준 alembic 최신버전인 v1.13.1 프로덕트를 써보니 장점보다는 단점이 더 크게 느껴졌다. 당연하게도, 내가 느낀 단점이나 불편함이 alembic 프로덕트 자체의 한계는 아닐 수도 있다. 문서에서 내가 놓친 부분이 있을 수도 있다. 이런 고민을 하게 된 상황은 아래와 같은 조건에서였다. Python으로 production level의 웹 서비스를 목표로 상정하고 ..

https://youtu.be/MDE2HRsfr7g?si=7s4yRsOlUSZ8_nnu Socar AI Research 조충현님. STT 모델 경량화 연구내용의 소개. 카셰어링 업체가 자체 STT를 구축해야 했던 이유? CS 상담사의 업무에는 여러 가지가 있다. 상담가이드 문서 검색, 유저 정보 확인, 예약내역 확인, 상담내용 기록... 이걸 매 상담마다 반복해야 함. 이렇다보니 상담이 많아지면 대기시간이 길어짐... CS만족도 하락. 상담원은 고객업무에만 집중하도록, 상담 외 업무는 AI를 사용하는 방향으로. 그러려면, 고객과 상담원의 대화 내역을 문서화하는 작업은 필수. 문서가 있어야 AI가 뭐라도 할 수 있기 때문. Whisper: OpenAI에서 공개한 오픈소스 STT. 코드와 weight 공개되..

https://youtu.be/hCqF4tDPNBw?si=wYvWqiYFzX5UDr6R 대충? 거의 정확하다! 벡터 검색 엔진에 ANN HNSW 알고리즘 도입기 NHN Cloud 로그플랫폼개발팀 권성재. 벡터 검색엔진 운영하면서 새로운 알고리즘 도입하기까지. 기존 방식의 문제점, 해결책, C++ 구현체 말고 Golang에 적용하기까지. 헷갈릴 수 있어서 용어 정리하자면 ML 기술 결과물로 나온 Vector 값의 검색 관련 내용임. ML이나 AI 기술 자체에 관련된 건 아니다. HNSW 도입 배경 기존 방식인 KNN: 점 두개의 L2 Distance 계산. 검색 대상으로 들어온 Vector가 있으면 기존 DB에 있던 모든 Vector 간 거리를 일일이 계산 -> 가장 거리가 가까운 K개 응답. 따라서, 데..

https://youtu.be/16qs7LJSyps?si=SK1HvENWtcuePAEY terraform에서 3,000가지가 넘는 provider를 구분해서 provisioning할 수 있는 이유 -> Provider 때문. Plugin 같은 건데, RPC로 terraform core와 통신하고 / 필요한 resource, data source를 가져올 수 있게 한다. Target API와 https로 통신할 수 있는 Go Client Library를 사용. How to Create a Provider? 보통 목적은 세 가지일 것. Update Existing Provider 기능 추가, 버그 수정 등... for Contribute 단, 오늘 소개하는 프레임워크는 SDKv2인 최신 버전이라서 약간 다를..

https://youtu.be/aW5_voFk938?si=hEwqM1kQCDBAwbd0 ES Advocate 김종민님 전통 검색엔진으로서의 ES '사용자가 입력한 query'가 포함된 Docs를 Text Matching 방식으로 찾는다. Docs 저장할 때 Tokenizer 사용해서 text -> index 변환 해당 docs가 query를 얼마나 많이 포함하고 있는지를 TF 같은 요소를 기반으로 점수 계산. -> 연관도 높은 결과를 가져온다. LLM 등장으로 '검색엔진이 질문 의미를 이해하고, 적합한 결과를 가져오는 형태'의 서비스를 제공하려는 시도가 늘었음. query와 매칭되지는 않지만, query의 해답인 'connection speed requirements' 정보를 포함한 docs를 리턴하는 ..

‘해결해야 할 문제가 무엇인가‘를 정의할 수 있는 능력이 ‘논점사고'이다. 논점사고는 ‘상황을 다각도로 보고, 끊임없이 질문하며 근원을 찾아가는' 능력이며, 의문을 가지고 질문하는 것이 핵심이다. 논리적이고 이성적인 질문의 중요성을 강조하지만, 이에 못지않게 ‘직관과 경험' (i.e. 이게 핵심인 것 같은데..? 같은 감각) 을 강조한 것이 특이점. 컨설팅업계 종사자라서인지 ‘단기적, 효율적인 문제해결' 위주의 사례가 많고, 그나마도 일본 내 영업사례에 한정되어 있다는 점이 아쉽다. 컨설팅업의 입장에서 클라이언트가 ‘현상을 해결해 달라’는 요구를 받았을 때, 어떤 식으로 논점을 정의하고 클라이언트에게 전달해야 하는지를 소개한다. 전반적으로 컨설팅 회사의 문제해결법을 소개한다는 인상이 강하다. 눈앞의 상황..