관찰과 질문, 그리고 데이터

https://youtu.be/NyaffVfRzLo?si=GMyNA9SAGTHBh9yx 발표자: David Lorite / Jesus SamitierEngineer in Sysdig HPA: scale workloads Based on CPU / Memory Usage. 즉, Advanced Metric을 기본적으로 지원하는 구조가 아님.따라서 특정 metric을 조합 / 연산하는 형태의 metric이나, CPU / Mem 외에 비즈니스에 중요한 metric를 기준으로 쓸 수는 없다.API LatencyNumber of TPSWaiting Connections in a Web ServerErrors...Prometheus와 PromQL을 사용해서 HPA를 작동시키면 어떨까?예컨대 nginx 서버를 s..

Squash: 딥러닝 서비스 추론속도 개선기 https://youtu.be/xUDmsGS_xjg?si=lF1vYad7ssUdcnBx 발표자: 제현우 자원 최적화 목표 - Efficient AI 작년: image sensor와 AI 기술 결합한 intelligent CiS (iCiS) 소개했음 Always-On: 휴대폰 전면 카메라가 사람의 존재 확인 -> 모바일 화면 깨우기 이미지 센서에서 동작하는 초경량 AI 알고리즘이 필요... 경량화, 최적화 기법 체득. Quantization, Pruning, Knowledge Distiliation 그렇지만 AI 서비스 하다 보면 마주하는 근본적인 문제 - computation cost 특히 딥러닝 서비스는 특정 API 호출이 많아지면 응답 지연 발생... 서비..

작은 사이드 프로젝트 중간에 투입돼서 코드 개선을 하게 되었는데, FastAPI + SQLAlchemy (postgres) + Alembic으로 구성된 기존 방식에서 Alembic을 atlas로 변경했다. Python으로 구성하는 API Server + ORM + DB migration tool 조합의 정석으로 많이 쓰이지만, 글 작성 기준 alembic 최신버전인 v1.13.1 프로덕트를 써보니 장점보다는 단점이 더 크게 느껴졌다. 당연하게도, 내가 느낀 단점이나 불편함이 alembic 프로덕트 자체의 한계는 아닐 수도 있다. 문서에서 내가 놓친 부분이 있을 수도 있다. 이런 고민을 하게 된 상황은 아래와 같은 조건에서였다. Python으로 production level의 웹 서비스를 목표로 상정하고 ..

https://www.youtube.com/playlist?list=PLa7VYi0yPIH0IpUKXb3q7NSjpJGO9GGGZ Designing Event-Driven MicroservicesMicroservices are the foundation of Cloud-Native Distributed Systems. Learn the principles of microservices and how they can be extended to build Event-Drive...www.youtube.com   conflent에서 제공하는 강의목록.From Monoliths to Microservices Monolith와 Microservice는 딱 잘라서 나뉘는 게 아니라, 아키텍처 스펙트럼의 Bounda..

https://youtu.be/MDE2HRsfr7g?si=7s4yRsOlUSZ8_nnu Socar AI Research 조충현님. STT 모델 경량화 연구내용의 소개. 카셰어링 업체가 자체 STT를 구축해야 했던 이유? CS 상담사의 업무에는 여러 가지가 있다. 상담가이드 문서 검색, 유저 정보 확인, 예약내역 확인, 상담내용 기록... 이걸 매 상담마다 반복해야 함. 이렇다보니 상담이 많아지면 대기시간이 길어짐... CS만족도 하락. 상담원은 고객업무에만 집중하도록, 상담 외 업무는 AI를 사용하는 방향으로. 그러려면, 고객과 상담원의 대화 내역을 문서화하는 작업은 필수. 문서가 있어야 AI가 뭐라도 할 수 있기 때문. Whisper: OpenAI에서 공개한 오픈소스 STT. 코드와 weight 공개되..

https://youtu.be/hCqF4tDPNBw?si=wYvWqiYFzX5UDr6R 대충? 거의 정확하다! 벡터 검색 엔진에 ANN HNSW 알고리즘 도입기 NHN Cloud 로그플랫폼개발팀 권성재. 벡터 검색엔진 운영하면서 새로운 알고리즘 도입하기까지. 기존 방식의 문제점, 해결책, C++ 구현체 말고 Golang에 적용하기까지. 헷갈릴 수 있어서 용어 정리하자면 ML 기술 결과물로 나온 Vector 값의 검색 관련 내용임. ML이나 AI 기술 자체에 관련된 건 아니다. HNSW 도입 배경 기존 방식인 KNN: 점 두개의 L2 Distance 계산. 검색 대상으로 들어온 Vector가 있으면 기존 DB에 있던 모든 Vector 간 거리를 일일이 계산 -> 가장 거리가 가까운 K개 응답. 따라서, 데..

https://youtu.be/16qs7LJSyps?si=SK1HvENWtcuePAEY terraform에서 3,000가지가 넘는 provider를 구분해서 provisioning할 수 있는 이유 -> Provider 때문. Plugin 같은 건데, RPC로 terraform core와 통신하고 / 필요한 resource, data source를 가져올 수 있게 한다. Target API와 https로 통신할 수 있는 Go Client Library를 사용. How to Create a Provider? 보통 목적은 세 가지일 것. Update Existing Provider 기능 추가, 버그 수정 등... for Contribute 단, 오늘 소개하는 프레임워크는 SDKv2인 최신 버전이라서 약간 다를..

https://youtu.be/aW5_voFk938?si=hEwqM1kQCDBAwbd0 ES Advocate 김종민님 전통 검색엔진으로서의 ES '사용자가 입력한 query'가 포함된 Docs를 Text Matching 방식으로 찾는다. Docs 저장할 때 Tokenizer 사용해서 text -> index 변환 해당 docs가 query를 얼마나 많이 포함하고 있는지를 TF 같은 요소를 기반으로 점수 계산. -> 연관도 높은 결과를 가져온다. LLM 등장으로 '검색엔진이 질문 의미를 이해하고, 적합한 결과를 가져오는 형태'의 서비스를 제공하려는 시도가 늘었음. query와 매칭되지는 않지만, query의 해답인 'connection speed requirements' 정보를 포함한 docs를 리턴하는 ..

‘해결해야 할 문제가 무엇인가‘를 정의할 수 있는 능력이 ‘논점사고'이다. 논점사고는 ‘상황을 다각도로 보고, 끊임없이 질문하며 근원을 찾아가는' 능력이며, 의문을 가지고 질문하는 것이 핵심이다. 논리적이고 이성적인 질문의 중요성을 강조하지만, 이에 못지않게 ‘직관과 경험' (i.e. 이게 핵심인 것 같은데..? 같은 감각) 을 강조한 것이 특이점. 컨설팅업계 종사자라서인지 ‘단기적, 효율적인 문제해결' 위주의 사례가 많고, 그나마도 일본 내 영업사례에 한정되어 있다는 점이 아쉽다. 컨설팅업의 입장에서 클라이언트가 ‘현상을 해결해 달라’는 요구를 받았을 때, 어떤 식으로 논점을 정의하고 클라이언트에게 전달해야 하는지를 소개한다. 전반적으로 컨설팅 회사의 문제해결법을 소개한다는 인상이 강하다. 눈앞의 상황..

AI 경량화: 더 빠르고 저렴한 AI 서비스 https://www.youtube.com/watch?v=NVNCPGWe5Ss Naver Biz CIC / AI Serving Dev Inference Latency 서버 부하 전력소모 효율 ... 모델의 아키텍처가 성능을 좌우하는데, 서비스 상황에 맞춰 아키텍처 자체를 실험적으로 바꾸며 최적값을 찾기 위한 작업은 어렵다. 아키텍처를 고정한 채, 효율성을 더 높이기 위한 삽질기. 실험에 사용한 조건 중 num_thread 고정 dynamic allocation에서 발생하는 속도차이 무시하기 위함. 같은 모델이라도 다소 느린 속도. 경량화 이론은 매우 어렵지만, 서비스 적용을 위한 코드 수정은 (이론에 비하면) 쉬운 편이다. AI 모델 트렌드는 '더 큰 모델, ..