관찰과 질문, 그리고 데이터

Squash: 딥러닝 서비스 추론속도 개선기 https://youtu.be/xUDmsGS_xjg?si=lF1vYad7ssUdcnBx 발표자: 제현우 자원 최적화 목표 - Efficient AI 작년: image sensor와 AI 기술 결합한 intelligent CiS (iCiS) 소개했음 Always-On: 휴대폰 전면 카메라가 사람의 존재 확인 -> 모바일 화면 깨우기 이미지 센서에서 동작하는 초경량 AI 알고리즘이 필요... 경량화, 최적화 기법 체득. Quantization, Pruning, Knowledge Distiliation 그렇지만 AI 서비스 하다 보면 마주하는 근본적인 문제 - computation cost 특히 딥러닝 서비스는 특정 API 호출이 많아지면 응답 지연 발생... 서비..

https://youtu.be/MDE2HRsfr7g?si=7s4yRsOlUSZ8_nnu Socar AI Research 조충현님. STT 모델 경량화 연구내용의 소개. 카셰어링 업체가 자체 STT를 구축해야 했던 이유? CS 상담사의 업무에는 여러 가지가 있다. 상담가이드 문서 검색, 유저 정보 확인, 예약내역 확인, 상담내용 기록... 이걸 매 상담마다 반복해야 함. 이렇다보니 상담이 많아지면 대기시간이 길어짐... CS만족도 하락. 상담원은 고객업무에만 집중하도록, 상담 외 업무는 AI를 사용하는 방향으로. 그러려면, 고객과 상담원의 대화 내역을 문서화하는 작업은 필수. 문서가 있어야 AI가 뭐라도 할 수 있기 때문. Whisper: OpenAI에서 공개한 오픈소스 STT. 코드와 weight 공개되..

https://youtu.be/hCqF4tDPNBw?si=wYvWqiYFzX5UDr6R 대충? 거의 정확하다! 벡터 검색 엔진에 ANN HNSW 알고리즘 도입기 NHN Cloud 로그플랫폼개발팀 권성재. 벡터 검색엔진 운영하면서 새로운 알고리즘 도입하기까지. 기존 방식의 문제점, 해결책, C++ 구현체 말고 Golang에 적용하기까지. 헷갈릴 수 있어서 용어 정리하자면 ML 기술 결과물로 나온 Vector 값의 검색 관련 내용임. ML이나 AI 기술 자체에 관련된 건 아니다. HNSW 도입 배경 기존 방식인 KNN: 점 두개의 L2 Distance 계산. 검색 대상으로 들어온 Vector가 있으면 기존 DB에 있던 모든 Vector 간 거리를 일일이 계산 -> 가장 거리가 가까운 K개 응답. 따라서, 데..

https://youtu.be/aW5_voFk938?si=hEwqM1kQCDBAwbd0 ES Advocate 김종민님 전통 검색엔진으로서의 ES '사용자가 입력한 query'가 포함된 Docs를 Text Matching 방식으로 찾는다. Docs 저장할 때 Tokenizer 사용해서 text -> index 변환 해당 docs가 query를 얼마나 많이 포함하고 있는지를 TF 같은 요소를 기반으로 점수 계산. -> 연관도 높은 결과를 가져온다. LLM 등장으로 '검색엔진이 질문 의미를 이해하고, 적합한 결과를 가져오는 형태'의 서비스를 제공하려는 시도가 늘었음. query와 매칭되지는 않지만, query의 해답인 'connection speed requirements' 정보를 포함한 docs를 리턴하는 ..

AI 경량화: 더 빠르고 저렴한 AI 서비스 https://www.youtube.com/watch?v=NVNCPGWe5Ss Naver Biz CIC / AI Serving Dev Inference Latency 서버 부하 전력소모 효율 ... 모델의 아키텍처가 성능을 좌우하는데, 서비스 상황에 맞춰 아키텍처 자체를 실험적으로 바꾸며 최적값을 찾기 위한 작업은 어렵다. 아키텍처를 고정한 채, 효율성을 더 높이기 위한 삽질기. 실험에 사용한 조건 중 num_thread 고정 dynamic allocation에서 발생하는 속도차이 무시하기 위함. 같은 모델이라도 다소 느린 속도. 경량화 이론은 매우 어렵지만, 서비스 적용을 위한 코드 수정은 (이론에 비하면) 쉬운 편이다. AI 모델 트렌드는 '더 큰 모델, ..

Knative + Istio 조합한 Serverless Service에서 어느 날부터 Sidecar OOMKilled가 발생 배포한 knative service 개수는 큰 변화가 없고 k8s 클러스터 리소스도 충분히 여유가 있는데, istio sidecar가 Memory Limit을 초과해서 OOMkilled가 발생한다. 찾아보니 mesh에 포함된 workload 개수가 증가할수록 istio-proxy의 메모리 사용량이 증가하는 문제는 이미 잘 알려져 있었고, Sidecar CR을 사용해서 mesh가 관리할 workload를 namespace 또는 label selector 등을 사용해 제한하는 방식을 안내하고 있었다. https://medium.com/geekculture/watch-out-for-th..

https://www.coursera.org/professional-certificates/aws-cloud-solutions-architect AWS Cloud Solutions Architect Amazon Web Services에서 제공합니다. Start here to become an AWS Solutions Architect. Gain the skills and knowledge to design architectural solutions on ... 무료로 등록하십시오. www.coursera.org Processing Data in the Data Lake Data Prep and AWS Glue Jobs Data Ingestion in raw format. 사용하고자 하는 목적에 맞게 da..

https://www.coursera.org/professional-certificates/aws-cloud-solutions-architect AWS Cloud Solutions Architect Amazon Web Services에서 제공합니다. Start here to become an AWS Solutions Architect. Gain the skills and knowledge to design architectural solutions on ... 무료로 등록하십시오. www.coursera.org Ingesting the River Use the right tool for the job Data categorizing: 필요할 때 원하는 데이터를 정확히 찾아내기 위해 필요함. 사용자의 ac..

https://www.coursera.org/professional-certificates/aws-cloud-solutions-architect AWS Cloud Solutions Architect Amazon Web Services에서 제공합니다. Start here to become an AWS Solutions Architect. Gain the skills and knowledge to design architectural solutions on ... 무료로 등록하십시오. www.coursera.org AWS Data Related Services 다양한 AWS Service를 일종의 모듈 개념으로 조합해서 Data Lake를 구성할 수 있다. 핵심 컴포넌트 위주로 먼저 보고, 해당 컴포넌트의 ..

https://www.coursera.org/professional-certificates/aws-cloud-solutions-architect AWS Cloud Solutions Architect Amazon Web Services에서 제공합니다. Start here to become an AWS Solutions Architect. Gain the skills and knowledge to design architectural solutions on ... 무료로 등록하십시오. www.coursera.org Introduction to Data lakes Data Lake가 필요한 대표적인 시나리오는 아래와 같다. 예컨대 startup의 System Administrator라고 가정해보자. 목표는 E..