관찰과 질문, 그리고 데이터

https://tv.naver.com/v/67446801 플레이 네이버(PLAY NAVER)[팀네이버 컨퍼런스 DAN 24] 인공지능의 마법으로 실시간 라이브 인코딩에 날개를 달다tv.naver.com   AI 인코딩 최적화가 필요한 이유 네이버tv, 스포츠, 치지직, 클립 등 다양한 서비스에서 VOD 사용: 비약적인 비용 증가 네이버 클라우드에서의 VOD 처리 절차다양한 기기에서 VOD 영상 업로드CODEC, container 등의 변환CDN으로 다양한 환경에서 재생 지원.이 중 가장 많은 서버자원, 시간, 리소스가 필요한 부분은 Encoding. 고해상도, 고화질 영상일수록 증가. 따라서자체 분산인코더 개발CDN, storage 비용 개선을 위한 인코딩 용량 줄여서 저장 / 전송 최적화를 연구중일반적..

https://youtu.be/7cwFhX14nkg?si=8yJhWaLrXjjbgOjQ  DataOps 팀 김현우. 도입 계기 개발자가 할 일이 많아서, 코드리뷰가 우선순위에 밀리는 경우가 종종 있음.기업사례 AWS, MS 등에서는 코드리뷰를 지원하는 프로그램이나 익스텐션이 있고, 다양한 기업에서도 사용 중.개발자 만족도도 높은 편아키텍처 / 시나리오 모델: LLama3 70B.라이센스 이슈가 적은 오픈소스Coding, Asking for Advice, Rewriting, Summarizing 항목이 포함된 Human Evaluation 벤치마크 성능이 높음 구조는 생각보다 간단함. Github Action으로 트리거하고, kubeflow가 동작하는 kserve로 서빙한다.도입하기 코드리뷰 기준을 4가지..

LLM을 프로덕션에 적용하며 배운 것들발표자: 박민우 https://youtu.be/NzxlIGPbICY?si=duX-VBdytjN14H8j  TL;DR 사람은 물론이고 기존에 딥러닝이 하던 일도 LLM으로 대체할 수 있다.LLM 호출비용이 비싸다는 의견이 있지만, GPT-4가 아니라 Gemini Pro 1.0 기준으로 100만 게시글 처리에 $100 정도.원하는 task + 적절한 모델 선택할 수 있다면 합리적인 비용으로도 감당할 수 있다.API 호출 비용도 내려가는 중. 당분간은 이런 추세가 이어지지 않을까 예상함.LLM 활용사례중고거래: LLM 기반 추천 / 광고물건을 파는 플랫폼이지만, 사용자가 직접 게시글 작성.. 정형화된 데이터가 거의 없음.사용자의 입력값으로부터 정형화 데이터를 LLM으로 추..

아래 유튜브 영상을 정리하였음. https://youtu.be/KQjZ68mToWo?si=09NX4cfbE9lYTJ9l 일반적인 RAG StepIndexing Step: Data Load -> Split -> Embedding -> Store in VectorDBRetrieval Step: Ask Question -> Embedding Question -> Retrieve Similar Documents -> add as a prompt -> LLMLangchain이 Vector Store에서 필요한 데이터를 더 잘 가져올 수 있도록 하는 기법MultiQueryRetrieverContextual CompressionEnsemble RetrieverSelf-Querying RetrieverTime-weig..

비즈니스에 실제로 활용 가능한 LLM 서비스 만들기SKT Data Application팀 김찬호님 개요 chatGPT 출시 전인 22년 9월 / 출시 이후인 23년 9월에 세콰이어 캐피털에 올라온 글. GPT-4한테 요약시킨 결과22.09: Gen AI가 창의성의 일부분에서 인간보다 우월한 성과를 내고 있다.23.09: Gen AI는 혁신적인 제품이었다. 유용성에 의문이 있었으나, 가치를 창출하는 시장이 출현하고 있다. 기대해볼 만하다. 22.09: foundation 모델 열거하고, 도메인 예시만 짤막하게 썼던 반면23.09: Stack 구조를 소개함. 도메인별 foundation 모델 / serving, management tool / framework / application / monitoring..

Squash: 딥러닝 서비스 추론속도 개선기 https://youtu.be/xUDmsGS_xjg?si=lF1vYad7ssUdcnBx 발표자: 제현우 자원 최적화 목표 - Efficient AI 작년: image sensor와 AI 기술 결합한 intelligent CiS (iCiS) 소개했음 Always-On: 휴대폰 전면 카메라가 사람의 존재 확인 -> 모바일 화면 깨우기 이미지 센서에서 동작하는 초경량 AI 알고리즘이 필요... 경량화, 최적화 기법 체득. Quantization, Pruning, Knowledge Distiliation 그렇지만 AI 서비스 하다 보면 마주하는 근본적인 문제 - computation cost 특히 딥러닝 서비스는 특정 API 호출이 많아지면 응답 지연 발생... 서비..

AI 경량화: 더 빠르고 저렴한 AI 서비스 https://www.youtube.com/watch?v=NVNCPGWe5Ss Naver Biz CIC / AI Serving Dev Inference Latency 서버 부하 전력소모 효율 ... 모델의 아키텍처가 성능을 좌우하는데, 서비스 상황에 맞춰 아키텍처 자체를 실험적으로 바꾸며 최적값을 찾기 위한 작업은 어렵다. 아키텍처를 고정한 채, 효율성을 더 높이기 위한 삽질기. 실험에 사용한 조건 중 num_thread 고정 dynamic allocation에서 발생하는 속도차이 무시하기 위함. 같은 모델이라도 다소 느린 속도. 경량화 이론은 매우 어렵지만, 서비스 적용을 위한 코드 수정은 (이론에 비하면) 쉬운 편이다. AI 모델 트렌드는 '더 큰 모델, ..

171123 2:00 - 3:30 성균관대학교 강연 AI. 미래의 핵심 기술이라는 사실에는 아무도 이견을 제시하지 않고, 기술력 좀 있고 미래를 선도하려는 야망을 가진 기업이라면 다들 준비하고 있는 분야다. 스피커 형태의 인공지능 비서인 아마존 에코, 구글 어시스턴스가 등장한 지 2~3년 정도 됐고, 한국에서도 카카오의 카카오미니, KT의 GiGa Genie, SK텔레콤의 누구 등등 홈 어시스턴스 형태로 많이도 출시됐다. 스피커 형태가 아닌 음성인식 기반 인공지능 소프트웨어로 확장하면 삼성의 빅스비, 애플의 시리도 포함될 수 있다. 이 정도면 거의 인공지능 춘추전국시대라고 불러도 좋을 것 같다. 한편으로는 궁금했다. 이 기업들이 왜 인공지능에 이렇게 투자를 하고 있을까. 인간의 음성을 인식한다는 것에서부..

17.09.27 T아카데미 캠퍼스특강 ‘Aibril을 활용한 챗봇 개발’ 본 강의의 영상본은 아래 주소에서 확인할 수 있다. https://tacademy.sktechx.com/live/player/listOnline.action 강연을 해주신 연사님은 SK C&C에서 Aibril Evangelist라는 직함으로 일하시는 류승균 선임이셨다. Evangelist의 사전적 정의는 ‘전도사’인데, Aibril 생태계와 환경을 조성하기 위해 사람들에게 Aibril이라는 소프트웨어를 알리고 가르치는 역할이라고 한다. Aibril은 SK에서 개발한, IBM Watson에 기반한 AI플랫폼을 말한다. AI +Brilliant의 줄임말인 Aibril은 IBM 왓슨의 api를 기반으로 지도학습에 강점을 가지고 있다. 개..