공부하고 기록하는, 경제학과 출신 개발자의 노트

AI 6

LangChain - Advanced RAG Technique for Better Retrieval Performance 정리

아래 유튜브 영상을 정리하였음. https://youtu.be/KQjZ68mToWo?si=09NX4cfbE9lYTJ9l 일반적인 RAG StepIndexing Step: Data Load -> Split -> Embedding -> Store in VectorDBRetrieval Step: Ask Question -> Embedding Question -> Retrieve Similar Documents -> add as a prompt -> LLMLangchain이 Vector Store에서 필요한 데이터를 더 잘 가져올 수 있도록 하는 기법MultiQueryRetrieverContextual CompressionEnsemble RetrieverSelf-Querying RetrieverTime-weig..

학습일지/AI 2024.03.14

SK Tech Summit 2023 - 비즈니스에 실제로 활용 가능한 LLM 서비스 만들기

비즈니스에 실제로 활용 가능한 LLM 서비스 만들기SKT Data Application팀 김찬호님 개요 chatGPT 출시 전인 22년 9월 / 출시 이후인 23년 9월에 세콰이어 캐피털에 올라온 글. GPT-4한테 요약시킨 결과22.09: Gen AI가 창의성의 일부분에서 인간보다 우월한 성과를 내고 있다.23.09: Gen AI는 혁신적인 제품이었다. 유용성에 의문이 있었으나, 가치를 창출하는 시장이 출현하고 있다. 기대해볼 만하다. 22.09: foundation 모델 열거하고, 도메인 예시만 짤막하게 썼던 반면23.09: Stack 구조를 소개함. 도메인별 foundation 모델 / serving, management tool / framework / application / monitoring..

학습일지/AI 2024.02.17

SK Tech Summit 2023 - Squash: 딥러닝 서비스 추론속도 개선기

Squash: 딥러닝 서비스 추론속도 개선기 https://youtu.be/xUDmsGS_xjg?si=lF1vYad7ssUdcnBx 발표자: 제현우 자원 최적화 목표 - Efficient AI 작년: image sensor와 AI 기술 결합한 intelligent CiS (iCiS) 소개했음 Always-On: 휴대폰 전면 카메라가 사람의 존재 확인 -> 모바일 화면 깨우기 이미지 센서에서 동작하는 초경량 AI 알고리즘이 필요... 경량화, 최적화 기법 체득. Quantization, Pruning, Knowledge Distiliation 그렇지만 AI 서비스 하다 보면 마주하는 근본적인 문제 - computation cost 특히 딥러닝 서비스는 특정 API 호출이 많아지면 응답 지연 발생... 서비..

학습일지/AI 2024.01.31

Naver Engineering Day 2023 - AI 경량화: 더 빠르고 저렴한 AI 서비스

AI 경량화: 더 빠르고 저렴한 AI 서비스 https://www.youtube.com/watch?v=NVNCPGWe5Ss Naver Biz CIC / AI Serving Dev Inference Latency 서버 부하 전력소모 효율 ... 모델의 아키텍처가 성능을 좌우하는데, 서비스 상황에 맞춰 아키텍처 자체를 실험적으로 바꾸며 최적값을 찾기 위한 작업은 어렵다. 아키텍처를 고정한 채, 효율성을 더 높이기 위한 삽질기. 실험에 사용한 조건 중 num_thread 고정 dynamic allocation에서 발생하는 속도차이 무시하기 위함. 같은 모델이라도 다소 느린 속도. 경량화 이론은 매우 어렵지만, 서비스 적용을 위한 코드 수정은 (이론에 비하면) 쉬운 편이다. AI 모델 트렌드는 '더 큰 모델, ..

학습일지/AI 2023.11.07

카카오와 AI를 말하다 - 김병학 다음카카오 AI 총괄부사장

171123 2:00 - 3:30 성균관대학교 강연 AI. 미래의 핵심 기술이라는 사실에는 아무도 이견을 제시하지 않고, 기술력 좀 있고 미래를 선도하려는 야망을 가진 기업이라면 다들 준비하고 있는 분야다. 스피커 형태의 인공지능 비서인 아마존 에코, 구글 어시스턴스가 등장한 지 2~3년 정도 됐고, 한국에서도 카카오의 카카오미니, KT의 GiGa Genie, SK텔레콤의 누구 등등 홈 어시스턴스 형태로 많이도 출시됐다. 스피커 형태가 아닌 음성인식 기반 인공지능 소프트웨어로 확장하면 삼성의 빅스비, 애플의 시리도 포함될 수 있다. 이 정도면 거의 인공지능 춘추전국시대라고 불러도 좋을 것 같다. 한편으로는 궁금했다. 이 기업들이 왜 인공지능에 이렇게 투자를 하고 있을까. 인간의 음성을 인식한다는 것에서부..

강연 2017.11.27

Aibril 소프트웨어로 아주 쉽게 챗봇 만들어보기 - T아카데미 세미나

17.09.27 T아카데미 캠퍼스특강 ‘Aibril을 활용한 챗봇 개발’ 본 강의의 영상본은 아래 주소에서 확인할 수 있다. https://tacademy.sktechx.com/live/player/listOnline.action 강연을 해주신 연사님은 SK C&C에서 Aibril Evangelist라는 직함으로 일하시는 류승균 선임이셨다. Evangelist의 사전적 정의는 ‘전도사’인데, Aibril 생태계와 환경을 조성하기 위해 사람들에게 Aibril이라는 소프트웨어를 알리고 가르치는 역할이라고 한다. Aibril은 SK에서 개발한, IBM Watson에 기반한 AI플랫폼을 말한다. AI +Brilliant의 줄임말인 Aibril은 IBM 왓슨의 api를 기반으로 지도학습에 강점을 가지고 있다. 개..