관찰과 질문, 그리고 데이터

https://www.youtube.com/live/Zpevs-4hj68?si=asOQuIEyWD3JE-4e    LLM앞으로는 오픈 모델을 좋건싫건 하나씩은 가지고 있지 않을까. fine tuning한 것들.킬러 앱이 나온 건 없지만, 도구로서는 훌륭한 사례들이 나오고 있음.학습된 데이터에 민감. 각각의 데이터별로 특성이 다르다.pretrained datasetsupervised Fine-Tuning datasetpreference alignment dataset그렇다보니'어떤 데이터로 학습했느냐'라는 정보가 LLM에서 원하는 결과를 얻기 위한 중요 방법인데공개된 LLM 모델은 일반 사용자가 이걸 알 방법이 없으니 Prompt Engineering이라는 이름으로 사례들이 공유됨다만, 모델마다 Overf..

https://youtu.be/7cwFhX14nkg?si=8yJhWaLrXjjbgOjQ  DataOps 팀 김현우. 도입 계기 개발자가 할 일이 많아서, 코드리뷰가 우선순위에 밀리는 경우가 종종 있음.기업사례 AWS, MS 등에서는 코드리뷰를 지원하는 프로그램이나 익스텐션이 있고, 다양한 기업에서도 사용 중.개발자 만족도도 높은 편아키텍처 / 시나리오 모델: LLama3 70B.라이센스 이슈가 적은 오픈소스Coding, Asking for Advice, Rewriting, Summarizing 항목이 포함된 Human Evaluation 벤치마크 성능이 높음 구조는 생각보다 간단함. Github Action으로 트리거하고, kubeflow가 동작하는 kserve로 서빙한다.도입하기 코드리뷰 기준을 4가지..

LLM을 프로덕션에 적용하며 배운 것들발표자: 박민우 https://youtu.be/NzxlIGPbICY?si=duX-VBdytjN14H8j  TL;DR 사람은 물론이고 기존에 딥러닝이 하던 일도 LLM으로 대체할 수 있다.LLM 호출비용이 비싸다는 의견이 있지만, GPT-4가 아니라 Gemini Pro 1.0 기준으로 100만 게시글 처리에 $100 정도.원하는 task + 적절한 모델 선택할 수 있다면 합리적인 비용으로도 감당할 수 있다.API 호출 비용도 내려가는 중. 당분간은 이런 추세가 이어지지 않을까 예상함.LLM 활용사례중고거래: LLM 기반 추천 / 광고물건을 파는 플랫폼이지만, 사용자가 직접 게시글 작성.. 정형화된 데이터가 거의 없음.사용자의 입력값으로부터 정형화 데이터를 LLM으로 추..

R.A.G 우리가 절대 쉽게 결과물을 얻을 수 없는 이유https://youtu.be/NfQrRQmDrcc?si=kWmsM0cfv02ddpak  RAG을 위한 문서 전처리 방법...Document LoadSplitEmbeddingVector StoreRetriever각각의 과정마다 선택할 수 있는 종류가 너무 많음. 이것들을 조합하면서 경험했던 내용을 공유하는 발표.Document Loader 다양한 종류의 데이터를 지원하지만 보통 csv, Excel, PDF.Langchain은 load()를 인터페이스화해서, 어떤 document loader 객체라도 파일 로드할 때 load()함수 쓰면 되도록 했음 고려해야 했던 점들데이터 원형 그대로 잘 가져오는가?한글 인코딩 / 특수문자 같은 거어떤 metadat..

아래 유튜브 영상을 정리하였음. https://youtu.be/KQjZ68mToWo?si=09NX4cfbE9lYTJ9l 일반적인 RAG StepIndexing Step: Data Load -> Split -> Embedding -> Store in VectorDBRetrieval Step: Ask Question -> Embedding Question -> Retrieve Similar Documents -> add as a prompt -> LLMLangchain이 Vector Store에서 필요한 데이터를 더 잘 가져올 수 있도록 하는 기법MultiQueryRetrieverContextual CompressionEnsemble RetrieverSelf-Querying RetrieverTime-weig..

비즈니스에 실제로 활용 가능한 LLM 서비스 만들기SKT Data Application팀 김찬호님 개요 chatGPT 출시 전인 22년 9월 / 출시 이후인 23년 9월에 세콰이어 캐피털에 올라온 글. GPT-4한테 요약시킨 결과22.09: Gen AI가 창의성의 일부분에서 인간보다 우월한 성과를 내고 있다.23.09: Gen AI는 혁신적인 제품이었다. 유용성에 의문이 있었으나, 가치를 창출하는 시장이 출현하고 있다. 기대해볼 만하다. 22.09: foundation 모델 열거하고, 도메인 예시만 짤막하게 썼던 반면23.09: Stack 구조를 소개함. 도메인별 foundation 모델 / serving, management tool / framework / application / monitoring..

https://youtu.be/WWaPGDS7ZQs?si=YK9YnKfo0v3G2BG6 SK브로드밴드 AI/DT Tech팀 김현석. LLM 배경 Foundation Model: 다양한 Task를 Self-supervised Learning 수행한 것. LLM의 경우 '언어' 라는 분야에 특화된 형태로, 요약 / 분류 / 번역, QA 등 다양한 task를 수행할 수 있다. 2023년에는 ChatGPT, Bard 등 LLM 기반 서비스가 많이 출시됐음. 기업에서도 자체 도메인을 적용하려는 시도 + LLaMa 오픈소스 사내 적용 시 Challenge Point Azure 환경 + ChatGPT RAG 적용해서 사내 데이터 연동하려는 PoC 진행 시 겪은 문제 Fine Tuning에 드는 비용 Hallucina..

Fast LLM Serving with vLLM and PagedAttention https://youtu.be/5ZlavKF_98U?si=sjZ31eHwRAClmx7a 권우석(woosuk.kwon). Berkley Ph.D Student LLM 기반 Application이 많이 등장함. Chat, Programming, CopyWriting... 도메인은 다양하지만 결국 LLM Serving이 핵심인 서비스들. LLM Speed / Cost 영향을 크게 받는다. 따라서 Serve Fast / Cost effcient 가 중요한 과제가 되었음 지금 LLM은 굉장히 비싼 몸. High-End GPU를 '많이' 필요함. 각각의 GPU가 handling할 수 있는 request는 매우 적음 NVidia A10..

Squash: 딥러닝 서비스 추론속도 개선기 https://youtu.be/xUDmsGS_xjg?si=lF1vYad7ssUdcnBx 발표자: 제현우 자원 최적화 목표 - Efficient AI 작년: image sensor와 AI 기술 결합한 intelligent CiS (iCiS) 소개했음 Always-On: 휴대폰 전면 카메라가 사람의 존재 확인 -> 모바일 화면 깨우기 이미지 센서에서 동작하는 초경량 AI 알고리즘이 필요... 경량화, 최적화 기법 체득. Quantization, Pruning, Knowledge Distiliation 그렇지만 AI 서비스 하다 보면 마주하는 근본적인 문제 - computation cost 특히 딥러닝 서비스는 특정 API 호출이 많아지면 응답 지연 발생... 서비..

서울시 생성AI 해커톤 후기공고: https://aifactory.space/competition/detail/2376작업물: https://github.com/AIFactory-CallPilot (공모2) 생성형 AI를 활용한 상담지원 서비스 앱・웹 개발aifactory.space기획 / 아이디어 아이디어는 공고에 첨부되어 있던 '다산콜센터 상담 프로세스'의 위 페이지 한 장에서 완성됐다. LLM에서 기술적으로 성능이 검증된 기능 중 하나가 '문해력'이다. 긴 글의 맥락 이해, 문서 요약과 같은 작업의 수행 능력이 뛰어나다. 일평균 2만 건을 사람이 직접 처리하고 있다면, 자동화를 제안할 명분으로는 충분했다. LangChain을 활용하면 LLM을 활용한 로직을 소스코드로 자동화할 수 있다. LangCh..