관찰과 질문, 그리고 데이터

LLM을 프로덕션에 적용하며 배운 것들발표자: 박민우 https://youtu.be/NzxlIGPbICY?si=duX-VBdytjN14H8j  TL;DR 사람은 물론이고 기존에 딥러닝이 하던 일도 LLM으로 대체할 수 있다.LLM 호출비용이 비싸다는 의견이 있지만, GPT-4가 아니라 Gemini Pro 1.0 기준으로 100만 게시글 처리에 $100 정도.원하는 task + 적절한 모델 선택할 수 있다면 합리적인 비용으로도 감당할 수 있다.API 호출 비용도 내려가는 중. 당분간은 이런 추세가 이어지지 않을까 예상함.LLM 활용사례중고거래: LLM 기반 추천 / 광고물건을 파는 플랫폼이지만, 사용자가 직접 게시글 작성.. 정형화된 데이터가 거의 없음.사용자의 입력값으로부터 정형화 데이터를 LLM으로 추..

R.A.G 우리가 절대 쉽게 결과물을 얻을 수 없는 이유https://youtu.be/NfQrRQmDrcc?si=kWmsM0cfv02ddpak  RAG을 위한 문서 전처리 방법...Document LoadSplitEmbeddingVector StoreRetriever각각의 과정마다 선택할 수 있는 종류가 너무 많음. 이것들을 조합하면서 경험했던 내용을 공유하는 발표.Document Loader 다양한 종류의 데이터를 지원하지만 보통 csv, Excel, PDF.Langchain은 load()를 인터페이스화해서, 어떤 document loader 객체라도 파일 로드할 때 load()함수 쓰면 되도록 했음 고려해야 했던 점들데이터 원형 그대로 잘 가져오는가?한글 인코딩 / 특수문자 같은 거어떤 metadat..

Realtime RAG Chain from basic to advancedhttps://youtu.be/GoM3vC4pDaI?si=IUTmDQUkEhcDMHCh  Simple RAG: Groq, Redis, Llama3 로 구현Hybrid RAG: filtering 기능 추가Contextual RAG: 필요한 데이터를 추가로 fetch from Redis, in order to make recommendations to the customer.redis는 redisCloud에서 인스턴스 발급받아서 사용.

https://youtu.be/HkG06wBbTPM?si=-UFRBpyWJ_tZMohJ   RAG Architecture  Knowledge Basepdf text를 받아서 parse -> chunk 단위로 분할embedding vector로 변환 -> vector DB에 저장user query와 유사한 document를 찾는다 Reranker (ranker) Reranker로 pairwise ranking, filter out irrelevant docs, sort LLM with Custom Promptwith prompt engineering실습코드 관련 정보 테스트에 사용할 pdftext, table가 혼합된 형태.https://docs.llamaindex.ai/en/stable/module_gu..

https://www.youtube.com/live/vxF8-ay9Bzk?si=n9uDkQSpvdr1gkbJ 맨 앞부분의 langchain 소개 내용, langchain으로 단순히 구글 LLM 써서 결과 얻는 실습은 내용에서 제외함.multiModal 관련 내용만 정리.  Vertex AI Integration with LangChain 대충 우리 구글모델도 langchain에서 쉽게 쓸 수 있다는 내용들. embedding, vectorstore search도 된다. 다양한 종류의 input을 받을 수 있는 multiModal retriever도 가능함.MultiModal RAG Google사전 세팅from langchain_google_vertexai import VertexAI, ChatVertex..

https://youtu.be/DY3sUeGu74M?si=tDHw0pmczIcrHuLQ 딜리버리시스템 임준수배차담당시스템 송인태왜 적용했는가? 두 시스템이 하는 일: '배달을 잘 한다'배달기능이 늘어가면서 복잡도 증가.알림: 배달상황이 변경됐을 때 (ex. 라이더가 음식 픽업했을 때) 제공배달시간통계: 배달상황이나 지표 추출을 위한 기능쿠폰: 배달 지연됐을 때 고객에게 제공배달이 아닌 기능을 분리할 필요가 생김.하지만, 배달에 관련된 다양한 기능은 배달에 엮여서 잘 동작해야 함.배달이 변경되었을 때, 관련 기능이 '동시에' 변경될 필요가 없는 것들이 있다. (Eventual Consistency)배달 '이벤트'가 발생하면, 나중에라도 관련 기능이 동작하면 됨.배달은 배달만 잘 수행하고, 이벤트를 발행한다..

LangChain Agents (2024 update)https://youtu.be/WVUITosaG-g?si=M6fkM-NlUM6XeMJb  duckduckgo, wikipedia를 langchain agent로 사용하는 방법!pip install duckduckgo-search wikipedia langchain langchainhub langchain_openaiimport osos.environ['OPENAI_API_KEY'] = "your api key"from langchain_openai import ChatOpenAIfrom langchain import hubfrom langchain.agents import create_openai_functions_agentfrom langchain...

https://youtu.be/6D9mpFCPeI8?si=P45ND9OjfPKsdaUq    LLM의 기능을 강화시키는 RAG는 Something to Vector 동작이 근간을 이루고 있다.텍스트의 경우는 EmbeddingModel 써서 간단히 벡터로 변환할 수 있음.그러나 PDF의 경우... 고려할 게 많다.Text, Table, Images...등장 순서나 구성방식도 정보를 포함하고 있다. 텍스트는 ChatModel을 활용하고, 이미지는 GPT-4 Vision 모델을 활용하면, pdf에 있는 데이터를 벡터화할 수 있다pdf의 text, table, image 내용을 SummarizeRaw Document도 DocumentStore에 저장하고 값을 받아온다영상에서는 제작자가 '아직 image + te..

https://youtu.be/3OaRXwcRJJk?si=xB_M9TrXfPaVeSB8 발표자 Mihai Todor: Optum 소속, Benthos Contributor. Murugappan Chetty: Box 소속, Knative committee member 발표내용 Knative Autoscaling, Benthos와 Knative Demo Knative Autoscaling Knative가 Autoscaling에 사용하는 Metric은 두 가지. Concurrency: number of concurrent request your application receives

https://youtu.be/989aKUVBfbk?si=uzoaSLQZlqQAJg1r Multi Modal 중 하나인 OpenAI의 CLIP 모델 크게 두 가지 모델로 구성됨. Vision Transformers Text Transformers https://github.com/openai/CLIP GitHub - openai/CLIP: CLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image CLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image - ope..