관찰과 질문, 그리고 데이터

R.A.G 우리가 절대 쉽게 결과물을 얻을 수 없는 이유https://youtu.be/NfQrRQmDrcc?si=kWmsM0cfv02ddpak  RAG을 위한 문서 전처리 방법...Document LoadSplitEmbeddingVector StoreRetriever각각의 과정마다 선택할 수 있는 종류가 너무 많음. 이것들을 조합하면서 경험했던 내용을 공유하는 발표.Document Loader 다양한 종류의 데이터를 지원하지만 보통 csv, Excel, PDF.Langchain은 load()를 인터페이스화해서, 어떤 document loader 객체라도 파일 로드할 때 load()함수 쓰면 되도록 했음 고려해야 했던 점들데이터 원형 그대로 잘 가져오는가?한글 인코딩 / 특수문자 같은 거어떤 metadat..

Realtime RAG Chain from basic to advancedhttps://youtu.be/GoM3vC4pDaI?si=IUTmDQUkEhcDMHCh  Simple RAG: Groq, Redis, Llama3 로 구현Hybrid RAG: filtering 기능 추가Contextual RAG: 필요한 데이터를 추가로 fetch from Redis, in order to make recommendations to the customer.redis는 redisCloud에서 인스턴스 발급받아서 사용.

https://youtu.be/HkG06wBbTPM?si=-UFRBpyWJ_tZMohJ   RAG Architecture  Knowledge Basepdf text를 받아서 parse -> chunk 단위로 분할embedding vector로 변환 -> vector DB에 저장user query와 유사한 document를 찾는다 Reranker (ranker) Reranker로 pairwise ranking, filter out irrelevant docs, sort LLM with Custom Promptwith prompt engineering실습코드 관련 정보 테스트에 사용할 pdftext, table가 혼합된 형태.https://docs.llamaindex.ai/en/stable/module_gu..

아래 유튜브 영상을 정리하였음. https://youtu.be/KQjZ68mToWo?si=09NX4cfbE9lYTJ9l 일반적인 RAG StepIndexing Step: Data Load -> Split -> Embedding -> Store in VectorDBRetrieval Step: Ask Question -> Embedding Question -> Retrieve Similar Documents -> add as a prompt -> LLMLangchain이 Vector Store에서 필요한 데이터를 더 잘 가져올 수 있도록 하는 기법MultiQueryRetrieverContextual CompressionEnsemble RetrieverSelf-Querying RetrieverTime-weig..

https://youtu.be/WWaPGDS7ZQs?si=YK9YnKfo0v3G2BG6 SK브로드밴드 AI/DT Tech팀 김현석. LLM 배경 Foundation Model: 다양한 Task를 Self-supervised Learning 수행한 것. LLM의 경우 '언어' 라는 분야에 특화된 형태로, 요약 / 분류 / 번역, QA 등 다양한 task를 수행할 수 있다. 2023년에는 ChatGPT, Bard 등 LLM 기반 서비스가 많이 출시됐음. 기업에서도 자체 도메인을 적용하려는 시도 + LLaMa 오픈소스 사내 적용 시 Challenge Point Azure 환경 + ChatGPT RAG 적용해서 사내 데이터 연동하려는 PoC 진행 시 겪은 문제 Fine Tuning에 드는 비용 Hallucina..