관찰과 질문, 그리고 데이터

Gemini Multimodal RAG Applications with LangChain

https://www.youtube.com/live/vxF8-ay9Bzk?si=n9uDkQSpvdr1gkbJ 맨 앞부분의 langchain 소개 내용, langchain으로 단순히 구글 LLM 써서 결과 얻는 실습은 내용에서 제외함.multiModal 관련 내용만 정리.  Vertex AI Integration with LangChain 대충 우리 구글모델도 langchain에서 쉽게 쓸 수 있다는 내용들. embedding, vectorstore search도 된다. 다양한 종류의 input을 받을 수 있는 multiModal retriever도 가능함.MultiModal RAG Google사전 세팅from langchain_google_vertexai import VertexAI, ChatVertex..

LangChain Agents (2024 update)https://youtu.be/WVUITosaG-g?si=M6fkM-NlUM6XeMJb  duckduckgo, wikipedia를 langchain agent로 사용하는 방법!pip install duckduckgo-search wikipedia langchain langchainhub langchain_openaiimport osos.environ['OPENAI_API_KEY'] = "your api key"from langchain_openai import ChatOpenAIfrom langchain import hubfrom langchain.agents import create_openai_functions_agentfrom langchain...

https://youtu.be/6D9mpFCPeI8?si=P45ND9OjfPKsdaUq    LLM의 기능을 강화시키는 RAG는 Something to Vector 동작이 근간을 이루고 있다.텍스트의 경우는 EmbeddingModel 써서 간단히 벡터로 변환할 수 있음.그러나 PDF의 경우... 고려할 게 많다.Text, Table, Images...등장 순서나 구성방식도 정보를 포함하고 있다. 텍스트는 ChatModel을 활용하고, 이미지는 GPT-4 Vision 모델을 활용하면, pdf에 있는 데이터를 벡터화할 수 있다pdf의 text, table, image 내용을 SummarizeRaw Document도 DocumentStore에 저장하고 값을 받아온다영상에서는 제작자가 '아직 image + te..

아래 유튜브 영상을 정리하였음. https://youtu.be/KQjZ68mToWo?si=09NX4cfbE9lYTJ9l 일반적인 RAG StepIndexing Step: Data Load -> Split -> Embedding -> Store in VectorDBRetrieval Step: Ask Question -> Embedding Question -> Retrieve Similar Documents -> add as a prompt -> LLMLangchain이 Vector Store에서 필요한 데이터를 더 잘 가져올 수 있도록 하는 기법MultiQueryRetrieverContextual CompressionEnsemble RetrieverSelf-Querying RetrieverTime-weig..

https://www.youtube.com/live/EekMq9cf1PQ?feature=share 강연에서 쓴 jupyter notebook https://aifactory.space/learning/2379/discussion/261 2.1. 에이전트 소스코드 공유 세미나에서 사용했던 코랩을 아래와 같이 첨부드립니다. aifactory.space https://aifactory.space/learning/2379/discussion/262 2.2. 사용사례 소스코드 송부 세미나에서 사용했던 코랩 소스코드를 아래와 같이 첨부드립니다. aifactory.space

ChatGPT에 날개를 달아줄 LangChain (1) - 컴포넌트 https://www.youtube.com/live/JBcWvMeOAes?feature=share LangChain 발전속도가 진짜 빠름. 내가 가진 정보를 학습시키거나 다른 서비스와 연동하거나 내가 정한 시나리오대로 활용하기 보통은 언어모델을 호출할 때 API call / 모델 자체를 직접 호출하는 식. LangChain은 아래 두 가지 문제를 해결하기 위해 만들어졌다. 외부 데이터를 모델에 인식시키기 - 너가 학습한 데이터 말고, 내가 제공하는 데이터를 써라. 타 시스템과의 상호작용하는 애플리케이션 개발 컴포넌트 얘네 특징: 문서 보기가 힘들다. 업데이트 속도도 빠른 편이고.. 크게 두 가지로 나뉨. Component: LangCha..