관찰과 질문, 그리고 데이터

Demystifying Argo Workflows: Architectural Deep Divehttps://youtu.be/FBRMURQYbgw?si=ThzZoEeIH2HCdVez    CRD, Workflow Controllers, Argo Server 등 Argo Workflows를 구성하는 컴포넌트들 소개 / 설명. Workflow: Defines a Set of Actions.Action을 Sequence / Parallel / Combinations of Both 등 다양한 형태로 실행할 수 있음.Workflow가 다른 Workflow를 실행한다거나, task 간 dependency가 걸려 있는 형태의 작업도 수행 가능.Argo는 DAG / Graph 형태로 실행.사용자는 argo Workflo..

https://youtu.be/grDJ3o2VLUE?si=lgxulUyVNYCDyEOS   발표자Tim Collins: Argo Maintainer 4년차Alec Stonsell: Argo Maintainer 6개월차 본인들 회사 소개Argo 기반 서비스 제공 / 인프라 관리해주는 곳. multi cluster serving 같은 거 쉽게 해주겠다.데이터사이언스 회사에서 Argo 쓰고 있다.파이프라인 실행 -> 2주마다 5천억 개 record 발생mobility pattern 탐지하는 알고리즘 수행16시간 실행되는 long process문제점?Unreliable / Could be faster / 뭐가 어떻게 돌아가는지 파악하기 쉽지 않았음.어떻게 해결했는지를 소개하고자 함. 어떤 고생을 했고, 어떤 결..

https://youtu.be/7cwFhX14nkg?si=8yJhWaLrXjjbgOjQ  DataOps 팀 김현우. 도입 계기 개발자가 할 일이 많아서, 코드리뷰가 우선순위에 밀리는 경우가 종종 있음.기업사례 AWS, MS 등에서는 코드리뷰를 지원하는 프로그램이나 익스텐션이 있고, 다양한 기업에서도 사용 중.개발자 만족도도 높은 편아키텍처 / 시나리오 모델: LLama3 70B.라이센스 이슈가 적은 오픈소스Coding, Asking for Advice, Rewriting, Summarizing 항목이 포함된 Human Evaluation 벤치마크 성능이 높음 구조는 생각보다 간단함. Github Action으로 트리거하고, kubeflow가 동작하는 kserve로 서빙한다.도입하기 코드리뷰 기준을 4가지..

https://d2.naver.com/helloworld/2905424  https://youtu.be/1UBgSARBdBc?si=07YbUP3GK5zpnGjT   문제 k8s 클러스터 운영 도중, 일부 노드에서 특정 도메인 nslookup이 안 되는 현상 발생.원인: 해당 노드들의 망 구성이 달라서, 다른 nameserver 사용중이었음. nameserver는 변경할 수 없는 상황.특정 도메인일 경우에만 nameserver를 다르게 설정하려면 어떻게 해야 하나??간단한 k8s 배경지식 pod는 고유한 ip를 갖는다.pod는 동적으로 생성되며, 언제든 삭제될 수 있다. 재생성될 때, ip는 동적으로 변경된다.Service를 사용해서, 동적으로 바뀌는 ip 집합인 여러 pod에 접근할 수 있는 단일 end..

LLM을 프로덕션에 적용하며 배운 것들발표자: 박민우 https://youtu.be/NzxlIGPbICY?si=duX-VBdytjN14H8j  TL;DR 사람은 물론이고 기존에 딥러닝이 하던 일도 LLM으로 대체할 수 있다.LLM 호출비용이 비싸다는 의견이 있지만, GPT-4가 아니라 Gemini Pro 1.0 기준으로 100만 게시글 처리에 $100 정도.원하는 task + 적절한 모델 선택할 수 있다면 합리적인 비용으로도 감당할 수 있다.API 호출 비용도 내려가는 중. 당분간은 이런 추세가 이어지지 않을까 예상함.LLM 활용사례중고거래: LLM 기반 추천 / 광고물건을 파는 플랫폼이지만, 사용자가 직접 게시글 작성.. 정형화된 데이터가 거의 없음.사용자의 입력값으로부터 정형화 데이터를 LLM으로 추..

R.A.G 우리가 절대 쉽게 결과물을 얻을 수 없는 이유https://youtu.be/NfQrRQmDrcc?si=kWmsM0cfv02ddpak  RAG을 위한 문서 전처리 방법...Document LoadSplitEmbeddingVector StoreRetriever각각의 과정마다 선택할 수 있는 종류가 너무 많음. 이것들을 조합하면서 경험했던 내용을 공유하는 발표.Document Loader 다양한 종류의 데이터를 지원하지만 보통 csv, Excel, PDF.Langchain은 load()를 인터페이스화해서, 어떤 document loader 객체라도 파일 로드할 때 load()함수 쓰면 되도록 했음 고려해야 했던 점들데이터 원형 그대로 잘 가져오는가?한글 인코딩 / 특수문자 같은 거어떤 metadat..

Realtime RAG Chain from basic to advancedhttps://youtu.be/GoM3vC4pDaI?si=IUTmDQUkEhcDMHCh  Simple RAG: Groq, Redis, Llama3 로 구현Hybrid RAG: filtering 기능 추가Contextual RAG: 필요한 데이터를 추가로 fetch from Redis, in order to make recommendations to the customer.redis는 redisCloud에서 인스턴스 발급받아서 사용.

https://youtu.be/HkG06wBbTPM?si=-UFRBpyWJ_tZMohJ   RAG Architecture  Knowledge Basepdf text를 받아서 parse -> chunk 단위로 분할embedding vector로 변환 -> vector DB에 저장user query와 유사한 document를 찾는다 Reranker (ranker) Reranker로 pairwise ranking, filter out irrelevant docs, sort LLM with Custom Promptwith prompt engineering실습코드 관련 정보 테스트에 사용할 pdftext, table가 혼합된 형태.https://docs.llamaindex.ai/en/stable/module_gu..

https://www.youtube.com/live/vxF8-ay9Bzk?si=n9uDkQSpvdr1gkbJ 맨 앞부분의 langchain 소개 내용, langchain으로 단순히 구글 LLM 써서 결과 얻는 실습은 내용에서 제외함.multiModal 관련 내용만 정리.  Vertex AI Integration with LangChain 대충 우리 구글모델도 langchain에서 쉽게 쓸 수 있다는 내용들. embedding, vectorstore search도 된다. 다양한 종류의 input을 받을 수 있는 multiModal retriever도 가능함.MultiModal RAG Google사전 세팅from langchain_google_vertexai import VertexAI, ChatVertex..

https://youtu.be/DY3sUeGu74M?si=tDHw0pmczIcrHuLQ 딜리버리시스템 임준수배차담당시스템 송인태왜 적용했는가? 두 시스템이 하는 일: '배달을 잘 한다'배달기능이 늘어가면서 복잡도 증가.알림: 배달상황이 변경됐을 때 (ex. 라이더가 음식 픽업했을 때) 제공배달시간통계: 배달상황이나 지표 추출을 위한 기능쿠폰: 배달 지연됐을 때 고객에게 제공배달이 아닌 기능을 분리할 필요가 생김.하지만, 배달에 관련된 다양한 기능은 배달에 엮여서 잘 동작해야 함.배달이 변경되었을 때, 관련 기능이 '동시에' 변경될 필요가 없는 것들이 있다. (Eventual Consistency)배달 '이벤트'가 발생하면, 나중에라도 관련 기능이 동작하면 됨.배달은 배달만 잘 수행하고, 이벤트를 발행한다..