관찰과 질문, 그리고 데이터

https://youtu.be/IirxP-a14HU?si=29vjK7bjE2_ZnSzO  ML 파이프라인 구축이 필요하거나Data, Batch Processing이 필요하거나Infrastructure Automation이 필요하거나Workflow Management tool은 있으나 K8s-native Soluction을 들어보고 싶거나 Workflows 작업을 DAG 형태로 정의할 수 있음. Graph의 node는 task (작업) 을 의미한다.k8s Native, container-based, yaml-basedPython SDK 제공Dynamic Workflows Argo cli 또는 web ui로 workflow 정의하고 실행할 수 있다.api client 또는 argo event로 trigger..

https://youtu.be/ydpMkJMRuOU?si=NU37fI2NU4JQg-zE   작년 ArgoCon에서, Argo Event를 활용해서 Batch Processing with InterDependencies among different pipelines한 사례를 공유했음.특정 파이프라인 종료 이벤트 발생 -> 이벤트 받아서 downstream 파이프라인이 시작되는 형태.scale up to 10,000 pipelines로 scalability 확보했던 사례 소개.The Context EventBus와 통신하는 컴포넌트는 크게 두 가지EventSource (event bus로 이벤트 전달하는 Provider)EventSensor (event bus로부터 필요한 이벤트를 전달받는 Subscribe..

Demystifying Argo Workflows: Architectural Deep Divehttps://youtu.be/FBRMURQYbgw?si=ThzZoEeIH2HCdVez    CRD, Workflow Controllers, Argo Server 등 Argo Workflows를 구성하는 컴포넌트들 소개 / 설명. Workflow: Defines a Set of Actions.Action을 Sequence / Parallel / Combinations of Both 등 다양한 형태로 실행할 수 있음.Workflow가 다른 Workflow를 실행한다거나, task 간 dependency가 걸려 있는 형태의 작업도 수행 가능.Argo는 DAG / Graph 형태로 실행.사용자는 argo Workflo..

https://youtu.be/grDJ3o2VLUE?si=lgxulUyVNYCDyEOS   발표자Tim Collins: Argo Maintainer 4년차Alec Stonsell: Argo Maintainer 6개월차 본인들 회사 소개Argo 기반 서비스 제공 / 인프라 관리해주는 곳. multi cluster serving 같은 거 쉽게 해주겠다.데이터사이언스 회사에서 Argo 쓰고 있다.파이프라인 실행 -> 2주마다 5천억 개 record 발생mobility pattern 탐지하는 알고리즘 수행16시간 실행되는 long process문제점?Unreliable / Could be faster / 뭐가 어떻게 돌아가는지 파악하기 쉽지 않았음.어떻게 해결했는지를 소개하고자 함. 어떤 고생을 했고, 어떤 결..

https://youtu.be/7cwFhX14nkg?si=8yJhWaLrXjjbgOjQ  DataOps 팀 김현우. 도입 계기 개발자가 할 일이 많아서, 코드리뷰가 우선순위에 밀리는 경우가 종종 있음.기업사례 AWS, MS 등에서는 코드리뷰를 지원하는 프로그램이나 익스텐션이 있고, 다양한 기업에서도 사용 중.개발자 만족도도 높은 편아키텍처 / 시나리오 모델: LLama3 70B.라이센스 이슈가 적은 오픈소스Coding, Asking for Advice, Rewriting, Summarizing 항목이 포함된 Human Evaluation 벤치마크 성능이 높음 구조는 생각보다 간단함. Github Action으로 트리거하고, kubeflow가 동작하는 kserve로 서빙한다.도입하기 코드리뷰 기준을 4가지..

https://d2.naver.com/helloworld/2905424  https://youtu.be/1UBgSARBdBc?si=07YbUP3GK5zpnGjT   문제 k8s 클러스터 운영 도중, 일부 노드에서 특정 도메인 nslookup이 안 되는 현상 발생.원인: 해당 노드들의 망 구성이 달라서, 다른 nameserver 사용중이었음. nameserver는 변경할 수 없는 상황.특정 도메인일 경우에만 nameserver를 다르게 설정하려면 어떻게 해야 하나??간단한 k8s 배경지식 pod는 고유한 ip를 갖는다.pod는 동적으로 생성되며, 언제든 삭제될 수 있다. 재생성될 때, ip는 동적으로 변경된다.Service를 사용해서, 동적으로 바뀌는 ip 집합인 여러 pod에 접근할 수 있는 단일 end..

LLM을 프로덕션에 적용하며 배운 것들발표자: 박민우 https://youtu.be/NzxlIGPbICY?si=duX-VBdytjN14H8j  TL;DR 사람은 물론이고 기존에 딥러닝이 하던 일도 LLM으로 대체할 수 있다.LLM 호출비용이 비싸다는 의견이 있지만, GPT-4가 아니라 Gemini Pro 1.0 기준으로 100만 게시글 처리에 $100 정도.원하는 task + 적절한 모델 선택할 수 있다면 합리적인 비용으로도 감당할 수 있다.API 호출 비용도 내려가는 중. 당분간은 이런 추세가 이어지지 않을까 예상함.LLM 활용사례중고거래: LLM 기반 추천 / 광고물건을 파는 플랫폼이지만, 사용자가 직접 게시글 작성.. 정형화된 데이터가 거의 없음.사용자의 입력값으로부터 정형화 데이터를 LLM으로 추..

R.A.G 우리가 절대 쉽게 결과물을 얻을 수 없는 이유https://youtu.be/NfQrRQmDrcc?si=kWmsM0cfv02ddpak  RAG을 위한 문서 전처리 방법...Document LoadSplitEmbeddingVector StoreRetriever각각의 과정마다 선택할 수 있는 종류가 너무 많음. 이것들을 조합하면서 경험했던 내용을 공유하는 발표.Document Loader 다양한 종류의 데이터를 지원하지만 보통 csv, Excel, PDF.Langchain은 load()를 인터페이스화해서, 어떤 document loader 객체라도 파일 로드할 때 load()함수 쓰면 되도록 했음 고려해야 했던 점들데이터 원형 그대로 잘 가져오는가?한글 인코딩 / 특수문자 같은 거어떤 metadat..

한국인과 혼인하고, 한국에 10년 거주중인 미국 컬럼니스트의 짧은 투고본 모음.이방인 시점에서 한국의 다양한 면모를 관찰하고 소감을 기록했다.영화, 소설 등 문화콘텐츠 위주의 소재가 많고, 주도적이고 독창적인 모습을 높게 평가하는 반면 본질을 잃거나 모방에 그치는 모습을 안타까워한다.김치의 나라, 삼성의 나라, 자살의 나라, BTS의 나라… 한 나라를 한두 마디의 말로 줄여서 부르면, 그 나라의 단편적인 일부분만을 전부인 양 이해하게 된다. 이 책은 ‘한류' 라는 단어도 없던 1990년대에 한식과 K팝으로 한국을 처음 접하고, 컬럼니스트로 한국에서 10년째 살아가며 한국과 미국에 투고했던 글을 모았다. 특정한 면만 보고 한국이라는 나라를 전부 이해했다는 듯 요약하지 말라는 뜻에서 책 제목도 ‘한국요약금지..

Realtime RAG Chain from basic to advancedhttps://youtu.be/GoM3vC4pDaI?si=IUTmDQUkEhcDMHCh  Simple RAG: Groq, Redis, Llama3 로 구현Hybrid RAG: filtering 기능 추가Contextual RAG: 필요한 데이터를 추가로 fetch from Redis, in order to make recommendations to the customer.redis는 redisCloud에서 인스턴스 발급받아서 사용.