관찰과 질문, 그리고 데이터

https://youtu.be/7yVXMCX62tY?si=N-AivSULV2dG6tjdAdobe 사내의 GitOps CI/CD 툴 이름이 Flex.Source인 Git에 저장된 정보를 Target인 여러 destination에 배포하기 위한 서비스.ArgoCD, Argo Workflows, Argo Events, Custom Components... 등 다양한 프로덕트가 통합되어 있음.Template 제공, Fully Customizable CI pipelineJust-in-Time Provisioning.Advanced Deployment Strategy (Argo Rollout같은 거)"Single pane of glass": 모든 프로젝트 정보를 볼 수 있는 service Management too..

https://youtu.be/aTgINAFV3T8?si=CiQvPy7-HwsGOYPt   발표자: Srinivas Malladi. Adobe Internal Developer Platform 개발.  Internal Developer Platform (IDP) at Adobe Adobe는 크게 세 가지 Product Category가 있다. Document Cloud, Creative Cloud, Experience Cloud각 클라우드 서비스에서 필요한 애플리케이션은 different internal platform에서 Run / Deploy.공통으로 필요한 Core Mechanisms / infrastructure toolings을 제공하는 게 Internal Developer Platforms. ..

https://youtu.be/SPdxfr4SWO4?si=bO185_hiWBI5Ehjo     발표자: Shri Javadekar. OuterBounds에서 일하고 있음.metaflow라는 오픈소스 contributing하는 회사. 갑자기 metaflow 프로덕트 소개Data Science / Data intensive Application에서 필요한 data 전달compute workflows / data versioning 지원Python API 제공Netflix에서 출발한 오픈소스 Metaflow 예시: Python Class에 start, work, end 형태로 정의.build locally, run remotely.이걸 GPU 붙어 있는 K8s, 또는 특정 데이터에 access 권한이 있는 k..

https://youtu.be/IirxP-a14HU?si=29vjK7bjE2_ZnSzO  ML 파이프라인 구축이 필요하거나Data, Batch Processing이 필요하거나Infrastructure Automation이 필요하거나Workflow Management tool은 있으나 K8s-native Soluction을 들어보고 싶거나 Workflows 작업을 DAG 형태로 정의할 수 있음. Graph의 node는 task (작업) 을 의미한다.k8s Native, container-based, yaml-basedPython SDK 제공Dynamic Workflows Argo cli 또는 web ui로 workflow 정의하고 실행할 수 있다.api client 또는 argo event로 trigger..

Demystifying Argo Workflows: Architectural Deep Divehttps://youtu.be/FBRMURQYbgw?si=ThzZoEeIH2HCdVez    CRD, Workflow Controllers, Argo Server 등 Argo Workflows를 구성하는 컴포넌트들 소개 / 설명. Workflow: Defines a Set of Actions.Action을 Sequence / Parallel / Combinations of Both 등 다양한 형태로 실행할 수 있음.Workflow가 다른 Workflow를 실행한다거나, task 간 dependency가 걸려 있는 형태의 작업도 수행 가능.Argo는 DAG / Graph 형태로 실행.사용자는 argo Workflo..

https://youtu.be/grDJ3o2VLUE?si=lgxulUyVNYCDyEOS   발표자Tim Collins: Argo Maintainer 4년차Alec Stonsell: Argo Maintainer 6개월차 본인들 회사 소개Argo 기반 서비스 제공 / 인프라 관리해주는 곳. multi cluster serving 같은 거 쉽게 해주겠다.데이터사이언스 회사에서 Argo 쓰고 있다.파이프라인 실행 -> 2주마다 5천억 개 record 발생mobility pattern 탐지하는 알고리즘 수행16시간 실행되는 long process문제점?Unreliable / Could be faster / 뭐가 어떻게 돌아가는지 파악하기 쉽지 않았음.어떻게 해결했는지를 소개하고자 함. 어떤 고생을 했고, 어떤 결..