관찰과 질문, 그리고 데이터

https://youtu.be/7yVXMCX62tY?si=N-AivSULV2dG6tjdAdobe 사내의 GitOps CI/CD 툴 이름이 Flex.Source인 Git에 저장된 정보를 Target인 여러 destination에 배포하기 위한 서비스.ArgoCD, Argo Workflows, Argo Events, Custom Components... 등 다양한 프로덕트가 통합되어 있음.Template 제공, Fully Customizable CI pipelineJust-in-Time Provisioning.Advanced Deployment Strategy (Argo Rollout같은 거)"Single pane of glass": 모든 프로젝트 정보를 볼 수 있는 service Management too..

https://youtu.be/aTgINAFV3T8?si=CiQvPy7-HwsGOYPt   발표자: Srinivas Malladi. Adobe Internal Developer Platform 개발.  Internal Developer Platform (IDP) at Adobe Adobe는 크게 세 가지 Product Category가 있다. Document Cloud, Creative Cloud, Experience Cloud각 클라우드 서비스에서 필요한 애플리케이션은 different internal platform에서 Run / Deploy.공통으로 필요한 Core Mechanisms / infrastructure toolings을 제공하는 게 Internal Developer Platforms. ..

https://youtu.be/SPdxfr4SWO4?si=bO185_hiWBI5Ehjo     발표자: Shri Javadekar. OuterBounds에서 일하고 있음.metaflow라는 오픈소스 contributing하는 회사. 갑자기 metaflow 프로덕트 소개Data Science / Data intensive Application에서 필요한 data 전달compute workflows / data versioning 지원Python API 제공Netflix에서 출발한 오픈소스 Metaflow 예시: Python Class에 start, work, end 형태로 정의.build locally, run remotely.이걸 GPU 붙어 있는 K8s, 또는 특정 데이터에 access 권한이 있는 k..

https://youtu.be/IirxP-a14HU?si=29vjK7bjE2_ZnSzO  ML 파이프라인 구축이 필요하거나Data, Batch Processing이 필요하거나Infrastructure Automation이 필요하거나Workflow Management tool은 있으나 K8s-native Soluction을 들어보고 싶거나 Workflows 작업을 DAG 형태로 정의할 수 있음. Graph의 node는 task (작업) 을 의미한다.k8s Native, container-based, yaml-basedPython SDK 제공Dynamic Workflows Argo cli 또는 web ui로 workflow 정의하고 실행할 수 있다.api client 또는 argo event로 trigger..

https://youtu.be/ydpMkJMRuOU?si=NU37fI2NU4JQg-zE   작년 ArgoCon에서, Argo Event를 활용해서 Batch Processing with InterDependencies among different pipelines한 사례를 공유했음.특정 파이프라인 종료 이벤트 발생 -> 이벤트 받아서 downstream 파이프라인이 시작되는 형태.scale up to 10,000 pipelines로 scalability 확보했던 사례 소개.The Context EventBus와 통신하는 컴포넌트는 크게 두 가지EventSource (event bus로 이벤트 전달하는 Provider)EventSensor (event bus로부터 필요한 이벤트를 전달받는 Subscribe..

Demystifying Argo Workflows: Architectural Deep Divehttps://youtu.be/FBRMURQYbgw?si=ThzZoEeIH2HCdVez    CRD, Workflow Controllers, Argo Server 등 Argo Workflows를 구성하는 컴포넌트들 소개 / 설명. Workflow: Defines a Set of Actions.Action을 Sequence / Parallel / Combinations of Both 등 다양한 형태로 실행할 수 있음.Workflow가 다른 Workflow를 실행한다거나, task 간 dependency가 걸려 있는 형태의 작업도 수행 가능.Argo는 DAG / Graph 형태로 실행.사용자는 argo Workflo..

https://youtu.be/grDJ3o2VLUE?si=lgxulUyVNYCDyEOS   발표자Tim Collins: Argo Maintainer 4년차Alec Stonsell: Argo Maintainer 6개월차 본인들 회사 소개Argo 기반 서비스 제공 / 인프라 관리해주는 곳. multi cluster serving 같은 거 쉽게 해주겠다.데이터사이언스 회사에서 Argo 쓰고 있다.파이프라인 실행 -> 2주마다 5천억 개 record 발생mobility pattern 탐지하는 알고리즘 수행16시간 실행되는 long process문제점?Unreliable / Could be faster / 뭐가 어떻게 돌아가는지 파악하기 쉽지 않았음.어떻게 해결했는지를 소개하고자 함. 어떤 고생을 했고, 어떤 결..

https://youtu.be/7KCS70sCoK0?si=9hFFX18UXpCPfres Jenkinsfile Jenkins 파이프라인의 종류는 크게 두 가지. script : groovy engine으로 직접 실행. node {} 명령어를 사용하며, groovy를 알아야 쓸 수 있음 declarative : 간단하게 파이프라인을 생성할 수 있지만 script에 비해 제약이 있는 편. post 명령어 파이프라인 맨 끝에서 실행할 수 있도록 하는 명령어. always: 성공 실패여부 관계없이 반드시 실행 success : 성공했을 경우 실행 failure : 실패했을 경우 실행 Define Conditional / When, Environment Variable when { expression { }} 형태..

IBM Clouders 1기 활동. IBM의 Building Cloud Native and Multicloud Applications 코스 중 CI / CD 내용 정리. https://cognitiveclass.ai/badges/building-cloud-native-and-multicloud-applications Building Cloud Native and Multicloud Applications - Cognitive ClassWhy earn this badge? After earning this badge, the badge earner is able to make decisions about migrating existing images to cloud; modernizing applicati..