관찰과 질문, 그리고 데이터

https://youtu.be/91oylZSoYzM?si=HPMFGBtma5rbIUrI   발표자: Christiansolo.io의 Global Field CTO. service mesh 쪽 오픈소스 2017년부터 참여 중. cloud native 환경의 Networking infra 역할.Security, Compilance, Zero Trust, Mandates, Multi Cloud...mTLS나 Observability, traffic control 등의 기능Architecture history: Shared Node or Sidecar구현을 위한 architectural tradeoff를 설명하려면, service Mesh 진영의 역사가 조금 필요하다. Linkerd: first & modern..

https://youtu.be/GKPBQDJ2Hjk?si=DMB5DbmgD64ohT6I 발표자: John Howardworking on istio for about 5 years, mostly on control plane.istio라는 big Control plane 개발하고 관리하면서 겪었던 controller 이슈를 어떤 식으로 해결했는지 소개.What is Controller? Controller를 거칠게 정의하면 'input을 넣었을 때, 대응되는 output을 내뱉는 것'Deployment yaml을 배포하면, Replicaset이 만들어진다.Replicaset이 배포되면, pod가 만들어진다.pod가 만들어지면, service에서 pod 생성이벤트 감지하고 적절한 endpoint를 배포한다...

https://youtu.be/953xaxqApGY?si=oyvcImAGN5UtXhrO 발표자: Marie Cosgrove-DavisGoogle Cloud PM. work on Stackdriver suite;encompassing logging, monitoring, application performance monitoring tools, incident response management tools  해결해야 할 문제System이 제대로 동작하고 있는지.의도한 기능을 사용자에게 제대로 제공하고 있는지. SLI: "Metric" whether a user is having success with a specific workflow they're trying to do with your product...

https://youtu.be/7yVXMCX62tY?si=N-AivSULV2dG6tjdAdobe 사내의 GitOps CI/CD 툴 이름이 Flex.Source인 Git에 저장된 정보를 Target인 여러 destination에 배포하기 위한 서비스.ArgoCD, Argo Workflows, Argo Events, Custom Components... 등 다양한 프로덕트가 통합되어 있음.Template 제공, Fully Customizable CI pipelineJust-in-Time Provisioning.Advanced Deployment Strategy (Argo Rollout같은 거)"Single pane of glass": 모든 프로젝트 정보를 볼 수 있는 service Management too..

https://youtu.be/vjKLbfEZ7MU?si=X_RLkD6Ww5ij7MJp   발표자Jeff Hollan: Snowflake Product Director. 그전엔 MS에서 Azure Function Lead로 10년 정도 일했었고, KEDA founding memeber.Zbynek Roubalik: RedHat Engineer. KEDA founding member. Knative maintainer. 예컨대 KubeCon에 참여한 모든 사람들에게 피자를 제공해야 한다고 하자.Strategy 1: 피자가 부족할 때마다 한 판씩 주문한다.Strategy 2: 참여자가 얼마나 있는지 확인해서, 예상되는 양을 미리 주문한다.Strategy 1을 쓰면, KubeCon 참가자가 많을 경우 뒷사람은..

https://youtu.be/aTgINAFV3T8?si=CiQvPy7-HwsGOYPt   발표자: Srinivas Malladi. Adobe Internal Developer Platform 개발.  Internal Developer Platform (IDP) at Adobe Adobe는 크게 세 가지 Product Category가 있다. Document Cloud, Creative Cloud, Experience Cloud각 클라우드 서비스에서 필요한 애플리케이션은 different internal platform에서 Run / Deploy.공통으로 필요한 Core Mechanisms / infrastructure toolings을 제공하는 게 Internal Developer Platforms. ..

https://youtu.be/SPdxfr4SWO4?si=bO185_hiWBI5Ehjo     발표자: Shri Javadekar. OuterBounds에서 일하고 있음.metaflow라는 오픈소스 contributing하는 회사. 갑자기 metaflow 프로덕트 소개Data Science / Data intensive Application에서 필요한 data 전달compute workflows / data versioning 지원Python API 제공Netflix에서 출발한 오픈소스 Metaflow 예시: Python Class에 start, work, end 형태로 정의.build locally, run remotely.이걸 GPU 붙어 있는 K8s, 또는 특정 데이터에 access 권한이 있는 k..

https://youtu.be/hsJ2qtwoWZw?si=K1sRyOkeJotnkdh5     k8s는 run application at scale이 가능함. built-in으로 제공되는 autoscaler / 추가로 설치하는 것까지 종류가 다양하다.낮에 트래픽 많고 밤에는 적은 이커머스 사이트라거나ETL 수행이 끝나면, 작업에 사용한 리소스를 반납해서 비용을 줄인다거나 일반적으로는 scale을 위해 pod를 증가시키는데, k8s 클러스터 리소스에 여유가 없을 경우 node를 증가시켜야 한다.따라서 autoscale할 대상이 pod인지 node인지 구분해서 설명한다.HPA k8s CRD 방식으로 구현. k8s Controller plane을 사용함.CPU / Memory 사용량에 따라 Deployment..

https://youtu.be/IirxP-a14HU?si=29vjK7bjE2_ZnSzO  ML 파이프라인 구축이 필요하거나Data, Batch Processing이 필요하거나Infrastructure Automation이 필요하거나Workflow Management tool은 있으나 K8s-native Soluction을 들어보고 싶거나 Workflows 작업을 DAG 형태로 정의할 수 있음. Graph의 node는 task (작업) 을 의미한다.k8s Native, container-based, yaml-basedPython SDK 제공Dynamic Workflows Argo cli 또는 web ui로 workflow 정의하고 실행할 수 있다.api client 또는 argo event로 trigger..

https://youtu.be/ydpMkJMRuOU?si=NU37fI2NU4JQg-zE   작년 ArgoCon에서, Argo Event를 활용해서 Batch Processing with InterDependencies among different pipelines한 사례를 공유했음.특정 파이프라인 종료 이벤트 발생 -> 이벤트 받아서 downstream 파이프라인이 시작되는 형태.scale up to 10,000 pipelines로 scalability 확보했던 사례 소개.The Context EventBus와 통신하는 컴포넌트는 크게 두 가지EventSource (event bus로 이벤트 전달하는 Provider)EventSensor (event bus로부터 필요한 이벤트를 전달받는 Subscribe..