관찰과 질문, 그리고 데이터

https://youtu.be/91oylZSoYzM?si=HPMFGBtma5rbIUrI   발표자: Christiansolo.io의 Global Field CTO. service mesh 쪽 오픈소스 2017년부터 참여 중. cloud native 환경의 Networking infra 역할.Security, Compilance, Zero Trust, Mandates, Multi Cloud...mTLS나 Observability, traffic control 등의 기능Architecture history: Shared Node or Sidecar구현을 위한 architectural tradeoff를 설명하려면, service Mesh 진영의 역사가 조금 필요하다. Linkerd: first & modern..

https://youtu.be/GKPBQDJ2Hjk?si=DMB5DbmgD64ohT6I 발표자: John Howardworking on istio for about 5 years, mostly on control plane.istio라는 big Control plane 개발하고 관리하면서 겪었던 controller 이슈를 어떤 식으로 해결했는지 소개.What is Controller? Controller를 거칠게 정의하면 'input을 넣었을 때, 대응되는 output을 내뱉는 것'Deployment yaml을 배포하면, Replicaset이 만들어진다.Replicaset이 배포되면, pod가 만들어진다.pod가 만들어지면, service에서 pod 생성이벤트 감지하고 적절한 endpoint를 배포한다...

https://youtu.be/7yVXMCX62tY?si=N-AivSULV2dG6tjdAdobe 사내의 GitOps CI/CD 툴 이름이 Flex.Source인 Git에 저장된 정보를 Target인 여러 destination에 배포하기 위한 서비스.ArgoCD, Argo Workflows, Argo Events, Custom Components... 등 다양한 프로덕트가 통합되어 있음.Template 제공, Fully Customizable CI pipelineJust-in-Time Provisioning.Advanced Deployment Strategy (Argo Rollout같은 거)"Single pane of glass": 모든 프로젝트 정보를 볼 수 있는 service Management too..

https://youtu.be/vjKLbfEZ7MU?si=X_RLkD6Ww5ij7MJp   발표자Jeff Hollan: Snowflake Product Director. 그전엔 MS에서 Azure Function Lead로 10년 정도 일했었고, KEDA founding memeber.Zbynek Roubalik: RedHat Engineer. KEDA founding member. Knative maintainer. 예컨대 KubeCon에 참여한 모든 사람들에게 피자를 제공해야 한다고 하자.Strategy 1: 피자가 부족할 때마다 한 판씩 주문한다.Strategy 2: 참여자가 얼마나 있는지 확인해서, 예상되는 양을 미리 주문한다.Strategy 1을 쓰면, KubeCon 참가자가 많을 경우 뒷사람은..

https://youtu.be/aTgINAFV3T8?si=CiQvPy7-HwsGOYPt   발표자: Srinivas Malladi. Adobe Internal Developer Platform 개발.  Internal Developer Platform (IDP) at Adobe Adobe는 크게 세 가지 Product Category가 있다. Document Cloud, Creative Cloud, Experience Cloud각 클라우드 서비스에서 필요한 애플리케이션은 different internal platform에서 Run / Deploy.공통으로 필요한 Core Mechanisms / infrastructure toolings을 제공하는 게 Internal Developer Platforms. ..

https://youtu.be/SPdxfr4SWO4?si=bO185_hiWBI5Ehjo     발표자: Shri Javadekar. OuterBounds에서 일하고 있음.metaflow라는 오픈소스 contributing하는 회사. 갑자기 metaflow 프로덕트 소개Data Science / Data intensive Application에서 필요한 data 전달compute workflows / data versioning 지원Python API 제공Netflix에서 출발한 오픈소스 Metaflow 예시: Python Class에 start, work, end 형태로 정의.build locally, run remotely.이걸 GPU 붙어 있는 K8s, 또는 특정 데이터에 access 권한이 있는 k..

https://youtu.be/IirxP-a14HU?si=29vjK7bjE2_ZnSzO  ML 파이프라인 구축이 필요하거나Data, Batch Processing이 필요하거나Infrastructure Automation이 필요하거나Workflow Management tool은 있으나 K8s-native Soluction을 들어보고 싶거나 Workflows 작업을 DAG 형태로 정의할 수 있음. Graph의 node는 task (작업) 을 의미한다.k8s Native, container-based, yaml-basedPython SDK 제공Dynamic Workflows Argo cli 또는 web ui로 workflow 정의하고 실행할 수 있다.api client 또는 argo event로 trigger..

Demystifying Argo Workflows: Architectural Deep Divehttps://youtu.be/FBRMURQYbgw?si=ThzZoEeIH2HCdVez    CRD, Workflow Controllers, Argo Server 등 Argo Workflows를 구성하는 컴포넌트들 소개 / 설명. Workflow: Defines a Set of Actions.Action을 Sequence / Parallel / Combinations of Both 등 다양한 형태로 실행할 수 있음.Workflow가 다른 Workflow를 실행한다거나, task 간 dependency가 걸려 있는 형태의 작업도 수행 가능.Argo는 DAG / Graph 형태로 실행.사용자는 argo Workflo..

https://youtu.be/grDJ3o2VLUE?si=lgxulUyVNYCDyEOS   발표자Tim Collins: Argo Maintainer 4년차Alec Stonsell: Argo Maintainer 6개월차 본인들 회사 소개Argo 기반 서비스 제공 / 인프라 관리해주는 곳. multi cluster serving 같은 거 쉽게 해주겠다.데이터사이언스 회사에서 Argo 쓰고 있다.파이프라인 실행 -> 2주마다 5천억 개 record 발생mobility pattern 탐지하는 알고리즘 수행16시간 실행되는 long process문제점?Unreliable / Could be faster / 뭐가 어떻게 돌아가는지 파악하기 쉽지 않았음.어떻게 해결했는지를 소개하고자 함. 어떤 고생을 했고, 어떤 결..

https://youtu.be/fMq3IpPE3TUThe story of Why we migrate to gRPC and How we go about itMatthias Grüter. Engineering Manager in the infrastructure group. gRPC based infrastructure로 전환한 이유gRPC based infrastructure로 전환한 방법2500여 개의 내부 serviceingress로 들어오는 request 가 초당 8백만 (Query for Second서비스 간 통신에는 자체 개발한 protocol을 사용하고 있었음. (이름은 Hermes) RPC 프레임워크가 아니라 통신 프로토콜이었음. gRPC보다는 http와 비교대상.동작에는 문제 없음그런데 왜 ..