관찰과 질문, 그리고 데이터

https://youtu.be/t68ayhtaUQ8?si=GdmoGCpO6qdBQqur Scaling AI Workloads with kubernetes: Sharing GPU Resources Across Multiple ContainersUnderstanding GPU Resource ManagementMIG: GPU instance PartitioningTime-SlicingMIG vs Time-SlicingManaging GPU Resources in kubernetesSharing GPU between ContainersTechniques for Optimizing Deep Learning WorkloadsSummaryQ&A AI는 GPU를 많이 사용하지만, GPU는 비싸다. 따라서, 한 번 받..

https://youtu.be/CdkAMceuoBg?si=G2AxWUA9v1wIiuydFastAPI와 Go standard Library로 만든 Web Application의 성능 비교. 소스코드:https://github.com/antonputra/tutorials/tree/231/lessons/231 tutorials/lessons/231 at 231 · antonputra/tutorialsDevOps Tutorials. Contribute to antonputra/tutorials development by creating an account on GitHub.github.com Test 1. Baseline하드코딩으로 간단한 Objects를 만들어서 json으로 응답하는 예시.측정 항목clie..

https://tv.naver.com/v/67446801 플레이 네이버(PLAY NAVER)[팀네이버 컨퍼런스 DAN 24] 인공지능의 마법으로 실시간 라이브 인코딩에 날개를 달다tv.naver.com   AI 인코딩 최적화가 필요한 이유 네이버tv, 스포츠, 치지직, 클립 등 다양한 서비스에서 VOD 사용: 비약적인 비용 증가 네이버 클라우드에서의 VOD 처리 절차다양한 기기에서 VOD 영상 업로드CODEC, container 등의 변환CDN으로 다양한 환경에서 재생 지원.이 중 가장 많은 서버자원, 시간, 리소스가 필요한 부분은 Encoding. 고해상도, 고화질 영상일수록 증가. 따라서자체 분산인코더 개발CDN, storage 비용 개선을 위한 인코딩 용량 줄여서 저장 / 전송 최적화를 연구중일반적..

https://youtu.be/06ylMQrj0jU?si=Lcb1DcxyO0OPNC8B    Envoy Gateway: gateway which is actually managing envoy proxies.xDS Control Plane to dynamically manage a fleet of Envoysprovides "Batteries included" envoy proxy experience.Extensibility to support a multitude of application gateway usecases.mesh 형태의 기능도 지원할 예정이라고 함.본인들이 꼽는 장점Application Gateway에 필요한 usecase 대부분이 가능High Performance, Extensibil..

KEDA http-add-on Autoscaling 로직 파악하기작성시간 기준, KEDA add on의 가장 최신버전인 v0.9.0 기준으로 작성.https://github.com/kedacore/http-add-on/blob/v0.9.0/docs/design.mdDesign외부에서 HTTP 요청이 오면, Ingress가 k8s svc로 트래픽을 전달해준다.keda-add-ons-http-interceptor-proxy 라는 k8s svc에서 트래픽을 받아서, interceptor 컴포넌트로 트래픽을 전달한다.interceptor는 scale zero인 deployment의 pod가 올라올 때까지 HTTP request를 pending하고, 트래픽을 전달할 수 있는 상태가 되었을 때 routing하는 역..

https://youtu.be/Ci_DsTkzcRY?si=p0SWeCcZpYWeox9j   API Gateway란?  api 요청 받고, 필요한 정책 수행하고, 필요한 곳에 요청을 보낸 뒤 응답을 되돌려준다?생각보다 명확하게 정의된 게 없음.2013년 Netflix Zuul부터 2015년 AWS API Gateway, 2017년 Spring Cloud Gateway 등 프로덕트를 찾아봐도 정의가 명확한 건 없었음.오픈소스 프로젝트인 Kong의 경우, API Management라는 이름으로 시작되었다가 슬그머니 API Gateway라는 표현을 쓰기 시작.Cloud Native 이후 MSA까지 등장하면서 API Gateway는 꽤 보편화된 용어가 됨그래도 잘 모르겠어서 네 개 프로덕트 소개를 전부 찾아봤음...

사족: 발표자 진짜 개패고싶음. 지금까지 봤던 모든 발표 중 단연 최악.중언부언에 용어 거꾸로 설명하다가 뒤늦게 바로잡는다던가, 뇌정지 온 것처럼 몇 초 가만히 있다가 대충 수습하고 넘어가는 게 한두번이 아님.발표만 깔끔하게 잘했어도 훨씬 좋은 세션이 되었을 거다.  https://youtu.be/DYC4-xElccE?si=lW5prwBguU_MqwQy   Ash Berlin-TaylorPMC member on AirflowDirector of Airflow EngineeringScheduler의 HA를 위해 re-architecting 했던 것들 정리.Responsibility of the Scheduler 단순히 Run Task만 수행하는 게 아님.Check DependenciesRetry Manag..

https://youtu.be/oLTMN-4Rvj8?si=ShQgVv-1M3ZlPbDG  Airflow는 AirBnb 내부에서 사용할 목적으로 만든 internal ETL tool에서 시작함.처음부터 훌륭한 아키텍처로 구성된 건 아니었고, 사용자가 많아지면서 요구사항에 대응하는 식으로 개선되어간 Organic Product. Airflow에서는 사용자가 DAG을 작성한다.DAG: 해야 할 Task와, task 간 relationship을 정의하는 Template.operators / task를 python으로 작성DAG을 실제로 실행할 때는 용어가 조금 달라진다.DagRun: instance of DAG that runs a certain execution time. 즉 특정 파라미터와 데이터를 받아서,..

https://youtu.be/704qQs6KoUk  강홍구: 푸드주문서버개발팀   배민 주문시스템 장바구니 / 주문하기 / 주문내역 쪽 BE 담당.일반적인 커머스와는 달리, 점심 / 저녁에 트래픽 폭증하는 구조. 가게, 메뉴, 주문, 결제, 배달 등 다양한 서비스의 결합으로 이루어져 있음.한쪽의 장애가 다른 쪽으로 전파되지 않는 '느슨한 결합'이 중요하다.일평균 300만건의 주문 + 수년간의 데이터 저장 / 관리.방대한 데이터 저장, 조회 성능 필요순간적으로 몰리는 대규모 트랜잭션의 안정적인 처리방법MSA와 '느슨한 결합' 구조를 위해 이벤트 기반 통신이벤트 유실 시 재소비 방법이벤트 흐름을 가시적으로 확인할 수 있는 방법성장하는 주문 시스템 2018년만 해도 일 100만 건이 안 됐음. 지금은 일 3..

https://youtu.be/MYtUOOizITs?si=bUId7ieorNpUOvJD Jesús Espino: mattermost (slack의 오픈소스 버전) 소속 Software Engineer goroutine을 설명하려면, go의 scheduler 이해가 필요하다.go scheduler를 구성하는 컴포넌트부터 간단히 소개하자면 Processor (alias P): Representation of Virtual CPUgoMaxProcs: number of Ps that scheduler have.Status 정보 가지고 있음 - Idle, Running, Syscall, gcStopAssociated the Current 'M'개별 P는 본인이 실행할 GoRoutine정보를 관리할 Queue가 있..