관찰과 질문, 그리고 데이터

사족: 발표자 진짜 개패고싶음. 지금까지 봤던 모든 발표 중 단연 최악.중언부언에 용어 거꾸로 설명하다가 뒤늦게 바로잡는다던가, 뇌정지 온 것처럼 몇 초 가만히 있다가 대충 수습하고 넘어가는 게 한두번이 아님.발표만 깔끔하게 잘했어도 훨씬 좋은 세션이 되었을 거다.  https://youtu.be/DYC4-xElccE?si=lW5prwBguU_MqwQy   Ash Berlin-TaylorPMC member on AirflowDirector of Airflow EngineeringScheduler의 HA를 위해 re-architecting 했던 것들 정리.Responsibility of the Scheduler 단순히 Run Task만 수행하는 게 아님.Check DependenciesRetry Manag..

https://youtu.be/oLTMN-4Rvj8?si=ShQgVv-1M3ZlPbDG  Airflow는 AirBnb 내부에서 사용할 목적으로 만든 internal ETL tool에서 시작함.처음부터 훌륭한 아키텍처로 구성된 건 아니었고, 사용자가 많아지면서 요구사항에 대응하는 식으로 개선되어간 Organic Product. Airflow에서는 사용자가 DAG을 작성한다.DAG: 해야 할 Task와, task 간 relationship을 정의하는 Template.operators / task를 python으로 작성DAG을 실제로 실행할 때는 용어가 조금 달라진다.DagRun: instance of DAG that runs a certain execution time. 즉 특정 파라미터와 데이터를 받아서,..

https://youtu.be/DY3sUeGu74M?si=tDHw0pmczIcrHuLQ 딜리버리시스템 임준수배차담당시스템 송인태왜 적용했는가? 두 시스템이 하는 일: '배달을 잘 한다'배달기능이 늘어가면서 복잡도 증가.알림: 배달상황이 변경됐을 때 (ex. 라이더가 음식 픽업했을 때) 제공배달시간통계: 배달상황이나 지표 추출을 위한 기능쿠폰: 배달 지연됐을 때 고객에게 제공배달이 아닌 기능을 분리할 필요가 생김.하지만, 배달에 관련된 다양한 기능은 배달에 엮여서 잘 동작해야 함.배달이 변경되었을 때, 관련 기능이 '동시에' 변경될 필요가 없는 것들이 있다. (Eventual Consistency)배달 '이벤트'가 발생하면, 나중에라도 관련 기능이 동작하면 됨.배달은 배달만 잘 수행하고, 이벤트를 발행한다..

https://www.coursera.org/professional-certificates/aws-cloud-solutions-architect AWS Cloud Solutions Architect Amazon Web Services에서 제공합니다. Start here to become an AWS Solutions Architect. Gain the skills and knowledge to design architectural solutions on ... 무료로 등록하십시오. www.coursera.org Processing Data in the Data Lake Data Prep and AWS Glue Jobs Data Ingestion in raw format. 사용하고자 하는 목적에 맞게 da..

https://www.coursera.org/professional-certificates/aws-cloud-solutions-architect AWS Cloud Solutions Architect Amazon Web Services에서 제공합니다. Start here to become an AWS Solutions Architect. Gain the skills and knowledge to design architectural solutions on ... 무료로 등록하십시오. www.coursera.org Ingesting the River Use the right tool for the job Data categorizing: 필요할 때 원하는 데이터를 정확히 찾아내기 위해 필요함. 사용자의 ac..

https://www.coursera.org/professional-certificates/aws-cloud-solutions-architect AWS Cloud Solutions Architect Amazon Web Services에서 제공합니다. Start here to become an AWS Solutions Architect. Gain the skills and knowledge to design architectural solutions on ... 무료로 등록하십시오. www.coursera.org AWS Data Related Services 다양한 AWS Service를 일종의 모듈 개념으로 조합해서 Data Lake를 구성할 수 있다. 핵심 컴포넌트 위주로 먼저 보고, 해당 컴포넌트의 ..

https://www.coursera.org/professional-certificates/aws-cloud-solutions-architect AWS Cloud Solutions Architect Amazon Web Services에서 제공합니다. Start here to become an AWS Solutions Architect. Gain the skills and knowledge to design architectural solutions on ... 무료로 등록하십시오. www.coursera.org Introduction to Data lakes Data Lake가 필요한 대표적인 시나리오는 아래와 같다. 예컨대 startup의 System Administrator라고 가정해보자. 목표는 E..

https://www.coursera.org/professional-certificates/aws-cloud-solutions-architect AWS Cloud Solutions Architect Amazon Web Services에서 제공합니다. Start here to become an AWS Solutions Architect. Gain the skills and knowledge to design architectural solutions on ... 무료로 등록하십시오. www.coursera.org Customer #4 - requirements 모든 서비스가 하나의 AWS Account (prod account) 내에 구성돼 있음. divide big single account into s..

https://www.coursera.org/professional-certificates/aws-cloud-solutions-architect AWS Cloud Solutions Architect Amazon Web Services에서 제공합니다. Start here to become an AWS Solutions Architect. Gain the skills and knowledge to design architectural solutions on ... 무료로 등록하십시오. www.coursera.org Designing a hybrid solution for container based workloads on AWS Customer #3 - requirements 전체 workload의 절반은 ..

https://www.coursera.org/professional-certificates/aws-cloud-solutions-architect AWS Cloud Solutions Architect Amazon Web Services에서 제공합니다. Start here to become an AWS Solutions Architect. Gain the skills and knowledge to design architectural solutions on ... 무료로 등록하십시오. www.coursera.org Designing a serverless data analytics solution on AWS Customer #2 - SW House Customer Requirement 현재 S3 Stati..