관찰과 질문, 그리고 데이터

Load Balancing and Autoscaling High availability 확보를 위해. Serve content as close as possible to your users on a system. (1M queries per sec) Cloud Load Balancing = Fully distributed SW defined managed system. 완벽한 SW이므로 HW infrastructure나 physical 장비가 필요없다. 크게 두 가지의 load balancer. Global vs Regional. 서비스의 사용자나 인스턴스가 Global 분포라면 Global 사용. (전세계 단위의 사용자에게 single anycast IP address로 provide할 경우) Regi..

Scaling & Automation Overview Interconnecting Network에 초점. 각각의 App, workload마다 여러 종류의 network connection solution이 필요함. Cloud VPN On-premises network와 GCP VPC network를 IPSec VPN tunnel로 연결하는 작업을 수행한다. 두 개의 네트워크는 one VPN gateway에서 encrypted -> other VPN gateway에서 decrypted. 이 암호화 작업으로 public internet을 사용하면서도 security 확보가 가능하다. site to site VPN dynamic routes IKEv1, IKEv2 지원. Cloud VPN doesn’t sup..

Resource Monitoring 사실상 stack driver 다루는 파트. Monitoring / logging / diagnostics for your applications. 크게 monitoring, logging, error reporting, tracing, debugging 서비스를 제공하며, 사용한 만큼 돈 낸다. Free usage allotments도 존재함. 수많은 3rd party SW나 Open Source와 호환되는, growing Ecosystem of tech partners. Monitoring Site Reliability Engineering (SRE) 에서 가장 중요한 게 monitoring. SRE 자체가 build, deploy, maintain largest ..

Resource Management Resource management = controlling cost. Quota / limit consumption 두 가지 방식이 있음. Default quota는 요청할 경우 증가시킬 수 있다. Cloud Resource management 기본적으로는, IAM을 다룰 때 상정했던 계층구조를 그대로 따른다. Policy -> roles + members, set on resources. Resources inherit policies from their parents. 즉, union of parent & resource. 또한 parent policy가 less restrictive할 경우, more restrict한 resource policy를 자동으로 기각..

Storage Storage, Sql, spanner, firestore, Bigtable. BigQuery도 storage 범주에 있긴 하지만, 본래 목적은 data analysis and interactive querying. Decision Chart. If data is not structured -> Storage. Structured + Focus on Data analysis -> Bigtable / BigQuery (depends on your latency / update needs) Whether your data is relational. If not relational -> Cloud Firestore. Relational -> Cloud SQL , Spanner. Scope 이 강..

Cloud IAM Email-like address names, job-type role in granular permission. Cloud IAM Who can do What, on which resources를 정의한 것. Who : Person, Group, Application 전부 해당한다. What : Privilege / Action Resource는 모든 종류의 GCP 서비스. Cloud IAM Resource의 계층구조를 토대로 IAM 적용가능한 객체를 파악할 수 있다. 상위 -> 하위 순으로 각각 Organization Node -> Folders -> Projects -> Resources 순서. 각각의 Resource는 하나의 Parent만을 갖는다. 모든 계층 Level에서 po..

https://www.edwith.org/tel-ewha-course/joinLectures/13274 통신의 기초 강좌소개 : edwith - 도인실 www.edwith.org 5. 통신보안 정보통신보안 정보를 수집 및 가공하고 저장한 후 송수신하는 과정에서 발생하는 정보의 불법훼손 / 변조 / 유출 등을 방지하기 위한 관리적, 기술적 방법 랜섬웨어: 정보를 납치한 뒤 풀어주는 대가로 돈을 요구하는 형태 보안의 목표 기밀성(confidentiality): 소유자가 원하는 대로 정보의 비밀이 유지되어야 함 (아무나 볼 수 없도록) 무결성(integrity): 비인가된 자에 의해 정보가 변경, 삭제, 생성되지 않도록 -> 정보의 정확성, 완전성이 보장되어야 함 가용성(availability): 정보 시스템..

4. 이동통신 유선통신 vs 무선통신 유선전화 = 전화교환원이 존재. 통화하려는 두 사람을 직접 연결하는 식. 교환원은 당연히 이제 없지만, 유선 전화를 교환하는 교환대는 여전히 존재 기본적으로는 ‘국가 - 도시 - 지역 - 구내’ 개념으로 번호가 분리되어 있다. 82 - 02(서울) - 0000 - 0000 같은 구내 연결 = 짧은 교환과정, 거리가 멀어질수록 긴 회선을 사용해서 연결을 시도하는 것. 따라서 이 당시만 해도 거리가 멀어질수록 요금이 비쌌다. 무선 통신의 등장 송신탑에서 최대한 멀리 쏘아보내서 전화보내는 사람 / 받는 사람을 연결하는 게 초기 방식. 이 방식은 먼 거리일수록 통신 전력이 많이 필요하다는 단점이 있었음. 그래서 ‘굳이 최대한 멀리 쏘는 대신, 지역별로 나누어서 해당 지역 중..

https://www.edwith.org/tel-ewha-course/joinLectures/13274 통신의 기초 강좌소개 : edwith - 도인실 www.edwith.org 3. 인터넷 IP주소 IP = Internet Protocol. TCP/IP 5계층 중 Internet Layer가 IP계층. -> 네트워크가 서로 달라도 통신이 가능하도록 지원하는 것. 전송하고자 하는 최종 목적지가 바로 IP주소. 이 데이터를 누구에게 전달할지를 IP주소 보고 판단. IP계층에서 헤더값으로 붙는 게 IP. IP vs DNS(도메인 네임 서버) 인터넷 사용할 때 ‘이름’을 IP주소로 변경하는 게 DNS. 사용자의 domain 이름을 IP주소로 변환한다. IPv4 주소: 32bit. 이론적으로 42억개 정도의 주..

19.11.23 ~ 24일. 성균관대에서 진행한 딥러닝으로 글쓰기 해커톤 대회 참여 및 작업기. 교내 학부생 및 대학원생을 대상으로 처음 진행한 '딥러닝으로 글쓰기' 교내 해커톤이며. 마인즈랩 (https://mindslab.ai/kr) 에서 제공한 OpenAI GPT-2의 한글 pretrained 모델을 참여 팀에게 제공하고 교내 Tesla V100 GPU 1대씩 지원했다. 정원은 총 10팀이었으나 참여자가 많다는 이유로 추가 5팀을 받고, 5팀은 네이버 클라우드 쪽 회사의 서버를 이용할 수 있게 해 줬다. 본 행사를 시작하기 약 1주일 전부터 서버와 글 형식 (수필)을 공지했고, 일주일의 training 기간을 거쳐 행사 당일에 주제를 발표하는 방식이었다. 분량은 10,000자 이내. 주제는 '만약 ..