관찰과 질문, 그리고 데이터

멤버십에 가입되어 있고, 유튜브에 로그인할 수 있는 계정이 필요하다. Streamlink라는 오픈소스 프로젝트를 활용해서 유튜브의 멤버십 전용 스트리밍 영상을 다운로드받는 방법. 21.09.26 현재 streamlink 프로젝트의 latest 버전은 2.4.0이다. 우선 https://github.com/streamlink/streamlink/releases 로 들어가서 latest Version을 선택한다. Releases · streamlink/streamlink Streamlink is a CLI utility which pipes video streams from various services into a video player - streamlink/streamlink github.com Win..

2019년 하반기부터 2020년 하반기까지, 1년의 취준생 기간을 끝내고 이베이코리아 개발자로 공채 입사했다. 얼어붙은 취업시장에서 그나마 공채든 수시든 인턴이든 기회가 열리는 곳이 주로 개발직이라서 도전해보려는 취준생 분들이 있을 것 같다. 조금이나마 도움이 되었으면 해서 이것저것 회고 겸 정리하는 글. 모든 게 다 그렇지만, 취업하는 방법에 정답은 없었다. 비전공자 + 외부 교육과정 (Saffy / 국비지원교육 / 부스트캠프 등) 없이 공부해도 취업이 불가능하지는 않았다는 개인의 후기 정도로만 이해해주었으면 좋겠다. 2. 기술면접? 회사마다 기술면접의 정의를 다르게 하고 있는 듯했다. 진짜 CS지식만을 검증하는 기업, 인성면접 + 프로젝트 관련 질문 위주의 기업, 셋 다 하는 기업까지... 프로젝트 ..

작은 사이드 프로젝트 중간에 투입돼서 코드 개선을 하게 되었는데, FastAPI + SQLAlchemy (postgres) + Alembic으로 구성된 기존 방식에서 Alembic을 atlas로 변경했다. Python으로 구성하는 API Server + ORM + DB migration tool 조합의 정석으로 많이 쓰이지만, 글 작성 기준 alembic 최신버전인 v1.13.1 프로덕트를 써보니 장점보다는 단점이 더 크게 느껴졌다. 당연하게도, 내가 느낀 단점이나 불편함이 alembic 프로덕트 자체의 한계는 아닐 수도 있다. 문서에서 내가 놓친 부분이 있을 수도 있다. 이런 고민을 하게 된 상황은 아래와 같은 조건에서였다. Python으로 production level의 웹 서비스를 목표로 상정하고 ..

https://youtu.be/7cwFhX14nkg?si=8yJhWaLrXjjbgOjQ  DataOps 팀 김현우. 도입 계기 개발자가 할 일이 많아서, 코드리뷰가 우선순위에 밀리는 경우가 종종 있음.기업사례 AWS, MS 등에서는 코드리뷰를 지원하는 프로그램이나 익스텐션이 있고, 다양한 기업에서도 사용 중.개발자 만족도도 높은 편아키텍처 / 시나리오 모델: LLama3 70B.라이센스 이슈가 적은 오픈소스Coding, Asking for Advice, Rewriting, Summarizing 항목이 포함된 Human Evaluation 벤치마크 성능이 높음 구조는 생각보다 간단함. Github Action으로 트리거하고, kubeflow가 동작하는 kserve로 서빙한다.도입하기 코드리뷰 기준을 4가지..

https://tech.kakao.com/2021/03/10/kakao-career-boost-program-for-cloud/ kakao Career Boost Program for Cloud - 클라우드 하고 싶지만, 잘 모르겠는 분 얼른 오세요!!!! “이번에 카카오에서 클라우드와 관련된 많은 분들을 모시고 있습니다.클라우드를 잘한다. 당연히 지원하세요! 클라우드를 하고 싶은데, 뭐 하는지 모르겠어, 근데 나 개발은 하는데….얼른 지 tech.kakao.com 2021년 3월부터 진행되었던 카카오 클라우드 부스트 경력채용 공고에 지원했고, 최종 합격했다. 카카오 경력직 채용절차 자체는 원격 인터뷰 -> 1차 면접 -> 2차면접 순으로 대부분 동일하게 진행되는 걸로 알고 있다. 신입공채로 들어간 지 ..

https://www.youtube.com/live/Zpevs-4hj68?si=asOQuIEyWD3JE-4e    LLM앞으로는 오픈 모델을 좋건싫건 하나씩은 가지고 있지 않을까. fine tuning한 것들.킬러 앱이 나온 건 없지만, 도구로서는 훌륭한 사례들이 나오고 있음.학습된 데이터에 민감. 각각의 데이터별로 특성이 다르다.pretrained datasetsupervised Fine-Tuning datasetpreference alignment dataset그렇다보니'어떤 데이터로 학습했느냐'라는 정보가 LLM에서 원하는 결과를 얻기 위한 중요 방법인데공개된 LLM 모델은 일반 사용자가 이걸 알 방법이 없으니 Prompt Engineering이라는 이름으로 사례들이 공유됨다만, 모델마다 Overf..

https://youtu.be/dplGoewF4DA?si=C8n-a4KMDFDa8QVh 발표자David Blank Edelman: Microsoft CloudOps Advocate - SRESite Reliability Engineering Site Reliability Engineering조직에서 운영하는 프로덕트, 비즈니스, 시스템이적절한 수준의 안정성을지속적으로 유지할 수 있도록 하는 Engineering Discipline.SRE라는 정의에서 필요한 핵심 키워드reliability: 암만 열심히 앱 만들어도, 앱이 떠 있지 않으면 쓸모가 없다. 안정적으로 앱이 떠서 서비스 유지될 수 있도록 하는 것.Appropriate: goal로 100% 설정하는 건 불가능하다. '적절한 수준'Sustainab..

https://youtu.be/91oylZSoYzM?si=HPMFGBtma5rbIUrI   발표자: Christiansolo.io의 Global Field CTO. service mesh 쪽 오픈소스 2017년부터 참여 중. cloud native 환경의 Networking infra 역할.Security, Compilance, Zero Trust, Mandates, Multi Cloud...mTLS나 Observability, traffic control 등의 기능Architecture history: Shared Node or Sidecar구현을 위한 architectural tradeoff를 설명하려면, service Mesh 진영의 역사가 조금 필요하다. Linkerd: first & modern..

https://youtu.be/GKPBQDJ2Hjk?si=DMB5DbmgD64ohT6I 발표자: John Howardworking on istio for about 5 years, mostly on control plane.istio라는 big Control plane 개발하고 관리하면서 겪었던 controller 이슈를 어떤 식으로 해결했는지 소개.What is Controller? Controller를 거칠게 정의하면 'input을 넣었을 때, 대응되는 output을 내뱉는 것'Deployment yaml을 배포하면, Replicaset이 만들어진다.Replicaset이 배포되면, pod가 만들어진다.pod가 만들어지면, service에서 pod 생성이벤트 감지하고 적절한 endpoint를 배포한다...

https://youtu.be/953xaxqApGY?si=oyvcImAGN5UtXhrO 발표자: Marie Cosgrove-DavisGoogle Cloud PM. work on Stackdriver suite;encompassing logging, monitoring, application performance monitoring tools, incident response management tools  해결해야 할 문제System이 제대로 동작하고 있는지.의도한 기능을 사용자에게 제대로 제공하고 있는지. SLI: "Metric" whether a user is having success with a specific workflow they're trying to do with your product...

https://programmers.co.kr/learn/courses/30/lessons/43165 코딩테스트 연습 - 타겟 넘버 n개의 음이 아닌 정수가 있습니다. 이 수를 적절히 더하거나 빼서 타겟 넘버를 만들려고 합니다. 예를 들어 [1, 1, 1, 1, 1]로 숫자 3을 만들려면 다음 다섯 방법을 쓸 수 있습니다. -1+1+1+1+1 = 3 +1-1+1+1+ programmers.co.kr 만들 수 있는 모든 조건을 순회하면서 조건에 맞는 정답 개수를 찾도록 만들면 된다. dfs, bfs를 사용할 수도 있지만, 이 방식이 좀더 직관적이었다.

https://programmers.co.kr/learn/courses/30/lessons/81303 코딩테스트 연습 - 표 편집 8 2 ["D 2","C","U 3","C","D 4","C","U 2","Z","Z"] "OOOOXOOO" 8 2 ["D 2","C","U 3","C","D 4","C","U 2","Z","Z","U 1","C"] "OOXOXOOO" programmers.co.kr 백준의 '키로거' 문제에서 영감을 얻어 풀 수 있었던 문제. 선택 위치를 기준으로 왼쪽을 Left, 오른쪽을 right으로 두고 left의 최댓값 < right이 최솟값이 되도록 양쪽을 heap 자료구조로 저장하면 되는 문제. 순서를 기억하기 쉽도록 배열의 index를 사용한다. https://inspirit94..

https://programmers.co.kr/learn/courses/30/lessons/81302 코딩테스트 연습 - 거리두기 확인하기 [["POOOP", "OXXOX", "OPXPX", "OOXOX", "POXXP"], ["POOPX", "OXPXP", "PXXXO", "OXXXO", "OOOPP"], ["PXOPX", "OXOXP", "OXPOX", "OXXOP", "PXPOX"], ["OOOXX", "XOOOX", "OOOXX", "OXOOX", "OOOOO"], ["PXPXP", "XPXPX", "PXPXP", "XPXPX", "PXPXP"]] [1, 0, 1, 1, 1] programmers.co.kr 간단한 그래프 문제. 5 * 5 배열 조건이라서 연산량이 그렇게 많지는 않다. dfs / ..

https://programmers.co.kr/learn/courses/30/lessons/81301?language=python3 코딩테스트 연습 - 숫자 문자열과 영단어 네오와 프로도가 숫자놀이를 하고 있습니다. 네오가 프로도에게 숫자를 건넬 때 일부 자릿수를 영단어로 바꾼 카드를 건네주면 프로도는 원래 숫자를 찾는 게임입니다. 다음은 숫자의 일부 자 programmers.co.kr

programmers.co.kr/learn/courses/30/lessons/49993 코딩테스트 연습 - 스킬트리 programmers.co.kr