관찰과 질문, 그리고 데이터

작은 사이드 프로젝트 중간에 투입돼서 코드 개선을 하게 되었는데, FastAPI + SQLAlchemy (postgres) + Alembic으로 구성된 기존 방식에서 Alembic을 atlas로 변경했다. Python으로 구성하는 API Server + ORM + DB migration tool 조합의 정석으로 많이 쓰이지만, 글 작성 기준 alembic 최신버전인 v1.13.1 프로덕트를 써보니 장점보다는 단점이 더 크게 느껴졌다. 당연하게도, 내가 느낀 단점이나 불편함이 alembic 프로덕트 자체의 한계는 아닐 수도 있다. 문서에서 내가 놓친 부분이 있을 수도 있다. 이런 고민을 하게 된 상황은 아래와 같은 조건에서였다. Python으로 production level의 웹 서비스를 목표로 상정하고 ..

멤버십에 가입되어 있고, 유튜브에 로그인할 수 있는 계정이 필요하다. Streamlink라는 오픈소스 프로젝트를 활용해서 유튜브의 멤버십 전용 스트리밍 영상을 다운로드받는 방법. 21.09.26 현재 streamlink 프로젝트의 latest 버전은 2.4.0이다. 우선 https://github.com/streamlink/streamlink/releases 로 들어가서 latest Version을 선택한다. Releases · streamlink/streamlink Streamlink is a CLI utility which pipes video streams from various services into a video player - streamlink/streamlink github.com Win..

개발 결과. 자세한 사용법은 아래 링크의 README를 참고하면 된다.https://github.com/inspirit941/kakao-bot-mcp-server GitHub - inspirit941/kakao-bot-mcp-server: MCP Server Implementation on Kakao Developers API to connect an AI AgentMCP Server Implementation on Kakao Developers API to connect an AI Agent - inspirit941/kakao-bot-mcp-servergithub.com 최근 라인에서 AI Agent가 라인 메시지 API를 호출할 수 있도록 해주는 MCP Server를 공개했다.https://git..

https://training.linuxfoundation.org/certification/certified-kubernetes-security-specialist/ 시험 준비기간 : Udemy 강의 완강에만 4개월. 문제풀이는 3일.Coming Soon: The current CKS Competency “Implement Pod-to-Pod encryption using Cilium” will be updated to “Implement Pod-to-Pod encryption (Cilium, Istio)” on April 8, 2025, at 00:00 UTC. 시험 보기 일주일 전에, Pod-to-Pod Encryption 커리큘럼에 istio가 추가됐었다. istio를 실제 업무에서 쓰고 있었기 ..

https://tech.kakao.com/2021/03/10/kakao-career-boost-program-for-cloud/ kakao Career Boost Program for Cloud - 클라우드 하고 싶지만, 잘 모르겠는 분 얼른 오세요!!!! “이번에 카카오에서 클라우드와 관련된 많은 분들을 모시고 있습니다.클라우드를 잘한다. 당연히 지원하세요! 클라우드를 하고 싶은데, 뭐 하는지 모르겠어, 근데 나 개발은 하는데….얼른 지 tech.kakao.com 2021년 3월부터 진행되었던 카카오 클라우드 부스트 경력채용 공고에 지원했고, 최종 합격했다. 카카오 경력직 채용절차 자체는 원격 인터뷰 -> 1차 면접 -> 2차면접 순으로 대부분 동일하게 진행되는 걸로 알고 있다. 신입공채로 들어간 지 ..

개발 결과. 자세한 사용법은 아래 링크의 README를 참고하면 된다.https://github.com/inspirit941/kakao-bot-mcp-server GitHub - inspirit941/kakao-bot-mcp-server: MCP Server Implementation on Kakao Developers API to connect an AI AgentMCP Server Implementation on Kakao Developers API to connect an AI Agent - inspirit941/kakao-bot-mcp-servergithub.com 최근 라인에서 AI Agent가 라인 메시지 API를 호출할 수 있도록 해주는 MCP Server를 공개했다.https://git..

https://aifactory.space/task/2733/overview 2024 Gemma 파인튜닝톤 (아이디어톤)🕹️ Gemma 파인튜닝 어디까지 해봤니?aifactory.space  AIFactory Gemma 파인튜닝 아이디어톤에 제출해서, 3등 우수상으로 입상한 내용PaliGemma로 Object Classification을 위한 데이터 준비 방법을 기록하기 위한 것.PaliGemma란?https://developers.googleblog.com/ko/gemma-explained-paligemma-architecture/ Gemma 설명: PaliGemma 아키텍처- Google Developers BlogGemma AI Announcements 전 세계 누구나 이해할 수 있도록 – Gem..

eventing-kafka-broker로 외부의 cloudevent를 받아서 Fanout하는 기능을 만들고 있었는데event source별로 순서 보장이 필요하지만cloudevent 보내는 쪽의 로직을 변경할 수 없는상황을 해결하기 위한 여러 작업 중 하나.  외부 cloudevent 이벤트를 받아서 kafka에 저장할 때, cloudevent spec에서 제공하는 paritionkey라는 옵션을 쓰면 된다.https://github.com/cloudevents/spec/blob/main/cloudevents/extensions/partitioning.md특정 kafka partition별로 매핑하기 위한 옵션으로, 같은 paritionkey를 가진 cloudevent는 동일한 kafka partitio..

FastAPI + SQLAlchemy로 API 서비스 만들면서 해결한 사안 정리하기. soft delete가 필요한 이유? 삭제 요청이 들어올 때마다 물리적으로 DB에서 row 정리해 버리면, 삭제된 데이터를 복원한다던가 / 삭제된 데이터의 이력이나 히스토리 파악하려면 데이터베이스 엔진 레벨에서 작업해야 한다. 민감정보 다루는 게 아니고, 서버로그처럼 많이 쌓여서 주기적으로 삭제해야 하는 entity 같은 성격이 아니라면 간단한 비즈니스 로직이나 api에서는 soft delete이 주는 편익이 비용보다 훨씬 크다고 생각함. GORM은 soft delete 기능 도입이 엄청 쉽고, soft delete 적용한 object끼리 relation을 조합하면 ORM에서 자동으로 쿼리를 생성해준다. https://..

작은 사이드 프로젝트 중간에 투입돼서 코드 개선을 하게 되었는데, FastAPI + SQLAlchemy (postgres) + Alembic으로 구성된 기존 방식에서 Alembic을 atlas로 변경했다. Python으로 구성하는 API Server + ORM + DB migration tool 조합의 정석으로 많이 쓰이지만, 글 작성 기준 alembic 최신버전인 v1.13.1 프로덕트를 써보니 장점보다는 단점이 더 크게 느껴졌다. 당연하게도, 내가 느낀 단점이나 불편함이 alembic 프로덕트 자체의 한계는 아닐 수도 있다. 문서에서 내가 놓친 부분이 있을 수도 있다. 이런 고민을 하게 된 상황은 아래와 같은 조건에서였다. Python으로 production level의 웹 서비스를 목표로 상정하고 ..

https://youtu.be/UMNCKkdrfUo?si=lWR2HsEa7TnKQSM1Introduction To Cluster API목적구성Example CodeUpgradeStandardizing ClustersHealth / remediationWorkload ManagementReviewJussi NummelinSr. Principal Engineer at Mirantis.목적Cluster APIk8s Sub-project, focused on providing declarative APIs and toolings to Simplify provisioning, upgrading, and operating multiple k8s clusters.한두 개의 클러스터 관리라면 어떻게든 하면 되지만..m..

https://youtu.be/5-4X3HylQQo?si=K5sBcyJNptaO4dGx Apache Spark on Kubernetes: A Technical Deep DiveKubernetes Submission ClientKubernetes Scheduler BackendUnder the hood Yinan LiSoftware Engineer at Google GKE Workload TeamApache Spark Contributter SparkLarge Scale Data Processing에서 가장 유명한 프레임워크.다양한 language 지원.batch, streaming, ML, SQL workload 수행Kubernetes Submission ClientSpark on Kubernetes는..

https://www.youtube.com/watch?v=ejJ6A0sIdbwSpark on Kubernetes, A Practical GuideWhy Spark on K8sSpark on AirbnbJourneySpark Job SubmissionShuffle ServiceObservabilitythings I did't cover today (But where did we use AI?)Damon CortesiStaff SW Engineer at AirBnBData Platform since 2010Why Spark on K8s하둡이 개발된 지 20년이 지났고 꾸준히 개발중인데 왜 k8s?FlexibilitySpark Version. 버전관리가 힘듬. 하둡 3에서 docker / runc Contai..

Cluster API Deep Dive - Roadmap to API GraduationVisionHow does it Work?Transition to v1beta2 APIChanges in CAPI v1.9in-place upgradeQ&Ahttps://www.youtube.com/watch?v=F2iO_cKKPuI Christian Schlotter: Apple SW Engineer. Cluster API maintainerVince Prignano: Broadcom Engineer. Cluster API maintainerVision7년쯤 전 Meta Cloud 라는 목표를 위함.production-ready, declarative API가 있는 상황에서 managing the clusters a..

https://youtu.be/Mj04QOqAaJ8?si=8U4dpXkHCwJULell 발표자 James StrongSolution Architect at Isovalent part of Ciscoingress-nginx MaintainerRicardo KatzSoftware Engineer at VMWareingress-nginx Maintainer, Creator of Kubepug Linux Networking모든 k8s workload는 Node에서 실행됨. Node의 Linux Network Stack에는 대표적으로 아래와 같은 것들이 있다.ethernet interface (eth0): for External Connectivityrouting rules: where to send packe..