공부하고 기록하는, 경제학과 출신 개발자의 노트

분류 전체보기 549

대한민국의 붕괴

피상적인 현상 진단, 현실성 없는 대책만 담긴 책현 상황이 지속된다면 인구구조의 붕괴, 사회구조의 붕괴는 필연이다.‘가정’이라는 사회의 기본 구성요소를 청년세대가 더 이상 가치있게 느끼지 않고 있으며, 이는 ‘어떤 미래를 후세대에 물려줄 것인가’를 기성세대가 단 한 번도 제대로 고민하지 않은 결과물이다.이 책은 2022년 10월에 발간되었다. 그걸 감안해도 전반적으로 이 책은 그다지 가치가 없다. 현상분석과 미래예측은 피상적인 수준이고, 이렇게 된 원인은 기성세대의 무능함 때문이며, 정부는 잘해야 하고 사회인식이 바뀌어야 한다는 게 해결책이다. 그만큼 현 사태가 답이 없다는 의미이기도 하지만, 작금의 상황이 위험하다는 위기의식만 앞섰을 뿐 어떻게 해결하면 좋을지 깊게 고민한 흔적이 없는 책이다. 온갖 통..

세줄요약 독서 2024.11.28

2024 당근테크 - 네트워크 통신 불가를 해결하기 위한 여정 (feat. istio)

https://youtu.be/Hh9zcth4UcI?si=vCq-pKTm6xxopnDP 당근페이에서 발생했던 여러 문제들을 어떻게 해결했는지. 당근서비스와 함께 잘 성장하던 당근페이. Redis에서 timeout 에러 발생 - redis 명령어 실행에 1500ms 이상 걸림. Redis Java client인 Lettuce에서 확인해보니, 에러 발생 시점에 command명령어 지연이 발생함. 근데 Redis 서버에는 문제가 없음 JDBC에서 DB Connection 맺을 때도 timeout 발생. (8초 정도 걸림) Deep Dive 마이페이지 상단에 '당근페이' 영역이 있다.당근페이는 가입하지 않은 사용자에게도 송금이 가능함.송금을 받았다면, '받지 않은 금액이 있다'는 정보를 표..

KakaoTechMeet - 신뢰성 있는 kafka application을 만드는 3가지 방법

https://youtu.be/7_VdIFH6M6Q?si=elt0JfJEcTO9i3tj   Event Driven Architecture / Stream Data pipeline 이벤트 또는 메시지 기반 메시지 전달의 신뢰성 확보하기.Exactly Once: 이벤트 발행 / 처리를 1회만 수행.At least Once: 장애 데이터가 중복으로 적재 / 처리될 수 있음.At most Once: 장애 등으로 데이터가 유실될 수 있으나, 중복은 발생하지 않음. kafka 구조 간단 소개Producer: kafka 최소단위인 Record를 Broker로 전달데이터가 제대로 전달되었는지 ACK로 확인Consumer: broker에 저장된 Record를 가져감.데이터를 정상적으로 받았는지 Offset commit으..

커넥팅

커리어를 논리적이고 체계적으로 설계하는 법을 안내하는 토막글 모음.커리어에서 원하는 목적과 목표를 분명히 하고, 자신의 자격 / 학습 경험, 직무 경험, 외부 경험을 조합해서 할 수 있는 역할을 정의한다.글쓰기, 발표능력, 우선순위 결정 능력과 같은 기반 역량, 성실하고 근면한 태도는 귀해졌기에 가치가 높아지고 있다.  소제목 하나하나의 길이는 책의 한 두 장 정도로 짧지만, ‘커리어 이해하기’ / ‘커리어 포트폴리오 구성하기’ / ‘커리어 포트폴리오 강화를 위한 역량과 태도 함양하기’ 라는 세 가지 키워드에 유기적으로 묶여 있다. 페이스북이나 링크드인 같은 곳에 비슷한 주제로 썼던 토막글을 잘 엮어냈다는 느낌. 커리어 이해하기 연봉의 규모는 산업과 직무에서 거의 대부분이 결정된다. 시장규모가 크고, 가..

세줄요약 독서 2024.11.17

PaliGemma 모델로 Object Detection Fine Tuning한 방법 정리

https://aifactory.space/task/2733/overview 2024 Gemma 파인튜닝톤 (아이디어톤)🕹️ Gemma 파인튜닝 어디까지 해봤니?aifactory.space  AIFactory Gemma 파인튜닝 아이디어톤에 제출해서, 3등 우수상으로 입상한 내용PaliGemma로 Object Classification을 위한 데이터 준비 방법을 기록하기 위한 것.PaliGemma란?https://developers.googleblog.com/ko/gemma-explained-paligemma-architecture/ Gemma 설명: PaliGemma 아키텍처- Google Developers BlogGemma AI Announcements 전 세계 누구나 이해할 수 있도록 – Gem..

KubeCon2024 - Scaling New Heights with KEDA: Performance, Extensions, and Beyond

https://youtu.be/_5_njiPr5vg?si=W0MJDjYMbLMRYPU5 발표자Jorge Turrado: SCRM에서 SRE 담당. KEDA maintainerZbynek Roubalik: Kedify CTO, Knative TOC, KEDA maintainerEnterprise Autoscaling platform for our customers. Data Processing 관점에서, 한번에 데이터 처리가 많이 필요한 경우 / 그렇지 않은 경우가 있다. 리소스 효율화를 위해서라도, 필요한 순간에만 애플리케이션이 실행되면 좋을 것 같다.HPA: target workload의 CPU / Memory 확인해서 autoscale. 단, 리소스 사용량과 Actual Need이 다른 경우 사용하기..

만일 내가 그때 내 말을 들어줬더라면

한국에서 대접받는, 성공한 직업군인 의사이자 교수가 겪었던 우울증, 불안장애 고백 정서적 아픔을 공개하지 못하고, 내 탓이라며 삭히는 사람들에게 ‘네 탓이 아니야’ 라며 위로 / 공감하는 글 객관화 불가능한 개인의 고통을, 타인의 고통과 비교할 필요가 없다. 스스로에게도 건강한 위로가 되지 못하며, 타인에게 위로를 전하는 적절한 방식이 아니다. 약간의 사회분석 요소가 가미된 에세이 형식의 글. 한국에서 사회적으로 성공한 직업으로 인정받는 ‘의사’와 ‘교수’라는 직업을 가진 사람이 자신의 나약함, 취약함을 털어놓는 글이다. 정신과 의사로 많은 환자들을 대하며 ‘자신의 나약하고 취약한 모습을 드러내는 것이, 자신과 타인을 더 잘 이해하고 공감하기 위한 첫걸음' 이라는 점을 알리고 싶었다고. 그러나 ‘약점을 ..

세줄요약 독서 2024.10.27

인스파이어드 inspired

2010년 초반까지는 나름 신선했을 내용이지만, 2020년대에 읽기에는 진부하고 뒤떨어진 내용. 수많은 용어와 기법 이름을 나열할 뿐, 제대로 된 설명은 하나도 없다.기술 기업을 운영하는 리더에게 어떤 형태로 업무 방식이나 문화를 정착시킬지 안내하는 용도로는 쓸만하다.  IT기업에서 새로운 제품을 어떻게 기획, 출시, 운영해야 하는지 포괄적인 가이드라인을 제시한다. 대략 아래와 같은 내용이다. ‘고객에게 가치를 전달할 수 있는 아이디어'가 필요하다.‘비즈니스 가치를 창출할 때까지는 몇 차례의 반복 개선이 필요하다.'조직의 목표를 정하고, 조직 목표를 달성하기 위한 방법으로서 개별 프로덕트의 목표를 설정해야 한다.프로덕트가 많아지면 목표 간 충돌이나 간섭이 생길 수 있는데, 이걸 조율하는 리더의 역량이 중..

세줄요약 독서 2024.10.20

[AIFactory 세미나] FineTune or Not FineTune

https://www.youtube.com/live/Zpevs-4hj68?si=asOQuIEyWD3JE-4e    LLM앞으로는 오픈 모델을 좋건싫건 하나씩은 가지고 있지 않을까. fine tuning한 것들.킬러 앱이 나온 건 없지만, 도구로서는 훌륭한 사례들이 나오고 있음.학습된 데이터에 민감. 각각의 데이터별로 특성이 다르다.pretrained datasetsupervised Fine-Tuning datasetpreference alignment dataset그렇다보니'어떤 데이터로 학습했느냐'라는 정보가 LLM에서 원하는 결과를 얻기 위한 중요 방법인데공개된 LLM 모델은 일반 사용자가 이걸 알 방법이 없으니 Prompt Engineering이라는 이름으로 사례들이 공유됨다만, 모델마다 Overf..

학습일지/AI 2024.09.10

DevOpsDay 2018 - Implementing SRE practices: SLI/SLO deep dive

https://youtu.be/dplGoewF4DA?si=C8n-a4KMDFDa8QVh 발표자David Blank Edelman: Microsoft CloudOps Advocate - SRESite Reliability Engineering Site Reliability Engineering조직에서 운영하는 프로덕트, 비즈니스, 시스템이적절한 수준의 안정성을지속적으로 유지할 수 있도록 하는 Engineering Discipline.SRE라는 정의에서 필요한 핵심 키워드reliability: 암만 열심히 앱 만들어도, 앱이 떠 있지 않으면 쓸모가 없다. 안정적으로 앱이 떠서 서비스 유지될 수 있도록 하는 것.Appropriate: goal로 100% 설정하는 건 불가능하다. '적절한 수준'Sustainab..