공부하고 기록하는, 경제학과 출신 개발자의 노트

많이 본 글

Streamlink로 유튜브 멤버십 스트리밍 영상 다운로드하기

멤버십에 가입되어 있고, 유튜브에 로그인할 수 있는 계정이 필요하다. Streamlink라는 오픈소스 프로젝트를 활용해서 유튜브의 멤버십 전용 스트리밍 영상을 다운로드받는 방법. 21.09.26 현재 streamlink 프로젝트의 latest 버전은 2.4.0이다. 우선 https://github.com/streamlink/streamlink/releases 로 들어가서 latest Version을 선택한다. Releases · streamlink/streamlink Streamlink is a CLI utility which pipes video streams from various services into a video player - streamlink/streamlink github.com Win..

NHN Forward 22 - 벡터 검색 엔진에 ANN HNSW 알고리즘 도입기

https://youtu.be/hCqF4tDPNBw?si=wYvWqiYFzX5UDr6R 대충? 거의 정확하다! 벡터 검색 엔진에 ANN HNSW 알고리즘 도입기 NHN Cloud 로그플랫폼개발팀 권성재. 벡터 검색엔진 운영하면서 새로운 알고리즘 도입하기까지. 기존 방식의 문제점, 해결책, C++ 구현체 말고 Golang에 적용하기까지. 헷갈릴 수 있어서 용어 정리하자면 ML 기술 결과물로 나온 Vector 값의 검색 관련 내용임. ML이나 AI 기술 자체에 관련된 건 아니다. HNSW 도입 배경 기존 방식인 KNN: 점 두개의 L2 Distance 계산. 검색 대상으로 들어온 Vector가 있으면 기존 DB에 있던 모든 Vector 간 거리를 일일이 계산 -> 가장 거리가 가까운 K개 응답. 따라서, 데..

AI 2024.01.01 1

SK Tech Summit 2023 - LLM 적용 방법인 PEFT vs RAG, Domain 적용 승자는?

https://youtu.be/WWaPGDS7ZQs?si=YK9YnKfo0v3G2BG6 SK브로드밴드 AI/DT Tech팀 김현석. LLM 배경 Foundation Model: 다양한 Task를 Self-supervised Learning 수행한 것. LLM의 경우 '언어' 라는 분야에 특화된 형태로, 요약 / 분류 / 번역, QA 등 다양한 task를 수행할 수 있다. 2023년에는 ChatGPT, Bard 등 LLM 기반 서비스가 많이 출시됐음. 기업에서도 자체 도메인을 적용하려는 시도 + LLaMa 오픈소스 사내 적용 시 Challenge Point Azure 환경 + ChatGPT RAG 적용해서 사내 데이터 연동하려는 PoC 진행 시 겪은 문제 Fine Tuning에 드는 비용 Hallucina..

AI 2024.02.06 1

문과생이 독학으로 개발자 취업하기까지 - (2) 기술면접

2019년 하반기부터 2020년 하반기까지, 1년의 취준생 기간을 끝내고 이베이코리아 개발자로 공채 입사했다. 얼어붙은 취업시장에서 그나마 공채든 수시든 인턴이든 기회가 열리는 곳이 주로 개발직이라서 도전해보려는 취준생 분들이 있을 것 같다. 조금이나마 도움이 되었으면 해서 이것저것 회고 겸 정리하는 글. 모든 게 다 그렇지만, 취업하는 방법에 정답은 없었다. 비전공자 + 외부 교육과정 (Saffy / 국비지원교육 / 부스트캠프 등) 없이 공부해도 취업이 불가능하지는 않았다는 개인의 후기 정도로만 이해해주었으면 좋겠다. 2. 기술면접? 회사마다 기술면접의 정의를 다르게 하고 있는 듯했다. 진짜 CS지식만을 검증하는 기업, 인성면접 + 프로젝트 관련 질문 위주의 기업, 셋 다 하는 기업까지... 프로젝트 ..

일상 속 생각 2021.01.04 8

CKA 자격증 합격 후기 + 준비했던 방법 정리

최종 소요 기간: 3개월. udemy 강의에 2개월 / 문제풀이 1개월. 100점 만점에 17문제, 문제당 배점은 4, 7, 13점 중 하나였음. 인터넷에서는 killer shell 문제보다는 쉽다는 평이 많은데, 체감상 그렇지 않았음. podAntiAffinity 같은 생소한 문제를 요구하지 않았을 뿐, 전체적으로는 비슷한 난이도였다. 배점이 낮은 4점 문제는 한두 가지의 명령어로 결과를 만들 수 있는 문제가 많았다. 'deployment의 pod 개수를 4로 scale 변경해라' 'taint toleration 걸려 있는 노드 제외하고, available 상태인 노드 개수를 /opt// 에 입력해라' pod 컨테이너 로그 중 특정 문자열이 있는 row만 추출해서 저장해라 7점 문제가 체감상 갯수는 제..

일상 속 생각 2022.05.23 5

세줄요약독서

more

미식경제학

미식경제학 내추럴 와인은 왜 MZ세대에게 인기일까? 요즘 식당은 왜 바 테이블(다찌석) 구조가 많을까? 성수동은 언제부터 핫플이었나? 미식의 트렌드를 좇다 보면 자연스레 품게 되는 질문들을 시장경제의 관점과 접목시켜 흥미롭게 풀어내며 누적 조회수 50만을 기록한 화제의 유튜브 콘텐츠 〈미식경제학〉이 책으로 출간되었다. 전 ‘사운즈한남’ 총괄 셰프이자 유튜브 채널 ‘공격수셰프’(구독자 25만 명)를 운영하고 있는 박민혁 셰프를 필두로, 각 업계의 전문가들과 함께 식문화, 핫플레이스, 인플레이션 등 미식에서 뻗어나가는 다양한 갈래의 주제를 아우르며 취향과 소비, 경제의 관계에 관해 살펴본다. 유튜브 콘텐츠의 경쾌하고 감각적인 매력은 그대로 살리되, 방송에서는 다 다루지 못했던 취재기를 속속들이 담았다. 저자..

세줄요약 독서 2024.03.22 2

해결할 프로덕트

개발자 리뷰어로 선정되어, 길벗출판사로부터 도서를 받아본 뒤 작성하는 글입니다. 개발자가 소프트웨어 디자인 패턴 보듯이 스타트업의 단계별 전략 패턴을 접할 수 있는 책. 제품 회사를 아이디어 / 스타트업 / 성장 / 확장 / 성숙이라는 다섯 단계로 구분한 뒤, 각 단계별로 취해야 할 필드 메뉴얼을 소개한다. 모든 세부전략의 핵심은 ‘마주한 상황에 맞게 고객, 제품, 비즈니스’ 카테고리를 끊임없이 학습하는 것. ‘사용 가능한 기법, 발전하기, 사례연구, 행동하기’가 포함되어 있어서, 응용하거나 활용하기 쉽게 쓰였다. 책을 관통하는 키워드는 ‘단순함’이었다. ‘끊임없이 학습해야 한다'는 원칙이 명확하고, 학습 대상을 무엇으로 할 것인지 결정하고, 어떤 방식을 사용할 수 있는지 알려준다. 이 패턴 하나가 50..

세줄요약 독서 2024.02.20 0

역설계 - Decoding Greatness

탁월한 프로덕트 / 비즈니스의 성공에는 재능, 노력뿐만 아니라 ‘역설계'가 포함된다. 역설계란, 다른 분야에서 효과가 있었던 원리나 방법을 재해석한 것을 의미한다. 역설계란 일종의 패턴 분석이며, 역사적으로 다양한 분야 - 음악, 미술, 스포츠, 영화, 심지어는 도둑질에까지 - 에서 효과를 증명했다. 역설계를 하기 위한 방법으로 ‘측정하기’, ‘리스크 관리하기’, ‘전략적으로 연습하기', ‘훌륭한 피드백 선별하기'라는 네 가지 방법론을 소개한다. 스포츠 분야의 예시가 많은데, 스포츠의 문법을 일반인의 삶에 예시로 대입할 만큼 일반화할 수 있는지는 회의적이다. 저자에 따르면, 인간이 만들어낸 불세출의 창작물 또는 비즈니스적 성취에는 ‘역설계' 전략이 반드시 포함되었다. 역설계란, 다른 프로덕트의 패턴을 면..

세줄요약 독서 2024.02.08 0

질문이 무기가 된다

‘해결해야 할 문제가 무엇인가‘를 정의할 수 있는 능력이 ‘논점사고'이다. 논점사고는 ‘상황을 다각도로 보고, 끊임없이 질문하며 근원을 찾아가는' 능력이며, 의문을 가지고 질문하는 것이 핵심이다. 논리적이고 이성적인 질문의 중요성을 강조하지만, 이에 못지않게 ‘직관과 경험' (i.e. 이게 핵심인 것 같은데..? 같은 감각) 을 강조한 것이 특이점. 컨설팅업계 종사자라서인지 ‘단기적, 효율적인 문제해결' 위주의 사례가 많고, 그나마도 일본 내 영업사례에 한정되어 있다는 점이 아쉽다. 컨설팅업의 입장에서 클라이언트가 ‘현상을 해결해 달라’는 요구를 받았을 때, 어떤 식으로 논점을 정의하고 클라이언트에게 전달해야 하는지를 소개한다. 전반적으로 컨설팅 회사의 문제해결법을 소개한다는 인상이 강하다. 눈앞의 상황..

세줄요약 독서 2023.11.24 1

큰돈 버는 기회는 모두가 어렵다고 할 때 찾아온다

20년 전 일본 주택개조업에서 성공한 두 명의 창업자의 성급한 일반화의 오류로 점철된 책 2003년에 쓰인 책인데, 이게 왜 2021년에 1쇄로 재판되었는지 도저히 이해가 안 간다. 출판사가 양심이 없는게 분명하다 비법이라며 소개하는 모든 지식이 낡았다. 2000년대 초반 직장인 자기계발서 문법에서 향수를 느낄 수 있다 내가 이 책을 사서 봤다는 것 자체가 ‘이들의 마케팅 수법이 훌륭하다'는 방증 같아서 기분이 묘하다. ‘모두가 어렵다고 할 때' 라는 책 제목의 키워드와 2021년이라는 발행년도 때문에 ‘고금리로 인한 경기침체' 라는 현재 상황을 토대로 쓴 책인 줄 알았는데, 그런 건 전혀 없고 그냥 ‘요즘 시대는 어렵다'는 식의 두루뭉술한 시대의식으로 쓰였다. 내용은 요약할 것도 없고, 이 책이 왜 가..

세줄요약 독서 2023.10.29 0

인구대역전

글로벌 경제 관점에서, 지난 30년의 인구변동과 세계화 추세는 물가 상승을 억제하는 디플레이션 요인이었으나 앞으로는 인플레이션 요인이 될 것이다. 중국과 동유럽의 세계시장 편입은 노동시장에 강력한 초과공급을, 자본시장에 초과저축을 촉발했으나, 이들 국가의 저출생 / 고령화, 세계경제의 블록화는 인플레이션을 가속화하는 요인이다. 고령화된 인구(피부양계층)는 생산보다 소비를 많이 하는 ‘소비자’ 계층이며, 특히 이들의 수요가 높은 돌봄의료 서비스업은 자동화가 어려운 노동집약적 의료산업이다. 중앙은행의 ‘성장을 유지하며 인플레이션을 잡는다'라는 역할은 고금리로 인한 경기침체를 좋아하지 않는 정치인과의 갈등관계에 놓일 것이며, 부채의 함정을 탈출하는 일이 쉽지 않을 것이다. 글로벌 단위의 거시경제 차원에서 ‘인..

세줄요약 독서 2023.10.18 0

학습일지

more

Fast Intro to image and text Multi-Modal with OpenAI CLIP

https://youtu.be/989aKUVBfbk?si=uzoaSLQZlqQAJg1r Multi Modal 중 하나인 OpenAI의 CLIP 모델 크게 두 가지 모델로 구성됨. Vision Transformers Text Transformers https://github.com/openai/CLIP GitHub - openai/CLIP: CLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image CLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image - ope..

AI 2024.03.26 0

DroidCon 2024 - AI Pull Request reviewer using ChatGPT and GitHub Actions

https://www.droidcon.com/2024/03/14/automate-pull-request-reviews-using-chatgpt-and-github-actions/?ref=dailydev https://youtu.be/t9hleFcIWQ8?si=eWwzMBgHdcRAd5FG 인터넷 돌아다니다가 찾은 영상인데, 재미있어 보여서 정리함. Android Codebase에 rookie수준의 mistake를 만들고 나서 code review를 받아보는 형태로 시연. Repository: https://github.com/Nerdy-Things/chat-gpt-pr-reviewer GitHub - Nerdy-Things/chat-gpt-pr-reviewer Contribute to Nerdy-Thin..

AI 2024.03.21 0

Knative의 Eventing Prometheus 고쳐서 동작하게 만들었던 히스토리

Knative Eventing을 활용해서 CloudEvent 기반 event-driven 구조를 도입해 서비스 간 결합도를 낮추는 작업을 하고 있던 중 knative 진영에서 개발 중단된, prometheus query를 주기적으로 호출해서 CloudEvent를 생성하는 프로덕트를 찾았다. 조금만 고쳐쓰면 사용할 수 있을 것 같아서 수정했고, 지금은 잘 사용 중이다. 무얼 고쳐서 어떻게 동작하도록 만들었고, 쓰려면 어떻게 해야 하는지를 기록으로 남기기 위한 포스트. 원본 https://github.com/knative-extensions/eventing-prometheus GitHub - knative-extensions/eventing-prometheus: Prometheus integration wi..

Knative 2024.03.19 0

LangChain - Advanced RAG Technique for Better Retrieval Performance 정리

아래 유튜브 영상을 정리하였음. https://youtu.be/KQjZ68mToWo?si=09NX4cfbE9lYTJ9l 일반적인 RAG StepIndexing Step: Data Load -> Split -> Embedding -> Store in VectorDBRetrieval Step: Ask Question -> Embedding Question -> Retrieve Similar Documents -> add as a prompt -> LLMLangchain이 Vector Store에서 필요한 데이터를 더 잘 가져올 수 있도록 하는 기법MultiQueryRetrieverContextual CompressionEnsemble RetrieverSelf-Querying RetrieverTime-weig..

AI 2024.03.14 0

SK Tech Summit 2023 - 비즈니스에 실제로 활용 가능한 LLM 서비스 만들기

비즈니스에 실제로 활용 가능한 LLM 서비스 만들기SKT Data Application팀 김찬호님 개요 chatGPT 출시 전인 22년 9월 / 출시 이후인 23년 9월에 세콰이어 캐피털에 올라온 글. GPT-4한테 요약시킨 결과22.09: Gen AI가 창의성의 일부분에서 인간보다 우월한 성과를 내고 있다.23.09: Gen AI는 혁신적인 제품이었다. 유용성에 의문이 있었으나, 가치를 창출하는 시장이 출현하고 있다. 기대해볼 만하다. 22.09: foundation 모델 열거하고, 도메인 예시만 짤막하게 썼던 반면23.09: Stack 구조를 소개함. 도메인별 foundation 모델 / serving, management tool / framework / application / monitoring..

AI 2024.02.17 1

코딩테스트 문제풀이

more

[Python] 프로그래머스. 타겟 넘버 (Level 2)

https://programmers.co.kr/learn/courses/30/lessons/43165 코딩테스트 연습 - 타겟 넘버 n개의 음이 아닌 정수가 있습니다. 이 수를 적절히 더하거나 빼서 타겟 넘버를 만들려고 합니다. 예를 들어 [1, 1, 1, 1, 1]로 숫자 3을 만들려면 다음 다섯 방법을 쓸 수 있습니다. -1+1+1+1+1 = 3 +1-1+1+1+ programmers.co.kr 만들 수 있는 모든 조건을 순회하면서 조건에 맞는 정답 개수를 찾도록 만들면 된다. dfs, bfs를 사용할 수도 있지만, 이 방식이 좀더 직관적이었다.

[Python] 프로그래머스. 2021 카카오 인턴 - 표 편집 (Level 3)

https://programmers.co.kr/learn/courses/30/lessons/81303 코딩테스트 연습 - 표 편집 8 2 ["D 2","C","U 3","C","D 4","C","U 2","Z","Z"] "OOOOXOOO" 8 2 ["D 2","C","U 3","C","D 4","C","U 2","Z","Z","U 1","C"] "OOXOXOOO" programmers.co.kr 백준의 '키로거' 문제에서 영감을 얻어 풀 수 있었던 문제. 선택 위치를 기준으로 왼쪽을 Left, 오른쪽을 right으로 두고 left의 최댓값 < right이 최솟값이 되도록 양쪽을 heap 자료구조로 저장하면 되는 문제. 순서를 기억하기 쉽도록 배열의 index를 사용한다. https://inspirit94..

[Python] 프로그래머스. 2021 카카오 인턴 - 거리두기 확인하기 (Level 2)

https://programmers.co.kr/learn/courses/30/lessons/81302 코딩테스트 연습 - 거리두기 확인하기 [["POOOP", "OXXOX", "OPXPX", "OOXOX", "POXXP"], ["POOPX", "OXPXP", "PXXXO", "OXXXO", "OOOPP"], ["PXOPX", "OXOXP", "OXPOX", "OXXOP", "PXPOX"], ["OOOXX", "XOOOX", "OOOXX", "OXOOX", "OOOOO"], ["PXPXP", "XPXPX", "PXPXP", "XPXPX", "PXPXP"]] [1, 0, 1, 1, 1] programmers.co.kr 간단한 그래프 문제. 5 * 5 배열 조건이라서 연산량이 그렇게 많지는 않다. dfs / ..

[Python] 프로그래머스. 2021 카카오 인턴 - 숫자 문자열과 영단어 (Level 1)

https://programmers.co.kr/learn/courses/30/lessons/81301?language=python3 코딩테스트 연습 - 숫자 문자열과 영단어 네오와 프로도가 숫자놀이를 하고 있습니다. 네오가 프로도에게 숫자를 건넬 때 일부 자릿수를 영단어로 바꾼 카드를 건네주면 프로도는 원래 숫자를 찾는 게임입니다. 다음은 숫자의 일부 자 programmers.co.kr