관찰과 질문, 그리고 데이터

https://youtu.be/WWaPGDS7ZQs?si=YK9YnKfo0v3G2BG6 SK브로드밴드 AI/DT Tech팀 김현석. LLM 배경 Foundation Model: 다양한 Task를 Self-supervised Learning 수행한 것. LLM의 경우 '언어' 라는 분야에 특화된 형태로, 요약 / 분류 / 번역, QA 등 다양한 task를 수행할 수 있다. 2023년에는 ChatGPT, Bard 등 LLM 기반 서비스가 많이 출시됐음. 기업에서도 자체 도메인을 적용하려는 시도 + LLaMa 오픈소스 사내 적용 시 Challenge Point Azure 환경 + ChatGPT RAG 적용해서 사내 데이터 연동하려는 PoC 진행 시 겪은 문제 Fine Tuning에 드는 비용 Hallucina..

https://youtu.be/hCqF4tDPNBw?si=wYvWqiYFzX5UDr6R 대충? 거의 정확하다! 벡터 검색 엔진에 ANN HNSW 알고리즘 도입기 NHN Cloud 로그플랫폼개발팀 권성재. 벡터 검색엔진 운영하면서 새로운 알고리즘 도입하기까지. 기존 방식의 문제점, 해결책, C++ 구현체 말고 Golang에 적용하기까지. 헷갈릴 수 있어서 용어 정리하자면 ML 기술 결과물로 나온 Vector 값의 검색 관련 내용임. ML이나 AI 기술 자체에 관련된 건 아니다. HNSW 도입 배경 기존 방식인 KNN: 점 두개의 L2 Distance 계산. 검색 대상으로 들어온 Vector가 있으면 기존 DB에 있던 모든 Vector 간 거리를 일일이 계산 -> 가장 거리가 가까운 K개 응답. 따라서, 데..