관찰과 질문, 그리고 데이터

https://tv.naver.com/v/67446801 플레이 네이버(PLAY NAVER)[팀네이버 컨퍼런스 DAN 24] 인공지능의 마법으로 실시간 라이브 인코딩에 날개를 달다tv.naver.com   AI 인코딩 최적화가 필요한 이유 네이버tv, 스포츠, 치지직, 클립 등 다양한 서비스에서 VOD 사용: 비약적인 비용 증가 네이버 클라우드에서의 VOD 처리 절차다양한 기기에서 VOD 영상 업로드CODEC, container 등의 변환CDN으로 다양한 환경에서 재생 지원.이 중 가장 많은 서버자원, 시간, 리소스가 필요한 부분은 Encoding. 고해상도, 고화질 영상일수록 증가. 따라서자체 분산인코더 개발CDN, storage 비용 개선을 위한 인코딩 용량 줄여서 저장 / 전송 최적화를 연구중일반적..

https://youtu.be/7cwFhX14nkg?si=8yJhWaLrXjjbgOjQ  DataOps 팀 김현우. 도입 계기 개발자가 할 일이 많아서, 코드리뷰가 우선순위에 밀리는 경우가 종종 있음.기업사례 AWS, MS 등에서는 코드리뷰를 지원하는 프로그램이나 익스텐션이 있고, 다양한 기업에서도 사용 중.개발자 만족도도 높은 편아키텍처 / 시나리오 모델: LLama3 70B.라이센스 이슈가 적은 오픈소스Coding, Asking for Advice, Rewriting, Summarizing 항목이 포함된 Human Evaluation 벤치마크 성능이 높음 구조는 생각보다 간단함. Github Action으로 트리거하고, kubeflow가 동작하는 kserve로 서빙한다.도입하기 코드리뷰 기준을 4가지..

https://d2.naver.com/helloworld/2905424  https://youtu.be/1UBgSARBdBc?si=07YbUP3GK5zpnGjT   문제 k8s 클러스터 운영 도중, 일부 노드에서 특정 도메인 nslookup이 안 되는 현상 발생.원인: 해당 노드들의 망 구성이 달라서, 다른 nameserver 사용중이었음. nameserver는 변경할 수 없는 상황.특정 도메인일 경우에만 nameserver를 다르게 설정하려면 어떻게 해야 하나??간단한 k8s 배경지식 pod는 고유한 ip를 갖는다.pod는 동적으로 생성되며, 언제든 삭제될 수 있다. 재생성될 때, ip는 동적으로 변경된다.Service를 사용해서, 동적으로 바뀌는 ip 집합인 여러 pod에 접근할 수 있는 단일 end..

AI 경량화: 더 빠르고 저렴한 AI 서비스 https://www.youtube.com/watch?v=NVNCPGWe5Ss Naver Biz CIC / AI Serving Dev Inference Latency 서버 부하 전력소모 효율 ... 모델의 아키텍처가 성능을 좌우하는데, 서비스 상황에 맞춰 아키텍처 자체를 실험적으로 바꾸며 최적값을 찾기 위한 작업은 어렵다. 아키텍처를 고정한 채, 효율성을 더 높이기 위한 삽질기. 실험에 사용한 조건 중 num_thread 고정 dynamic allocation에서 발생하는 속도차이 무시하기 위함. 같은 모델이라도 다소 느린 속도. 경량화 이론은 매우 어렵지만, 서비스 적용을 위한 코드 수정은 (이론에 비하면) 쉬운 편이다. AI 모델 트렌드는 '더 큰 모델, ..

https://tv.naver.com/v/23651836 NAVER 암호화 트래픽을 책임지는 HTTPS 플랫폼 기술 NAVER Engineering | 공진호/김해랑 - NAVER 암호화 트래픽을 책임지는 HTTPS 플랫폼 기술 tv.naver.com Naver 암호화 트래픽을 책임지는 https 플랫폼 기술 SSL Termination / PassThrough termination : 암호화 트래픽의 연산작업을 대행해주는 기능. back에 있는 서버는 복호화되어 있는 데이터만 처리함. 리소스 효율화 / 백엔드의 외부 노출이 방지되어 보안에 유리한 솔루션. nFront 플랫폼이 오픈하던 시기는 2018년. 브라우저가 https를 디폴트 통신으로 설정하는 추세, https 아닐 경우 경고메시지 표시... ..