반응형
https://youtu.be/7cwFhX14nkg?si=8yJhWaLrXjjbgOjQ
DataOps 팀 김현우.
도입 계기
개발자가 할 일이 많아서, 코드리뷰가 우선순위에 밀리는 경우가 종종 있음.
기업사례
AWS, MS 등에서는 코드리뷰를 지원하는 프로그램이나 익스텐션이 있고, 다양한 기업에서도 사용 중.
- 개발자 만족도도 높은 편
아키텍처 / 시나리오
모델: LLama3 70B.
- 라이센스 이슈가 적은 오픈소스
- Coding, Asking for Advice, Rewriting, Summarizing 항목이 포함된 Human Evaluation 벤치마크 성능이 높음
구조는 생각보다 간단함. Github Action으로 트리거하고, kubeflow가 동작하는 kserve로 서빙한다.
도입하기
코드리뷰 기준을 4가지로 정립.
- 변수 상태나 값 범위가 올바른지
- Runtime Error 가능성이 있는지
- 최적화할 만한 포인트가 있는지
- 보안 취약점 이슈나 결함이 있는 모듈을 쓰는지
Role 설정, Example 명시.
모델 서빙은 Kserve로. github action에서 python script 실행하도록 명시.
Thread Sleep하는 코드 작성 시
- akka와 concurrent 모듈 추천.
반응형
'학습일지 > AI' 카테고리의 다른 글
| [AIFactory 세미나] FineTune or Not FineTune (0) | 2024.09.10 |
|---|---|
| 당근 ML 밋업 1회 - 'LLM을 프로덕션에 적용하며 배운 것들' 정리 (0) | 2024.06.24 |
| LangChain Meetup - R.A.G 우리가 절대 쉽게 결과물을 얻을 수 없는 이유 (0) | 2024.06.17 |
| High Performance (Realtime) RAG Chains: From Basic to Advanced (0) | 2024.05.24 |
| Advanced RAG with Llama 3 in Langchain | Chat with PDF using Free Embeddings, Reranker & LlamaParse (0) | 2024.05.21 |