공부하고 기록하는, 경제학과 출신 개발자의 노트

Whisper 2

Efficient NLP - Fine-tuning Whisper to learn my Chinese dialect (Teochew)

https://youtu.be/JH_78KmP4Zk?si=ulBFE_AFcDeqn-XT Teochew 라는 중국 방언을 Whisper로 ASR 수행하게 만들기 위한 작업. Teochew 언어의 특징? 사용인구는 대략 10만명 정도. 대만에 인접해 있는 중국 본토 소수 지역에서 사용 대만어 계열인 Hokkien과 유사. 중국어 분화로만 봤을 땐 만다린어 / 광동어 쪽이긴 하지만 distantly related Mandarin to Teochew 해주는 translate을 transfer learning하려는 것이 목적. 만다린어 계열은 10억 이상이 사용하고 있으며, whisper 인식률이 괜찮은 언어 중 하나. 인간에게는 한쪽 언어를 알면, 다른 쪽 언어를 배우기 쉽다고 함. 특이한 점이라면, 하나의 의..

학습일지/AI 2024.02.14

데이터야놀자 2023 - Whisper 모델의 불필요한 Weight 줄여서 학습비용 절약하기

https://youtu.be/MDE2HRsfr7g?si=7s4yRsOlUSZ8_nnu Socar AI Research 조충현님. STT 모델 경량화 연구내용의 소개. 카셰어링 업체가 자체 STT를 구축해야 했던 이유? CS 상담사의 업무에는 여러 가지가 있다. 상담가이드 문서 검색, 유저 정보 확인, 예약내역 확인, 상담내용 기록... 이걸 매 상담마다 반복해야 함. 이렇다보니 상담이 많아지면 대기시간이 길어짐... CS만족도 하락. 상담원은 고객업무에만 집중하도록, 상담 외 업무는 AI를 사용하는 방향으로. 그러려면, 고객과 상담원의 대화 내역을 문서화하는 작업은 필수. 문서가 있어야 AI가 뭐라도 할 수 있기 때문. Whisper: OpenAI에서 공개한 오픈소스 STT. 코드와 weight 공개되..

학습일지/AI 2024.01.18