당근 기술 블로그에 올라온 글 하나가 엔지니어들 사이에서 조용히 퍼졌다. "2조 토큰을 카테고리 분류에 쓰면서 알게 된 것들".
스트리밍 붙이면 빨라진다는 말을 곧이곧대로 믿었다. GPT-4o 기반 사내 검색 챗봇에 SSE 스트리밍을 달고, 프론트엔드에 타이핑 애니메이션까지 입혀서 배포했다.
API 비용 청구서를 보다가 자괴감이 든 적 있다면 LLM 라우팅이라는 개념을 한 번쯤은 접했을 거다. 간단한 질문은 싼 모델로 돌리고, 복잡한 건 비싼 모델로 보내면 비용이 절반 이하로 떨어진다는 이야기.
컬리 딜리버리프로덕트 팀이 사내 문의 대응용 RAG 시스템을 만들었다. 첫 데모에서 "새벽배송 지연 시 어떻게 처리하나요?
금융권 프로젝트에서 RAG 기반 고객 상담 보조 시스템을 데모했다. 고객 문의가 들어오면 내부 약관과 상품 설명서에서 관련 내용을 검색해서, 상담사에게 답변 초안을 제안하는 구조였다.
우리 팀 AI 챗봇에 좋아요/싫어요 버튼을 단 게 올해 초다. 기획자가 "피드백 루프 만들어야죠"라고 했고, 개발자 셋이 3일 만에 구현했다.
지난달, CS 팀에서 슬랙이 왔다. "AI 챗봇이 고객한테 존재하지 않는 환불 정책을 안내하고 있어요.
올해 2월, Debian 개발자들은 AI 생성 코드를 프로젝트에서 금지할지를 놓고 General Resolution을 올렸다. 결과는 "결정하지 않기로 결정.
모델 파라미터 한 줄 바꾼다. model="gpt-4-0125"에서 model="gpt-4.
파싱 에러율 0%를 달성했을 때 팀 슬랙에 축하 이모지가 쏟아졌다. Structured Output 도입 전에는 LLM 응답의 8~12%가 JSON 파싱에 실패했고, 그때마다 재시도 로직이 돌면서 레이턴시와 비용을 잡아먹었다.
고객 문의 분류기를 만들 때였다. 프론티어 모델 API 비용이 월 400만 원을 찍자 팀에서 "파인튜닝해서 작은 모델로 돌리자"는 결론이 나왔다.
우리 팀이 GPT-4 클래스 모델 하나로 모든 요청을 처리하던 시절이 있었다. "일단 잘 되니까"라는 이유로 고객 인사말 응답부터 복잡한 문서 분석까지 전부 같은 엔드포인트를 태웠다.
고객사 기술문서 5만 건을 학습시키면 답변 품질이 올라갈 거라고 믿었다. LoRA로 Llama 3.
금융 도메인 챗봇을 6개월째 운영 중이었다. 모델 성능도 안정적이고, 할루시네이션 비율도 허용 범위 안이었다.
'두바이 쫀득 쿠키'를 영어로 뭐라 적어야 하나. Google Translate에 넣으면 "Dubai chewy cookie"가 나온다.
지난주 금요일, Sysdig 위협 연구팀이 JADEPUFFER 분석 보고서를 공개했다. LLM 에이전트가 랜섬웨어 공격을 처음부터 끝까지 혼자 수행한 첫 번째 문서화된 사례다.
지난달 우리 팀은 고객 응대 챗봇의 시스템 프롬프트에 문장 두 개를 추가했다 — 그게 전부였다. PR을 올리고, 유닛 테스트 187개가 돌았고, 통합 테스트도 통과했고, 코드 리뷰도 받았다.