'두바이 쫀득 쿠키'를 영어로 뭐라 적어야 하나. Google Translate에 넣으면 "Dubai chewy cookie"가 나온다.
지난주 금요일, Sysdig 위협 연구팀이 JADEPUFFER 분석 보고서를 공개했다. LLM 에이전트가 랜섬웨어 공격을 처음부터 끝까지 혼자 수행한 첫 번째 문서화된 사례다.
지난달 우리 팀은 고객 응대 챗봇의 시스템 프롬프트에 문장 두 개를 추가했다 — 그게 전부였다. PR을 올리고, 유닛 테스트 187개가 돌았고, 통합 테스트도 통과했고, 코드 리뷰도 받았다.
지난 3월, 우리 팀은 모든 API 요청을 Claude Sonnet 하나로 보내던 구조에서 하이브리드 분배 구조로 전환했다. 단순 분류, 키워드 추출, 포맷 변환 같은 요청은 Haiku급 소형 모델로, 복잡한 추론이 필요한 건만 프론티어 모델로 보내는 방식이다.
API 토큰 비용이 월 2,200만 원을 넘기 시작하면 누구나 같은 생각을 한다. "이거 직접 돌리면 절반도 안 되지 않나?
시맨틱 캐시를 처음 붙였을 때 가장 먼저 한 일은 대시보드에 히트율 그래프를 올린 거였다. 첫 주 22%, 둘째 주 31%, 셋째 주 38%.
Anthropic이 5월 28일 Opus 4.8을 출시하면서 같이 내놓은 게 하나 있다.
지난 달 우리 팀 슬랙에 올라온 메시지: "파싱 에러 0건 달성했습니다 🎉". Structured output 도입 후 3주, JSON 깨짐으로 인한 재시도가 완전히 사라졌다.
LLM에 "JSON으로 응답해"라고 말하면 진짜 JSON이 나올까. 2024년까지의 대답은 "글쎄"였다.
컨텍스트 윈도우만 충분히 길면 RAG가 필요 없어진다는 말, 한 번쯤 들어봤을 거다. 마이애미의 스타트업 Subquadratic이 그 약속을 현실로 만들겠다며 12M 토큰짜리 LLM을 공개했다.
프롬프트 하나를 바꿨다. 기존 버전 대비 응답 품질이 나아졌는지 확인하려고 A/B 테스트를 세팅했다.
파인튜닝 완료 보고서에는 보통 벤치마크 점수, 학습 곡선 그래프, 비용 절감 예상치가 깔끔하게 정리되어 있다. 문제는 그 보고서가 나온 다음 날부터 모델이 늙기 시작한다는 거다.
운영 3개월 차에 고객이 챗봇으로부터 경쟁사 내부 전략 문서를 요약받았다는 제보가 들어왔다. 입력 필터, 출력 검증, PII 마스킹 — 안전장치는 분명히 달아놨는데.
RAG 파이프라인의 레이턴시와 비용에 지친 팀 리드가 어느 날 회의에서 꺼낸 카드가 합성 데이터 파인튜닝이었다. "고품질 데이터 500개면 7B 모델을 도메인 전문가로 만들 수 있다"는 블로그 글을 레퍼런스로 달아놨다.
API 비용이 월 800만 원을 찍었을 때, 팀에서 가장 먼저 꺼낸 카드가 시맨틱 캐시였다. "비슷한 질문이면 캐시된 답을 돌려주면 되지 않냐"는 논리는 깔끔했다.
Docker Desktop 4.42에서 Model Runner에 OpenAI Responses API가 추가됐다.
작년 말, 우리 팀은 GPT-4o의 Structured Output를 도입하면서 응답 파싱 코드 300줄을 삭제했다. JSON 파싱 에러?