올해 4월 Grafana Labs가 Kubernetes 모니터링 Helm 차트 v4를 릴리스했다. 공식 블로그 제목이 "Biggest update ever"인데, 과장이 아니다.
금요일 오후 5시, 스테이징 환경 정리하려고 tofu destroy를 쳤는데 프로덕션 RDS가 state에 같이 물려 있었다.
7월 16일에 CI가 조용히 깨질 수 있다. GitHub가 actions/checkout의 보안 기본값을 바꿨고, 이게 모든 메이저 버전에 백포트된다.
지난달 공개된 CVE-2026-31431, 일명 "Copy Fail." 한 달이 지났다.
장애가 터졌는데 대시보드가 깨져 있다. 누가 언제 수정했는지 모른다.
deprecated API 경고를 무시해도 당장은 아무 일도 일어나지 않는다. 경고는 조용히 로그에 쌓이고, 클러스터는 잘 돌아가고, 팀은 다른 피처 일감에 바쁘다.
장애가 터지면 다들 영웅이 된다. Slack에 불 이모지가 날아다니고, 핫픽스 PR이 올라가고, 누군가 "resolved" 상태를 찍으면 팀 채널에 박수 이모지가 쏟아진다.
올해 초 팀에서 vLLM으로 자체 LLM 서빙을 올렸다. Grafana 대시보드는 이미 있었고, Prometheus도 잘 돌고 있었으니 모니터링은 금방이라 생각했다.
작년 가을, 우리 팀 리더가 전사 타운홀에서 "Internal Developer Platform을 구축하겠다"고 선언했다. Backstage 기반으로 서비스 카탈로그를 만들고, 셀프서비스 배포를 달고, 개발자 경험을 혁신하겠다고.
npm 패키지의 provenance 배지를 확인하고 안심했던 적 있는가? 5월 11일, 그 안심이 환상이었음을 증명한 공격이 터졌다.
3월 5일, 아마존 북미 주문량이 99% 증발했다. 장애 원인을 추적한 결과, AI 코딩 도구가 생성한 코드 변경이 지목됐다.
새벽 3시, PagerDuty가 울린다. 런북 열고, 대시보드 확인하고, 슬랙에 타임라인 찍고, 롤백 판단하고 — 이 과정을 AI가 전부 해준다면?
금요일 오후 4시 37분, 배포 전 습관적으로 돌린 terraform plan의 출력이 터미널 한 화면을 가득 채웠다. Plan: 0 to add, 3 to change, 27 to destroy.
2026년 3월 12일 오후 2시 17분(UTC). PagerDuty가 14,000건의 알림을 동시에 쏟아냈다.
누군가 프로덕션에서 kubectl edit를 친다. 12분 뒤에야 Argo가 "어, 뭔가 바뀌었네?
OTEL_TRACES_EXPORTER, OTEL_METRICS_EXPORTER, OTEL_EXPORTER_OTLP_ENDPOINT, OTEL_EXPORTER_OTLP_HEADERS — 프로덕션 서비스 하나 계측하려고 환경변수를 십수 개씩 Helm values.
클러스터 80개를 돌리는 팀에서 모니터링 Helm 차트 values.yaml이 1,500줄을 넘어갔다는 제보를 본 적이 있다.
새벽 2시, PagerDuty 알람에 잠이 깼다. 원인은 금방 찾았고 5분 만에 핫픽스를 커밋했다.
새벽 3시 15분에 PagerDuty가 울렸다. API 응답률 0%.