지난달 AWS 청구서 보고 팀 슬랙에 "이거 뭐임?" 올린 데브옵스 엔지니어가 한둘이 아닐 거다.
2017년에 나왔고, 써본 사람 절반은 "절대 다시 안 쓴다"고 했던 그 프로젝트가 8월 17일 CNCF 졸업장을 받았다. 6,600명 컨트리뷰터, 1,000개 넘는 조직, PyPI 다운로드 2.
K8s 1.37 릴리스 노트 하단, Deprecations and Removals 섹션을 읽다가 한 줄에 눈이 멈췄다.
ArgoCD 3.x로 올린 다음 날 아침, 슬랙 #alerts 채널에 1,247개의 메시지가 쌓여 있었다.
8-GPU 노드에서 GPU 한 장이 ECC 에러를 뿜기 시작하면 선택지가 두 개였다. 노드에 taint를 걸어서 통째로 빼거나, 그냥 모른 척하거나.
금요일 새벽, RDS 메이저 버전 업그레이드를 걸어놓고 퇴근했다. 토요일 아침에 일어나보니 Slack 알림 247개.
"GPU 비용 얼마예요?" 클러스터에 GPU 노드 올려놓고 AI 모델 서빙하는 팀이라면 이 질문을 매달 받는다.
containerd의 CRI 플러그인에서 CVE 5건이 한꺼번에 터졌다. 그중 하나는 Dockerfile의 LABEL 한 줄로 호스트에서 임의 명령을 실행할 수 있는 취약점이다.
우리 팀도 올해 초 Backstage를 도입했다. 서비스 카탈로그에 마이크로서비스 37개를 등록하고, 골든 패스 템플릿 3개를 만들고, 위키에 "플랫폼 엔지니어링 도입 완료" 문서를 올렸다.
A100 8장이 꽂힌 노드 4대. 그 중 2대에만 학습 잡이 몰려있고, 나머지 2대의 카드는 전력만 먹으며 대기 중이다.
노드 수백 대 클러스터에서 kubectl get pods -A를 치면, 그 요청은 API 서버를 거쳐 etcd까지 내려간다. 이 데이터스토어는 결과를 전부 메모리에 올린 다음 한 덩어리로 응답한다.
"우리 클러스터에 GPU 있으니까 AI 돌릴 수 있죠?" — 이 말을 들을 때마다 속이 답답하다.
AWS든 GCP든, 결국 남의 서버다. 내 컨테이너가 그 위에서 돌아가는 동안 하이퍼바이저 관리자가 메모리를 덤프할 수 있다는 사실 — 대부분의 팀이 의식적으로 무시하고 살아가는 불편한 전제다.
7월 14일 오후 12시 37분(ET), Coinbase 엔지니어가 "저위험" 설정 변경을 프로덕션 K8s 클러스터에 밀어 넣었다. 새 서비스 배포 모델 마이그레이션의 일부였고, 변경 자체는 루틴이었다.
클러스터에 A100 8장을 꽂아놓고 nvidia.com/gpu: 1 한 줄로 파드를 띄우던 시절이 있었다.