사내에서 운영하는 수십 개의 서비스는, 각 게임 타이틀마다 독립적인 서비스 컨테이너를 사용하는 구조였습니다. 이러한 구조는 타이틀별로 서비스가 분리되어 있어 이해하기 쉽고, 장애 포인트를 파악하기 쉬운 장점이 있습니다. 하지만 모든 타이틀이 같은 수준의 트래픽을 가지는 것은 아닙니다. 일부 메인 타이틀이 매우 높은 트래픽을 가지고, 나머지 게임 타이틀은 매우 적은 트래픽을 가지지만 그 역시 기능 요소별로 각각 별도 컨테이너를 유지해야 했습니다. 그 결과 다음과 같은 문제가 점점 커졌습니다.관리해야 할 서비스 수가 지나치게 많아짐운영 포인트가 늘어나 배포와 모니터링이 복잡해짐실제 사용량이 낮은 타이틀도 동일한 수준의 리소스를 점유함인프라 비용과 운영 난이도가 증가저희 팀은 이런 문제를 줄이기 위해, 관리 ..

0. TL;DR에이전트를 업무에 쓰다 보면 반복적으로 주입해야 하는 공통 컨텍스트가 있습니다.이 반복을 줄이기 위해 Skill을 만들고 공유했습니다.그 결과 업무 효율, 재사용성, 팀 내 표준화가 좋아졌습니다. 1. 서론최근 회사에서 CLI 기반 에이전트를 활용하며 에이전트를 어떻게 더 잘 쓸가에 대한 고민이 많습니다. OpenCode(oh-my-opencode)를 활용해서 여러 병렬 에이전트, 최적화 모델을 사용해보거나.처음보는 Repo의 코드베이스를 읽고 제가 잘모르는 것을 저에게 설명해주는 질의응답 도우미로 사용합니다. 다양한 업무를 핸들링하면서 저는 한달 전부터 Agent Skill에 대한 관심을 가졌고, 매 세션마다 AI에게 반복적으로 말하거나 설명하는 공통 컨텍스트를 줄이고 싶다는 생각을 했습..

최근에 3개월 인턴이 종료되었습니다. 이전 회고에서도 다루었듯 많은 일들이 있었는데요. 해당 일을 한 내용을 보면, 데이터 엔지니어링, SRE, DevOps 계열의 일들을 해왔지만.... 인턴 전환에 성공했습니다! ㅎㅎ 하지만 다른 저의 커리어에 변경 사항도 있는데요. 게임 서버 개발자로 일하게 되었습니다...??또 이게 변경된 이유가 여차저차 많은 내용이 있었는데.. 결국 이렇게 되었습니다. NestJS, MongoDB를 메인 스택으로 활용해서 개발하고 있어요. 바쁘다는 핑계로 글쓰기를 게을리 하는 중입니다. 🥲최근에 글쓰기에 부담을 좀 느낀 것 같은데. 좀 가볍게 자주 써보도록 노력해볼게요. 임시저장한 글목록만 꽉차고 있는데 정작 게재하지 못하고 있네요. 기회가 된다면 NestJS, Mongo..

최근 사내 로그 관리 시스템인 ELK(Elasticsearch, Logstash, Kibana + APM) 스택을 7.2 버전에서 9.2.3 버전으로 마이그레이션 했습니다. 메이저 버전 업그레이드를 9버전으로 바로 넘어갔습니다. 이 업무를 진행하게된 이유는 레거시와 인프라 아키텍처 최적화의 목적으로 사용되지 않는 서비스, 데이터를 모두 정리하기 위해서입니다. 이번 마이그레이션 과정에서 겪은 변경점들과 이를 통해 얻게 된 이점에 대해 기록해보려고 합니다!1. Filebeat 변경점: Log -> Filestreamfilebeat의 type이 log Deprecated되며 9 메이저 버전에서는 filestream 방식이 강하게 권장되었습니다. 9.x 환경에서는 filestream 방식으로 기본값이 변경되었습..

1. 서론입사 후 마주한 회사의 내부 서비스 인프라 환경에서 표준화되지 않은 배포 방식은 유지보수를 어렵게 만들고 있었습니다. 히스토리는 관리되지 않았고, 어떤 수정사항이 호스트 서버에서 직접 발생되었는지 관리가 되지 못했습니다. 기존 문제는 크게 3가지 였습니다. 1. 표준화되지 않은 배포 방법: 쉘 스크립트로 베이스 이미지를 사용해 컨테이너를 띄우고 git pull로 코드를 가져옴2. 방치된 환경: 더이상 유지보수가 안될 정도의 오래된 베이스 이미지 사용3. 의존성 문제: 매우 오래되거나, 문제있는 플러그인을 사용하며 플러그인 버전이 관리되지 않음. 호스트 서버에 특정 디렉토리에 강하게 커플링을 시켜놔 옮기기도 어려움. 위와 같은 문제점 말고도 각각의 서비스 종류만큼의 각각의 문제점이 매우 많았습니..

회사에서 HDFS+Impala 대신에 Starrocks라는 최신 MPP 기술로 마이그레이션을 진행하고 있습니다. (내가 안함)데이터 엔지니어링 쪽에서 꽤 신기술이긴 한데, 기존 데이터 레이크하우스 기술과 뭐가 다른지 개인적으로 정리해보려 합니다. 일단 핵심적으로 Starrocks와 같은 다른 OLAP 엔진과 차이점은 아래의 주요기능을 보면 알 수 있습니다. StarRocks의 주요 기능고성능 JOIN: 빅데이터 분석에서 불가피하게 사용되던 플랫 테이블 구조에서 벗어날 수 있습니다.고성능 단일 테이블 쿼리: 실제 분석 워크로드를 기반으로 한 자체 테스트에서도 Clickhouse보다 뛰어난 성능을 보였습니다.클라우드 데이터베이스로서의 기능: 오토 스케일링, 분산 스토리지를 통한 연산과 스토리지 분리가 가능합..