뭉게구름 엔지니어 되는 과정

이 글은 Must Have Tucker의 Go 언어 프로그래밍 책을 참고하여 작성하였으며, 개인적인 학습 내용을 정리한 글입니다.변수란?프로그래밍에서 변수(variable)는 값을 저장하는 메모리 공간을 가리키는 이름 입니다.따라서 변수를 이용하면 쉽고 효과적으로 메모리에 있는 데이터를 조작할 수 있습니다.변수 선언먼저 변수를 사용하려면 변수를 선언해야 합니다.변수 선언은 컴퓨터에게 값을 저장할 공간을 마련하도록 명령을 내립니다. 이것을 메모리 할당이라고도 부릅니다.변수 선언하는 방법을 보면 아래와 같습니다.var a int = 10 1 2 3 4 1. 변수 선언 키워드: var는 변수의 영문인 variable의 약자로서 변수 선언을 알리는 키워드 입니다.2. 변수명: var 뒤에 a 라고 이름..

Go 언어 특징Go 언어의 핵심 특징은 아래와 같습니다."단순한 문법 + 내장된 동시성 + 빠른 컴파일 + 단일 바이너리 배포 + GC 언어"그래서 다른 언어들과 비교를 해보자면,기능GoJavaPythonJavaScriptC++클래스(Class)❌ 없음 (struct + method 조합)⭕ 클래스 기반 OOP⭕ 클래스 존재⭕ 클래스 문법 제공(프로토타입 기반)⭕ 지원상속(Inheritance)❌ 없음 (Embedding 사용)⭕ 단일 상속⭕ 다중 상속⭕ 단일 상속⭕ 다중 상속메서드(Method)⭕ struct에 메서드 바인딩⭕ 클래스 메서드⭕ 인스턴스/클래스 메서드⭕ prototype 기반 메서드⭕ 클래스/구조체 메서드인터페이스(Interface)⭕ 인터페이스(암묵적 구현)⭕ 명시적 implements..

Go 언어 공부하게 된 계기회사에서 AI Gateway를 사용하게 되어서 Bifrost 라는 AI Gateway 플랫폼을 살펴보던 와중,해당 플랫폼이 Go 언어로 작성이 되어서 Go 언어를 공부하게 되었습니다.Go 언어 설치(Mac 환경)터미널에서 아래의 명령어로 설치해주면 됩니다.# 설치 명령어brew install go# 설치확인go versionHello World 찍어보기어떤 언어든 맨 처음 배울 때, Hello World 찍어보는 것은 국룰 인 것 같습니다.우선 터미널에서 hello 폴더를 생성해주고 해당 폴더로 이동해줍니다.mkdir hellocd hello그리고 hello.go 파일을 생성하고 아래와 같이 적어줍니다.vi hello.go---package mainimport "fmt"func..

이번엔 Lambda Layer에 대해 알아보겠습니다.Lambda Layer 란 무엇인가?AWS Lambda Layer는 여러 Lambda 함수에서 공통으로 사용하는 라이브러리·패키지·코드·실행 바이너리 등을 분리하여 재사용할 수 있는 기능 입니다.🔥 Layer를 사용하는 이유여러 Lambda에서 같은 패키지를 중복 포함하지 않아도 됨Lambda 함수 ZIP 파일이 가벼워짐배포 속도 개선공통 라이브러리를 한 곳에서 관리 가능아키텍처가 정리되며 유지보수가 쉬워짐💡 Layer가 Lambda에서 로딩되는 경로Node.js의 경우 Layer는 Lambda 실행 환경에서 다음과 같은 경로로 마운트 됩니다./opt/nodejs/node_modules/따라서, Layer ZIP 파일을 만들 때 내부 구조도 node..

기존 문제 상황Github Repository에 코드를 올리고 Github Action을 사용해서 Docker 이미지 빌드하고 ECR에 Push 해서 사용을 했는데,매 번 이미지 빌드를 할 때 마다 시간이 너무 오래걸렸음.이에 따라 어떻게 하면 시간이 줄일 수 있는 지 방법을 찾아보다가BuildKit + buildx + GitHub Actions 캐시사용하는 방법을 알게되어 적용 해봤습니다.왜 BuildKit + buildx 캐시를 적용하면 빌드 속도가 빨라질까?Docker 빌드는 내부적으로 여러 단계로 나뉘어 실행이 됩니다.Dockerfile의 각 명령어(FROM, RUN, COPY, ENV 등)는 "레이어(layer)" 라는 형태로 쌓이고,이 레이어들은 모두 해시(hash) 값으로 관리됩니다.기존 빌..

이번엔 Bitnami PostgreSQL-HA 설치를 해보겠습니다.사전 준비k8s 클러스터Helm 설치HA(PostgreSQL High Availability)란 무엇인가?PostgreSQL은 기본적으로 단일 노드로 동작하지만, 운영 환경에서는 장애 발생 시 서비스 중단이 발생할 수 있습니다.이를 방지하기 위해 Primary(주 서버)와 Replica(보조 서버)를 구성하여, 장애 시 자동으로 Replica가 Primary로 승격되는 고가용성(High Availability, HA) 구성이 필요합니다.Bitnami의 postgresql-ha 차트는 이러한 HA 구성을 손쉽게 구현할 수 있도록 도와주는 Helm Chart입니다.설치이제부터 설치해보도록 하겠습니다.https://artifacthub.io/p..

이전 글에서 Thanos 사용하여 Prometheus가 수집한 데이터를 s3 버킷으로 백업을 시켯습니다.[https://ksh-cloud.tistory.com/184](Prometheus 가 수집한 메트릭 장기간 보관하기 — s3, Thanos)그런데, 이 백업 시킨 과거의 데이터는 그냥 쿼리를 해서 사용을 할 수가 없습니다.이러한 문제를 해결하기 위해, 아래 과정을 거칩니다.Thanos Store Gateway가 S3 블록을 읽어들이도록 설정Querier가 Store Gateway(+Sidecar) 를 “store API”로 붙도록 설정Grafana 데이터 소스를 Querier 로 교체Thanos Store Gateway 란?🎯 “과거 데이터를 다시 쿼리하기 위한 리더(reader)”Thanos St..

Prometheus로 수집한 데이터를 s3로 전송시키려면 Thanos 라는 사이드카를 사용해야 합니다.저는 kube-prometheus-stack Helm 차트를 사용해서 설치를 했기 때문에,Thanos 사이드카를 사용하기 위해 values.yaml 파일에서 내용을 수정해주도록 하겠습니다.사전 준비먼저 prometheus와 연결 시킬 pv가 필요하기 때문에 저는 EKS 클러스터에 ebs-csi-driver를 추가하여 스토리지 클래스를 생성해주었습니다.Prometheus가 수집한 데이터를 저장하기 위한 s3 버킷 생성설정Thanos 사이드카를 포함하도록 values.yaml 설정 변경prometheus: prometheusSpec: disableCompaction: true storage..

MSK도 Prometheus와 연결을 하여 메트릭 수집을 할 수 있습니다. 그러기 위해선 먼저 해주어야 할 과정이 있습니다.MSK 모니터링 편집에서 오픈 모니터링 Enable 입니다. AWS 콘솔에 접속해서 MSK 클러스터에 들어 간 후, 우측 상단의 작업 박스를 클릭하고 모니터링 편집 을 클릭해서,아래와 같이 오픈 모니터링 활성화를 해주면 됩니다.그리고 이제 Prometheus 설정에 아래와 같이 추가를 해준 후 적용을 해주면 됩니다.(저 같은 경우 Helm 차트를 이용하여 kube-prometheus-stack을 설치하여 values.yaml 파일에서 설정을 변경해주었습니다.)prometheus: prometheusSpec: additionalScrapeConfigs: - job_na..

Tempo로 서비스 간 호출 관계(Service Graph)를 시각화 하려면 단순히 Tempo 하나만 설치하면 끝이 아닙니다.Trace → Metric 변환 → Grafana 시각화 의 전체 파이프라인을 이해해야 합니다.아키텍처를 살펴보면 아래와 같습니다.Tempo가 하는 일Tempo는 Trace 저장소 입니다.각 서비스(ex: API 서버, 프론트 등) 에서 발생한 Trace / Span 데이터를 OLTP 포맷으로 받아 저장합니다.Trace = 한 요청의 전체 호출 흐름 (예: Front → API → DB)Span = 각각의 단계 (예: API → DB 호출)Tempo는 이 데이터들을 시계열로 저장하고,Grafana에서 TraceQL로 검색하거나 트리뷰로 볼 수 있습니다.👉 이것이 “분산 트레이싱..