뭉게구름 엔지니어 되는 과정

문제 상황매일 AWS 비용을 확인하는데, 평소에 17달러 씩 나가던 EC2-기타 비용이 갑자기 47.64달러 씩 나가길래 사용량 유형에서 자세히 살펴보니, NatGateway-Bytes 비용이 급증한 걸 확인했습니다.이에 따라 Cloudwatch에서 NAT Gateway 가 어디로 많이 통신을 하는지 VPC Flow 로그에서 아래 쿼리로 확인을 해보니,fields interfaceId, srcAddr, dstAddr, bytes, action| filter interfaceId = '' and action = 'ACCEPT'| stats sum(bytes) as totalBytes by srcAddr| sort totalBytes desc| limit 20---결과값3.5.x.x ..

이번엔 Lambda Layer에 대해 알아보겠습니다.Lambda Layer 란 무엇인가?AWS Lambda Layer는 여러 Lambda 함수에서 공통으로 사용하는 라이브러리·패키지·코드·실행 바이너리 등을 분리하여 재사용할 수 있는 기능 입니다.🔥 Layer를 사용하는 이유여러 Lambda에서 같은 패키지를 중복 포함하지 않아도 됨Lambda 함수 ZIP 파일이 가벼워짐배포 속도 개선공통 라이브러리를 한 곳에서 관리 가능아키텍처가 정리되며 유지보수가 쉬워짐💡 Layer가 Lambda에서 로딩되는 경로Node.js의 경우 Layer는 Lambda 실행 환경에서 다음과 같은 경로로 마운트 됩니다./opt/nodejs/node_modules/따라서, Layer ZIP 파일을 만들 때 내부 구조도 node..

Packer 란?Packer는 여러 클라우드 및 가상화 환경에서 사용할 수 있는 머신 이미지를 자동으로 빌드해주는 도구 입니다.Packer를 사용하게된 계기Kubernetes 환경에서 Job 리소스를 사용하다 보면, 요청이 들어올 때마다 새로운 Pod가 생성됩니다.이 과정에서 노드가 새로 생성되고, 필요한 컨테이너 이미지를 내려받은 뒤에야 Pod가 실행되기 때문에 시간이 오래 걸리는 문제가 있었습니다.이 문제를 해결하기 위해, 노드가 시작될 때 이미 필요한 컨테이너 이미지가 포함된 상태로 준비되어 있으면 좋겠다고 생각했습니다.이를 위해 선택한 도구가 HashiCorp Packer 입니다.Packer를 사용하면 커스텀 베이스 노드 이미지를 빌드할 수 있고, 여기에 Pod 실행에 필요한 이미지를 미리 포함시..

사전 준비EKS 클러스터EKS의 노드그룹Helm1. Karpenter 설치먼저 Karpenter를 설치하기 전, Karpenter-Controller가 사용할 IRSA가 필요합니다.1-1. IRSA 생성을 위한 IAM Role 생성먼저 EKS의 ID 제공업체 확인해줍니다.# 클러스터 정보 확인aws eks describe-cluster \ --name \ --query "cluster.identity.oidc.issuer" \ --output text이제 Role 생성할 때 필요한 신뢰 관계를 json 파일로 만들어 줍니다.cat > role.json :oidc-provider/oidc.eks..amazonaws.com/id/" }, "Action": "sts:AssumeRole..

먼저 AWS, GCP 모두 VPC, 서브넷 등 VPN 연결에 필요한 자원들은 생성 되었다는 가정 하에 진행하겠습니다.(GCP) VPN 게이트웨이 및 Cloud Router 생성1. (GCP) Cloud VPN 게이트웨이 생성VPN 게이트웨이 이름: 원하는 이름 적으면 됩니다.네트워크: AWS와 연결하고자 하는 VPC 네트워크 선택해주시면 됩니다.리전: VPC가 존재하는 리전을 선택해주면 됩니다.나머지 조건들은 위 사진과 동일하게 하고 난 뒤, 만들기 버튼을 눌러주면 됩니다. 2. (GCP) Cloud Router 생성이름: 원하는 이름을 넣으면 됩니다.네트워크: AWS와 연결하고자 하는 VPC 네트워크 선택해주시면 됩니다.리전: VPC가 존재하는 리전을 선택해주면 됩니다.Cloud Router ASN: ..

1. VPC CNI 버전 및 Nitro 인스턴스 확인VPC CNI 버전이 1.9.0 이상이어야 하며, 워커 노드의 인스턴스 타입이 Nitro 기반 인스턴스여야 합니다.# VPC CNI 버전 확인$ kubectl describe daemonset aws-node -n kube-system | grep Image---결과Image: 602401143452.dkr.ecr.ap-northeast-1.amazonaws.com/amazon-k8s-cni-init:v1.19.2-eksbuild.1Image: 602401143452.dkr.ecr.ap-northeast-1.amazonaws.com/amazon-k8s-cni:v1.19.2-eksbuild.1Image: 602401143452...

✅ AWS Secrets Manager 란?AWS Secrets Manager는 애플리케이션, 서비스, 사용자 계정이 사용하는 민감한 정보를 안전하게 저장, 관리, 검색할 수 있도록 해주는 서비스입니다. Secret Manager를 사용해, EKS 클러스터에서 Secret 리소스로 사용하면 아래와 같은 장점이 있습니다. 🔐 강력한 보안 – KMS 기반 암호화 + IAM 권한 제어🔁 자동 시크릿 로테이션 – DB 자격증명 등 자동 갱신📦 중앙 집중형 관리 – 여러 클러스터 간 시크릿 공유 및 일원화📜 감사 로깅 지원 – CloudTrail로 접근 이력 추적 가능🚫 애플리케이션 재배포 없이 시크릿 갱신 가능⚙️ 기존 AWS 리소스와의 통합 용이 – RDS, Lambda 등과 연동 최적화 이제 ..

참고 문서https://docs.aws.amazon.com/ko_kr/eks/latest/userguide/lbc-helm.html 사전 준비 0-1. ALB가 생성될 Public 서브넷에 태그 추가 0-2. EC2 메타데이터 설정ALB Controller를 설치해주기 위해서는 먼저 ALB Controller가 설치될 EC2 인스턴스의 메타데이터에 접근이 가능 해야합니다.따라서 EC2 메타데이터에 접근 할 수 있도록 설정을 해줍니다.저 같은 경우는 Terraform을 사용해서 EC2 노드 그룹을 생성해서 아래와 같이 설정을 해주었습니다.resource "aws_launch_template" "dev_outcode_cpu_lt" { name_prefix = "dev-outcode-cpu-lt-" i..

RDS와 EC2 연결 우선 DB를 위한 서브넷과 보안 그룹을 생성을 해야한다. 그 후에 아래와 같이 연결을 해준다. window, linux에서 CLI로 aws 조작하기 Window 우선 아래 링크로 들어가서 AWSCLIV2.msi 파일을 다운 받아서 설치를 해준다. https://awscli.amazonaws.com/AWSCLIV2.msi 계정을 눌러서 보안 자격 증명을 선택하고 엑세스 키 ID와 저장해둔 password를 확인한다. 그 후 window powershell에 가서 aws configure 명령을 치고 아래와 같이 정보를 입력한다. 그리고 아래와 같이 명령어를 사용하면 정보가 입력된 것을 확인할 수 있다. 이렇게 설정을 완료시키면 window powershell에서 명령어를 입력해서 aw..

피어링 연결이란? VPC 피어링 연결은 프라이빗 IPv4 주소 또는 IPv6 주소를 사용하여 두 VPC 간에 트래픽을 라우팅할 수 있도록 하기 위한 두 VPC 사이의 네트워킹 연결이다. 피어링 연결 작업 피어링할 로컬 VPC 선택에 피어링 통신을 하고 싶은 상대방의 VPC를 넣어주어야 한다. ex) 나상대방 10.240.0.0/16 10.250.0.0/16 피어링할 로컬 VPC 선택 => 10.250.0.0/16의 VPC ID 선택 VPC ID(수락자)에는 피어링 통신을 요청하는 자신의 VPC ID를 선택해주면 된다. ex) 나상대방 10.240.0.0/16 10.250.0.0/16 VPC ID(수락자) => 10.240.0.0/16의 VPC ID선택 피어링 연결을 하고 난 후에 요청 수락을 꼭 해주어야..