뭉게구름 엔지니어 되는 과정

사전 준비k8s 클러스터helm 설치1. Strimzi-Kafka-Operator 설치저 같은 경우 Helm 차트를 사용해서 Operator 설치를 해주었습니다.설치가 완료되면, Strimzi Operator와 CRD 모두 설치가 됩니다.다만, 업그레이드가 필요한 경우 CRD는 수동으로 적용 시켜주어야 합니다.helm install my-strimzi-kafka-operator oci://quay.io/strimzi-helm/strimzi-kafka-operator --version 0.47.0현재는 최신 버전인 0.47.0 버전으로 설치를 했지만, 이전 버전으로 설치를 했다면 아래와 같이 업그레이들 해주어야 합니다.번외, Upgrade 과정CRD 수동 갱신 (0.35 -> 0.47)kubectl app..

이번 회사에서 Kafka를 사용하게 되어서 알아보게 되었습니다.참고 문서https://strimzi.io/docs/operators/latest/overviewKafka 란?Apache Kafka는 대규모 실시간 데이터 스트리밍 처리 시스템으로, LinkedIn에서 개발되어 현재는 Apache Software Foundation의 오픈소스로 관리되고 있습니다.Kafka는 분산형 메시지 브로커 시스템으로, 실시간 로그 수집, 데이터 파이프라인, 스트리밍 분석 등 다양한 곳에서 사용됩니다.Kafka를 사용하게 된 계기문제 상황현재 Chat 기반 문서 분석 Ai-Agent를 개발하고 있는데, Backend 서버에서 fetch를 통해 AI 분석 서버와 직접 통신이 통신 구조에서 Backend의 힙 메모리 사용량..

Apache Kafka 란?Apache Kafka는 고성능의 분산 메시징 시스템으로, 대규모의 데이터를 실시간으로 처리하고 전달하는 데 최적화된 플랫폼 입니다.흔히 실시간 로그 수집, 이벤트 스트리밍, 데이터 파이프라인 구성 등에 사용됩니다.Kafka 구성Kafka는 고성능 TCP 네트워크 프로토콜을 통해 통신하는 서버 와 클라이언트 로 구성된 분산 시스템입니다. 서버 : Kafka는 하나 이상의 서버로 구성된 클러스터로 실행됩니다. 서버 중 일부는 브로커라고 하는 스토리지 계층을 구성합니다. 다른 서버는 Kafka Connect를 실행하여 이벤트 스트림으로 데이터를 지속적으로 가져오고 내보내 Kafka를 관계형 데이터베이스 및 다른 Kafka 클러스터와 같은 기존 시스템과 통합합니다. Kafka 클러스..