Apache Kafka개요
Apache Kafka
- Apache Software Foundation 의 Scaler 언어로 된 오픈 소스 메세지 브로커 프로젝트
- Open Source Message Broker Project
- 링크드 인에서 개발, 2011년 오픈 소스화
- 2014년 11월 링크드인에서 Kafka를 개발하던 엔지니어들이 Kafka개발에 집중하기 위해 Confluent라는 회사 창립
- 싱시간 데이터 피드를 관리하기 위해 통일된 높은 처리량, 낮은 지연 시간을 지닌 플랫폼 제공
- 많은 회사에서 사용 중
Kafka 사용 전
- End-to-End 연결 방식의 아키텍처
- 데이터 연동의 복잡성 증가 ( HW, 운영체제, 장애 등 )
- 서로 다른 데이터 Pipeline 연결 구조
- 확장이 어려운 구조
- 모든 시스템으로 데이터를 실시간으로 전송하여 처리할 수 있는 시스템이 필요
- 데이터가 많아지더라도 확장이 용이한 시스템 필요
Kafka 데이터 처리 흐름
