카프카
카프카-완벽가이드-코어편 카프카는 프로듀서, 브로커 > 토픽 > 파티션, 컨수머 구조로 되어있다. 프로듀서에서 보내는 메시지는 토픽, 파티션(Optional), Key(Optional), Value, Header(Optional) 로 구성되어 있다. 자바나 파이썬 등 여러가지 프로그래밍 언어에서 send() 명령어를 입력하게 되면, 해당 메시지는 시리얼 라이저에 의해 바이트화 되고, 파티셔너에 의해 어떤 토픽에 어떤 파티션으로 전달될지 결정된다. 마지막으로 sender에 의해 해당 목적지로 보내지게 된다. 여기서 참 신기한게, 보내는 역할을 하는 sender는 기존의 파티셔너, 시리얼라이저와는 다른 쓰레드로 동작한다. 또 여기서 sender는 일정한 배치사이즈의 데이터가 들어오면 한번에 데이터를 보내게 ..
2022. 10. 3.
