DataEngineering/Kafka
-
KafkaDataEngineering/Kafka 2021. 9. 10. 09:09
데브원영님의 소금과 설탕같은 강의를 듣고 정리하는 글 Kafka 들어가며 (?) hadoop 의 경우 small file에서의 성능이 안 나오기 때문에 배치로 처리를 하고, 실시간성 데이터같은 stream 처리같은 경우엔 (예를 들어서) fluentd+kafka+spark+nosql db 같은 구성으로 메시지를 처리하게 된다. kafka같은 경우 spark가 어쨌든 저장소가 아니기 때문에 하루면 하루 몇 시간이면 몇 시간 이렇게 들어오는 메시지를 "순차적으로" 저장했다가 spark가 만약 죽거나 메시지 끌어가는 subscriber(kafka에서는 consumer가 되겠지?) 가 죽었을 때 offset을 통해 해당 시점으로 다시 돌아갈 수 있도록 한다. 버퍼 역할을 하는 메시징 큐!! 가 kafka의 특징..