개발자 일기장

카프카란? 아파치 카프카는 2011년 미국 링크드인(Linkedin)에서 개발되어 최종적으로 아파치 재단에 오픈소스화 되었고, 현재는 카프카에 집중하기 위해서 Confluent 라는 이름으로 카프카에 대한 서비스를 운영하고있다. 카프카는 RabbitMQ, ZeroMQ 와 함께 자주 거론되는 메세지 큐 시스템이다. 하둡 에코시스템에 포함되어있으며, 대용량의 실시간 로그처리에 특화되어 있는 솔루션이며 데이터를 유실없이 안전하게 전달하는 것이 주목적인 메세지 시스템에서 Fault-Tolerant(기능 장애 상태를 유지하더라도 성능을 저하시키지 않고 가동하는)한 안정적인 아키텍처와 빠른 퍼포먼스로 데이터를 처리할 수 있다. 카프카는 다른 하둡 에코 시스템들과의 호환성도 상당히 높은 편이여서 데이터 수집에서는 카..