문제 상황

Prob .1 현재는 메인 서버 (application, Producer, Consumer) , 브로커 서버 (Broker)

두 가지로 서버를 분리 해둠. 기본적인 동작에는 문제가 없으나 Auto Scaling 상황에서 자유롭게 확장 할 수 없을 것으로 판단 됨.

Atuo Scaling 전

Atuo Scaling 후

• 위와 같이 파티션 개수 이상으로 컨슈머가 생성 되면 파티션당 컨슈머는 1개만 배정 받을 수 있기 때문에 사용되지 않는 컨슈머가 생김.
• 컨슈머가 늘어남에 따라 동적으로 Partition 개수를 동적으로 계속 늘리면 브로커가 처리해야 할 리소스가 늘어남.
• 게다가 Kafka는 파이션의 수를 동적으로 늘리기는 쉬우나, 파티션 수를 직접 줄이는 기능을 제공하지 않음.

prob.2

주문 저장 부분을 consumer에서 따로 비동기 처리를 하고 있지만 결국 같은 서버의 리소스를 사용하고 있는 상황 ⇒ 주문 요청에서 제외 됐지만 동일 한 서버에서 일어나는 작업이기 때문에 성능에 영향을 줄 것으로 우려 됨.

해결 방안

Producer 서버와 Consumer 서버를 따로 분리해서 Scale out된 환경에서 Cosumer 개수가 늘어나지 않게 해준다.

Consumer 서버와 Application 서버가 독립적으로 확장 가능(Auto-scaling 가능)