여기서는 실제 대규모 서비스에서 자주 활용되는 고급 기능만 선별해 정리했다.

CEP, BroadcastState, Async I/O 심화, Watermark 튜닝, Checkpoint 고급 전략까지 모두 포함한다.

큰 그림

대규모 실시간 파이프라인에서는 아래 기능들이 결정적 역할을 한다.

• CEP (Complex Event Processing)
• Broadcast State (컨트롤/정책 데이터 전파)
• Async I/O 심화 (외부 DB/모델 호출)
• Custom Watermark & Event-time 튜닝
• Side Output 고급 패턴
• Repartitioning 전략
• Checkpoint/Savepoint 고급 설계
• 성능 최적화를 위한 RocksDB & State Schema 설계

아래에 각각의 주요 개념과 실제 적용 사례를 직관적으로 정리했다.

1) CEP — 이벤트 패턴 감지의 핵심

CEP는 “특정 순서·패턴을 만족하는 이벤트 시퀀스 감지” 기능이다.

예제 상황:

• 로그인 → 결제 → 취소 같은 패턴 감지