Connector가 왜 중요한가?

Flink는 “계산 엔진”일 뿐이고,

실제 업무에서는 **데이터를 어디서 가져오고(Kafka, Filesystem), 어디에 저장하느냐(ClickHouse, Iceberg, JDBC)**가 파이프라인의 본질을 결정함.

즉,

• Flink = 파이프의 중앙 처리부
• Connector = 파이프의 입구와 출구

Connector 이해가 바로 파이프라인 설계 능력임.

Connector 전반 개념 정리

Connector는 크게 두 가지로 나뉨:

Source Connector

• Kafka, Pulsar, Kinesis
• FileSystem(Parquet, CSV), Iceberg
• JDBC(읽기)

Sink Connector

• ClickHouse, JDBC, Kafka, Iceberg
• FileSystem(Parquet/CSV)

중요한 건 Flink Table API/SQL에서는

DDL로 선언만 하면 바로 테이블처럼 다룰 수 있다는 점.