Do PostgreSQL ao Data Lake utilizando Kafka|Debezium
Paulo Singaretti
DBA há 10 anos, com experiência em banco de dados Adabas, Oracle, SQL Server em projetos de consultoria, e atualmente trabalhando com PostgreSQL no iFood, num ambiente totalmente diferente com uma cultura DevOps, ambiente 100% na nuvem, e cheio de desafios todos os dias. Interessado quando o assunto é sobre migração, replicação ou streaming de dados, mas também atento ao que acontece no mundo dos dados, It’s all about data.
Do PostgreSQL ao Data Lake utilizando Kafka|Debezium
Será apresentado um overview sobre Zookeeper, Kafka (Broker), Kafka Connect, todos em cluster nesta arquitetura, para então, aprofundar em como transportar dados de tabelas do PostgreSQL utilizando streaming para um data lake (ou S3, Elasticsearch, banco de dados utilizando JDBC, etc.)