Como criar um pipeline de ingestão em Big Data
Fábio Gomes Jardim
Vasta experiência na área de TI em projetos para grandes empresas. Especialista em plataforma de dados com vivência em desenvolvimento de sistemas e infraestrutura. Nos últimos anos atuando como arquiteto Big Data e de soluções, implementando e desenvolvendo soluções de ingestão, tratamento e processamento de dados real time e batch. Com passagem em grandes players de e-commerce e bancário do brasil, atualmente coordena a equipe de engenharia de dados da Via Varejo, ministra treinamento por sua consultoria, suporta plataforma de dados de algumas startups e é professor na FIAP e FIA.
Como criar um pipeline de ingestão em Big Data
Uma abordagem de como realizar ingestões Batch e Real Time utilizando ferramentas do ecossistema Big Data.
Nessa apresentação mostraremos os principais frameworks utilizados para ingestão, as arquiteturas utilizadas, integração com outras ferramentas e como escolher a ferramenta e a arquitetura correta na ingestão.
Demonstração de um pipeline real time.