Artigos sobre engenharia e arquitetura de dados: pipelines, ETL, Data Warehouse, Data Lake, Lakehouse, Big Data, Spark e Modern Data Stack.
Artigos sobre engenharia e arquitetura de dados: pipelines, ETL, Data Warehouse, Data Lake, Lakehouse, Big Data, Spark e Modern Data Stack.
O setor de transportes vem experimentando quantidades inéditas de dados capturados de diferentes fontes, como sensores a bordo e pontos de coleta de dados introduzidos [...]
Abordaremos de forma resumida a arquitetura da ferramenta SQL Server Integration Service (SSIS), uma evolução do antigo dts da versão 2000. Essa solução hoje não [...]
Cloud Computing ou Computação em Nuvem, são os serviços contratados de provedores externos (Amazon, Azure, Google, etc) para fornecerem capacidade de processamento ou serviços de [...]
O que é um Data Lake ? Um data lake é uma arquitetura de armazenamento de dados que permite a organização e o gerenciamento de [...]
Engenheiro de Dados: Papel, Habilidades e Futuro Introdução ao Papel do Engenheiro de Dados O Engenheiro de Dados é um profissional central na transformação digital [...]
Job simples no Talend para ordenação de dados Hoje vamos criar um job no talend, para ler um arquivo e fazer a ordenação dos dados. [...]
Neste artigo "Agregação de Dados com o Talend", nosso objetivo é fazer a agregação de dois arquivos e extrair um arquivo de saída com dados [...]
Neste artigo, "Trabalhando com variáveis globais e contexto no Talend", vamos trabalhar com as variáveis e contextos. Em algumas situações e, dependendo do trabalho que [...]
Hoje vamos abordar a parte de captura de informações no Log (com um exemplo de erro). Passo 1: Criar Job Vamos criar um novo Job. [...]
Nesse artigo vamos trabalhar a leitura de um arquivo, a transformação dos dados carregados, e a carga em um novo arquivo. Requisitos Fazer o Download [...]
