Como criar seu primeiro DataFlow com Apache NiFi
Tutorial usando Apache Nifi Nesse artigo vamos mostrar de uma maneira simples como criar um data flow para fazer integração de dados. O Apache Nifi é um projeto Open Source de integração de dados, que integra diversas origens com diversos tipos de destinos, usando bancos de dados, Hadoop (HDFS), Kafka, Spark, entre outros. Conheça mais […]
Tutorial Pyspark e MLlib
Tutorial de PySpark e MLlib Nesse tutorial de Spark vamos utilizar PySpark e MLLib para uma atividade simples de processamento de Machine Learning. Uma breve introdução ao Hadoop e Spark Com o advento do Big Data, faz-se necessário inserir novas técnicas de processamento de dados. Estas técnicas incluem tanto armazenamento, quando velocidade de processamento e […]
Power BI Desktop – Instalando a Ferramenta
Instalando o Power BI Desktop Nesse artigo vamos mostrar um passo a passo para fazer a instalação do Power BI Desktop, uma ferramenta que será utilizada na montagem de dashboards e relatórios. Em um mercado onde a redução de custos é uma prioridade, a Microsoft oferece uma versão gratuita onde cada usuário pode instalar de […]
100 Tutoriais de Programação em Linguagem R
Nesse link abaixo tem uma centena, isso mesmo, 100 tutoriais em linguagem R para se divertir ! https://www.listendata.com/p/r-programming-tutorials.html Quem estiver começando com a linguagem vale a pena iniciar por esse aqui https://www.listendata.com/2014/06/getting-started-with-r.html Mas todos os outros são muito interessantes. A Linguagem R assim como o Python tem se tornado uma das principais linguagens para ciência […]
O que é Data Lake? Conceitos e Definições (2024)
O que é um Data Lake ? Um data lake é uma arquitetura de armazenamento de dados que permite a organização e o gerenciamento de uma vasta quantidade de informações em seu formato bruto, sem a necessidade de categorização ou processamento imediato. Ao contrário de um banco de dados tradicional ou de um data warehouse, […]
Talend: Criando Job simples para ordenação de dados
Job simples no Talend para ordenação de dados Hoje vamos criar um job no talend, para ler um arquivo e fazer a ordenação dos dados. Requisitos Fazer Download do arquivo Aula_2.zip < Click Aqui > Esse arquivo será usado para carregar no talend. Criando o Job No repositório, ao lado direito do talend click com […]
Agregação de Dados com o Talend
Neste artigo “Agregação de Dados com o Talend”, nosso objetivo é fazer a agregação de dois arquivos e extrair um arquivo de saída com dados agregados, para isso vai ser usado 2 arquivos como fonte State.txt e o customer.csv agregação de dados com o talend – Pré-requisitos Fazer o download do arquivo Aula_3.zip < Click […]
Trabalhando com variáveis globais e contexto | Talend
Neste artigo, “Trabalhando com variáveis globais e contexto no Talend”, vamos trabalhar com as variáveis e contextos. Em algumas situações e, dependendo do trabalho que está sendo feito, podemos configurar alguns tipos de execução – Desenvolvimento, produção. PASSO 1 Clique com o botão direito em Job Design Clique em create Job, de o nome do […]
Capturando informações das execuções dos seus trabalhos
Hoje vamos abordar a parte de captura de informações no Log (com um exemplo de erro). Passo 1: Criar Job Vamos criar um novo Job. Clique com o botão direito em: job Design-> create Job. Crie o nome do Job com o nome: Captura_Informacao. Depois clique no botão Finish. Na área do Designer arraste o […]
Talend: Carregamento e Transformação de Dados
Nesse artigo vamos trabalhar a leitura de um arquivo, a transformação dos dados carregados, e a carga em um novo arquivo. Requisitos Fazer o Download do arquivo funcionário.csv << Clique Aqui >> Passo 1: Cria um Job No repositório clique com o botão direito em Job Designer/ create job No repositório em metadata clique com […]