Job simples no Talend para ordenação de dados
Hoje vamos criar um job no talend, para ler um arquivo e fazer a ordenação dos dados.
Requisitos
Fazer Download do arquivo Aula_2.zip < Click Aqui >
Esse arquivo será usado para carregar no talend.
Criando o Job
No repositório, ao lado direito do talend click com o botão direito em Job Design Create Job
Vamos criar o job com o nome ordenacao_dados, depois click em finish
Vamos usar um componente de entrada para inserir os dados no talend, no lado direito do talend tem o Pallete, procure o componente tFileInputDelimited e arraste para a o Job Designer.
No Job Designer click duas vezes no componente para exibir a suas propriedades
No campo File Name/Input Strem informe o local onde foi descompactado os arquivos do Aula_2 e selecione o arquivo customer.csv
Agora vamos alterar os metadados, para isso vamos Edit schema e adicione 9 linhas, essas linhas serão configuradas de acordo com o arquivo.
Na column vamos renomear as colunas igual ao do arquivo, o campo Key informa qual o campo será a chave no campo Type vamos informar o tipo de dados, como estamos carregando de um arquivo csv, vamos considerar todos como string.
No campo Length é definido o tamanho do campo, vamos usar o mesmo tamanho de campo do arquivo customer.csv
Após editar o schema, click em OK
Agora vamos adicionar o componente de saída tFileOutputDelimited, depois no Job Designer click duas vezes no componente para exibir a suas propriedades
No componente de saída, vamos definir o nome do arquivo para temp.csv, não esquecendo de incluir o cabeçalho no arquivo.
Agora vamos trazer o componente tSortRow, para isso procure o aplicativo no Pallete, depois de trazer o componente, deve ser feito a ligação entre eles, para isso click com o botão direito no primeiro componente tFileInputDelimited na tela de pop up, va na opção rowmain.
Agora vamos ligar o componente tSortRow ao componente tFileOutputDelimited, usando o mesmo método usado anteriormente.
Depois de ligar os componentes, devemos configurar a ordenação dos dados de saída, então de um click duplo no componente tSortRow, e crie duas colunas de ordenação, idState e id, como na imagem abaixo.
O Job está praticamente pronto, porem como nosso objetivo é substituir o arquivo existente e não criar um novo, vamos inserir mais um componente para isso.
Substituição do arquivo.
Para substituir o arquivo de origem insira o componente tFileCopy e faça a ligação do componente tFileInputDelimited com ele. Porem essa ligação vai ser feita com outro conector, o conector trigger com o OnSubjobOk.
De um click duplo no componente tFileCopy para configurar o componente.
Essas configurações permitem substituir o arquivo fonte pelo arquivo tratado, configure como na imagem abaixo;
File Name: Informar o local do arquivo Temp.cvs
Diretório de destino: Informar o diretório onde ficar o arquivo customer.csv
Nome do arquivo de destino: coloque o customer.csv
Pressione Ctrl + S para salvar. Depois pressione F6 para executá-lo. A exibição de execução é exibida na parte inferior do talend
O Job está funcionando, e tem duas tarefas básicas, ordenar um arquivo e gerar um temporário e substituir o arquivo fonte pelo temporário.
Como uma boa pratica, vamos documentar os componentes do Job, click na área azul do componente coloque a função do componente.
Se olhar o arquivo customer,csv vai perceber que a ordenação dos dados mudou, os campos usados ordenação nesse arquivo, foram de exemplo, aconselho mudar a ordenação e observar a mudança no aquivo.
Para mais tutoriais acesse o site: https://www.tutorpro.com.br/
BY Alexandre Menezes, Analista de Business Intelligence
© Cetax Consultoria 2016