O que é IBM Data Stage ?
O IBM DataStage é uma ferramenta que integra dados entre múltiplos sistemas usando uma estrutura paralela de alto desempenho e suporta o gerenciamento de metadados estendidos e a conectividade corporativa.
A plataforma escalável fornece integração mais flexível de todos os tipos de dados, incluindo Big Data de todos os dados (baseado em Hadoop) ou em movimento (baseado em fluxo), em plataformas distribuídas e mainframe.
O Data Stage fornece estes recursos e benefícios:
- Plataforma ETL poderosa e escalável—suporta a coleta, integração e transformação de grandes volumes de dados, com estruturas de dados variando de simples a complexas.
- Suporte a Big Data e Hadoop—permite acessar diretamente Big Data em um sistema de arquivos distribuído e ajuda os clientes de forma mais eficiente a aproveitarem novas origens de dados fornecendo suporte JSON e um novo conector JDBC.
- Integração de dados quase em tempo real—assim como conectividade entre origens de dados e aplicativos.
- Gerenciamento de regras de carga de trabalho e negócios—o ajuda otimizar a utilização de hardware e priorizar tarefas essenciais.
- Facilidade de uso—ajuda a melhorar a velocidade, flexibilidade e efetividade para construção, implementação, atualização e gerenciamento de sua infraestrutura de integração de dados.
- Suporte enriquecido para DB2Z e DB2 for z/OS—incluindo otimização de carregamento de dados para DB2Z e otimização balanceada para DB2 on z/OS
Plataforma ETL poderosa e escalável
- Gerencia dados que chegam quase que em tempo real, assim como dados recebidos periodicamente ou de forma planejada.
- Fornece processamento de alto desempenho de volumes de dados muito grandes.
- Aproveita as capacidades de processamento paralelo de plataformas de hardware com multiprocessores para ajudar a gerenciar o crescimento de volumes de dados e a redução de janelas de lote.
- Suporta origens e destinos de dados heterogêneos em uma única tarefa incluindo arquivos de texto, XML, sistemas ERP, a maioria dos bancos de dados (incluindo bancos de dados particionados), serviços da web e ferramentas de Business Intelligence.
Suporte a Big Data e Hadoop com Data Stage
- Inclui suporte para IBM InfoSphere BigInsights, Cloudera, Apache e HDFS (Hortonworks Hadoop Distributed File System).
- Oferece Otimização Balanceada para capacidades Hadoop para enviar o processamento por push para os dados e melhorar a eficiência.
- Suporta o controle de Big Data incluindo recursos como análise de impacto e linhagem de dados.
Gerenciamento de carga de trabalho e regras de negócios
- Ajuda a ativar o controle orientado por política de recursos do sistema e priorização de diferentes classes de cargas de trabalho.
- Ajuda a otimizar a utilização de hardware e priorizar tarefas, controlar atividades de tarefas nas quais os recursos excedem limites especificados e avaliar e redesignar a prioridade de tarefas conforme elas são enviadas na fila.
- Integra-se ao IBM Operational Decision Management (anteriormente ILOG JRules), permitindo que você implemente a lógica de decisão dentro do IBM InfoSphere Information Server.
Integração de dados quase em tempo real
- Captura mensagens de filas MOM (Message Oriented Middleware) usando Serviços de Mensagens Java (JMS) ou adaptadores WebSphere MQ, permitindo a combinação de dados em conformidade com perspectivas de análise operacional e histórica.
- Fornece uma arquitetura orientada a serviços (SOA) para publicação de dados de lógica de integração como serviços compartilhados que podem ser reutilizados em todo o empreendimento.
- Pode suportar simultaneamente requisitos de alta velocidade, alta confiabilidade de processo transacional e grande volume de dados em massa do processamento em lote.
Fácil utilização
- Inclui um console de operações e um depurador interativo para tarefas paralelas para ajudá-lo a aprimorar a produtividade e acelerar a resolução de problemas.
- Ajuda a reduzir o ciclo de desenvolvimento e manutenção para projetos de integração de dados simplificando a administração e maximizando os recursos de desenvolvimento.
- Oferece capacidades de inteligência operacional, gerenciamento inteligente de metadados e importações de metadados, e capacidades de depuração paralela para ajudar a melhorar a produtividade ao trabalhar com dados particionados