Project Description

Este curso foi projetado para desenvolvedores que desejam criar aplicativos YARN personalizados para o Apache Hadoop. Ele incluirá: a arquitetura YARN, as etapas de desenvolvimento YARN, a gravação de um cliente AARN e o ApplicationMaster e o lançamento de Containers. O curso usa Eclipse e Gradle conectados remotamente a um cluster HDP de 7 nós executado em uma máquina virtual.

This course is designed for developers who want to create custom YARN applications for Apache Hadoop. It will include:the YARN architecture, YARN development steps, writing aYARN client and ApplicationMaster, and launching Containers.The course uses Eclipse and Gradle connected remotely to a 7-node HDP cluster running in a virtual machine.

Público-Alvo

Somente treinamentos para empresas (In-Company). Arquitetos, desenvolvedores de software, analistas e cientistas de dados que precisam aplicar ciência de dados e aprendizado de máquinas em Hadoop.

Requisitos

Somente treinamentos para empresas (In-Company). Os alunos devem ser desenvolvedores Java experientes que participaram do desenvolvedor HDP: Java OR HDP Developer: Pig e HiveOR são experientes com desenvolvimento Hadoop e MapReduce.

Conteúdo Programático

Este é o conteúdo que será abordado durante o curso. [inglês]

1. AN INTRODUCTION TO APACHE YARN

OBJECTIVES

  • Describe the Architecture
  • Describe the YARN API
  • Run a YARN Application on a Hadoop Cluster
  • Monitor the Status of a Running YARN Application

LABS

  • Running a YARN Application
  • Setting up a YARN Development Environment
  • Writing a YARN Client
  • Submitting an ApplicationMaster

2. WRITING APACHE YARN APPLICATIONS

OBJECTIVES

  • Write a YARN Application Master
  • Allocate Containers in a Cluster
  • Describe the Purpose of the Capacity
  • cheduler
  • Describe the Purpose of Fair Scheduling

LABS

  • Writing an Application Master
  • Requesting Containers
  • Writing Custom Containers
  • Putting it All Together