Dernière mise à jour le 11/06/2025

AWS : BigData avec Hadoop EMR

Informations générales

Type de formation : Formation continue
Domaine : Systèmes et Réseaux
Filière : Cloud computing
Rubrique : AWS
Formation éligible au CPF : Non
Formation Action collective : Non

Objectifs & compétences

Savoir mettre en oeuvre les techniques de calcul distribué avec Hadoop EMR

Public visé

Architectes, chefs de projets souhaitant bénéficier des services offerts par la distribution Hadoop fournie par AWS

Pré-requis

Connaissance des fondamentaux du cloud

Programme

Présentation AWS Hadoop EMR  
Rappels des services de base : EC2 (Elastic Compute Cloud), VPC (Virtual Private Cloud), S3 (Simple Storage Service), EBS (Elastic Block Storage), RDS (Relational Database Service)
Caractéristiques du calcul distribué et du service EMR (Amazon Elactis MapReduce)  
La distribution Hadoop EMR  
Historique du projet hadoop
Les fonctionnalités : stockage, outils d'extraction, de conversion, ETL, analyse, ...  
Exemples de cas d'utilisation sur des grands projets.
Les principaux composants :HDFS pour le stockage et YARN pour les calculs.
Les distributions et leurs caractéristiques.
Composants de la distribution Hadoop EMR  
Mise en œuvre  
Démonstrations sur une architecture Hadoop multi-noeuds.
TP : mise en place d'une configuration de base avec HBase.
Cycle de fonctionnement.
Transferts par s3.
Envoi des travaux.
Visualisation des résultats.
Suivi des travaux avec Hue.
Interactivité avec les Notebooks : jupyter.
Configuration des composants de la distribution.  
Exploitation  
Gestion des évènements avec Events.
Contrôle du réseau et des VPC.
Automatisation de l'exécution sur AWS depuis un poste local.
Suivi distant des travaux.
Journalisation, visualisation des logs.Utilisation de la ferme aws en débordement d'une ferme locale.  
Sécurité : mise en place d'une configuration de sécurité.
Liens avec IAM.  
Optimisation  
Analyse des performances.
Déploiement d'une configuration avec Spark.
Evaluation des performances par rapport à une ferme locale.
Comparaison des coûts.
Mise en place d'automates d'optimisation.
 

Modalités

Modalités : en présentiel, distanciel ou mixte . Toutes les formations sont en présentiel par défaut mais les salles sont équipées pour faire de l'hybride. – Horaires de 9H à 12H30 et de 14H à 17H30 soit 7H – Intra et Inter entreprise.
Pédagogie : essentiellement participative et ludique, centrée sur l’expérience, l’immersion et la mise en pratique. Alternance d’apports théoriques et d’outils pratiques.
Ressources techniques et pédagogiques : Support de formation au format PDF ou PPT Ordinateur, vidéoprojecteur, Tableau blanc, Visioconférence : Cisco Webex / Teams / Zoom.
Pendant la formation : mises en situation, autodiagnostics, travail individuel ou en sous-groupe sur des cas réels.

Méthodes

Fin de formation : entretien individuel.
Satisfaction des participants : questionnaire de satisfaction réalisé en fin de formation.
Assiduité : certificat de réalisation.
Validations des acquis : grille d'evalution  des acquis établie par le formateur en fin de formation.
Code de formation : VC203

Tarifs

Prix public : 1900
Tarif & financement :
Nous vous accompagnons pour trouver la meilleure solution de financement parmi les suivantes :
Le plan de développement des compétences de votre entreprise : rapprochez-vous de votre service RH.
Le dispositif FNE-Formation.
L’OPCO (opérateurs de compétences) de votre entreprise.
France Travail: sous réserve de l’acceptation de votre dossier par votre conseiller Pôle Emploi.
CPF -MonCompteFormation
Contactez nous pour plus d’information : contact@aston-institut.com

Lieux & Horaires

Durée : 21 heures
Délai d'accès : Jusqu'a 8 jours avant le début de la formation, sous condition d'un dossier d'insciption complet

Prochaines sessions

Handi-accueillante Accessible aux personnes en situations de handicap. Pour toutes demandes, contactez notre référente, Mme Rizlene Zumaglini Mail : rzumaglini@aston-ecole.com

à voir aussi dans le même domaine...

Formation continue

Cloud computing

ACF101

Cloud : Gouvernance et Sécurité

Comprendre les éléments fondamentaux de la sécurité du Cloud Identifier et analyser les risques liés au Cloud Comprendre les contrats Cloud Mettre en oeuvre les bonnes pratiques de sécurité dans le Cloud Connaître les techniques de sécurisation réseau du Cloud.

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Cloud computing

MSWS013

Azure Stack HCI

Cette formation pratique couvre des sujets avancés liés au centre de données défini par logiciel Windows Server, Azure Stack HCI et d'autres produits Azure Stack

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Cloud computing

AWS009

AWS Ingénierie DevOps

#Cloud #actioncollective #computing

A l’issue de la formation, le stagiaire sera capable de mettre en oeuvre les services et outils d’AWS (Amazon Web Services) dans le cadre d’une ingénierie DevOps.   --> La formation vise l’acquisition des connaissances et compétences rattachées au cours officiel d’Ingénierie DevOps sur AWS (ou équivalent en cas d’évolution décidée par l’éditeur).   --> Ce cours s’inscrit dans le cursus de certification proposé par l’éditeur mais le passage de l’examen n’est pas compris dans la présente consultation Utiliser les pratiques et concepts principaux de la méthodologie DevOps;   Concevoir et mettre en place une infrastructure sur AWS, qui prend en charge un ou plusieurs projets de développement DevOps   Utiliser AWS CloudFormation et AWS OpsWorks pour déployer l'infrastructure nécessaire à la création d'environnements de développement, de test et de production pour un projet de développement logiciel Utiliser AWS CodeCommit et AWS CodeBuild pour découvrir l'éventail d'options permettant de mettre en place un environnement d'intégration continue (CI) sur AWS Utiliser AWS CodePipeline pour concevoir et mettre en oeuvre un pipeline d'intégration et de livraison continues (CI/CD) sur AWS Utiliser AWS CodeStar pour gérer toutes les activités de développement logiciel au même endroit Mettre en oeuvre plusieurs cas d'utilisation courants de déploiement continu (CD) à l'aide des technologies AWS, notamment le déploiement bleu/vert et les tests A/B   Faire la distinction entre les différentes technologies de déploiement d'applications disponibles sur AWS, notamment AWS CodeDeploy, AWS OpsWorks, AWS Elastic Beanstalk, Amazon Elastic Container Service (Amazon ECS) et Amazon Elastic Container Registry (Amazon ECR), et décider laquelle correspond le mieux à un scénario donné Utiliser Amazon EC2 Systems Manager pour la gestion des correctifs   Exploiter le testing automatisé à différents stades d'un pipeline CI/CD Ajuster précisément les applications que vous envoyez sur AWS pour bénéficier de hautes performances et utiliser les outils et technologies AWS pour surveiller que votre application et votre environnement ne rencontrent aucun problème  

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Cloud computing

SYR617

Les bonnes pratiques de la migration vers le Cloud

- Définir un plan de migration vers le Cloud - Utiliser les outils et services des différents acteurs (AWS, Azure, Google) pour l'analyse préparatoire et la migration - Distinguer les outils indépendants des Cloud Providers - Effectuer des migrations de type "lift and shift", "lift and reshape" et "re-architecturing".

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Cloud computing

AZ700

MICROSOFT AZURE : Concevoir et implémenter des solutions réseaux

Concevoir, implémenter et maintenir des solutions de mise en réseau Azure

21 heures de formations sur 3 Jours
En savoir plus

Formation continue

Cloud computing

ACF102

Architecture Cloud

Connaître les acteurs majeurs et les usages d'un Cloud hybride Implémenter un Cloud privé avec OpenStack Provisionner un Cloud public avec AWS et Cloudwatt Implémenter un Cloud hybride avec ces trois Clouds Comprendre et savoir-faire de l'automatisation

35 heures de formations sur 5 Jours
En savoir plus