inskillflow academy

1.1.Laboratoire

Tâche 1 : Créer et interroger une base de données et une table AWS Glue dans Athena

Tâche 2 : Optimiser les requêtes Athena en utilisant des Buckets

Tâche 3 : Optimiser les requêtes Athena en utilisant des Partitions

Tâche 4 : Utilisation des Vues dans Athena

Tâche 5 : Créer des requêtes nommées Athena avec AWS CloudFormation

Tâche 6 : Revoir la politique IAM pour l'accès à Athena et AWS Glue

Tâche 7 : Confirmer que Mary peut accéder et utiliser la requête nommée

Conclusion du laboratoire

Récap

plan

1.1.Introduction

1.2.Athena - Concepts Clés

1.3.Configurer l'environnement Athena

1.4.Créer une base AWS Glue avec Athena

1.5.Définir un schéma de données

1.6.Prévisualiser les données

1.7.Optimisation par Bucketing

1.8.Comparaison des performances

1.9.Optimisation par Partitionnement

1.10.Formats de stockage – Parquet

1.11.Optimiser les requêtes avec Parquet

1.12.Création des vues dans Athena

1.13.Jointure des vues pour analyses avancées

1.14.Requêtes nommées avec AWS CloudFormation

1.15.Validation et déploiement CloudFormation

1.16.Gestion des permissions IAM

1.17.Tester les autorisations avec IAM

1.18.Compression des données

1.19.Bucketing vs Partitionnement – Quand choisir ?

1.20.Conclusion et bonnes pratiques

Plan de cours

1.1.Qu'est-ce que la Cardinalité ?

1.2.Types de Cardinalité

1.3.Faible Cardinalité

1.4.Haute Cardinalité

1.5.Cardinalité Normale

1.6.Bucketing - Définition et Concepts

1.7.Partitionnement - Définition et Concepts

1.8.Différences entre Bucketing et Partitionnement

1.9.Choisir entre Bucketing et Partitionnement

1.10.Exemples d'utilisation de Bucketing dans Athena

1.11.Exemples d'utilisation de Partitionnement dans Athena

1.12.Optimiser les Coûts avec la Cardinalité

1.13.Gérer les Métadonnées avec AWS Glue

1.14.Créer des Vues dans Athena

1.15.Requêtes nommées avec AWS CloudFormation

1.16.Politiques IAM pour Athena et Glue

1.17.Tester l'Accès Utilisateur à Athena

1.18.Bonnes Pratiques avec Athena

1.19.Erreurs Courantes et Comment les Éviter

1.20.Conclusion et Récapitulatif

1.1.Configuration de l'Encryption dans Kinesis Data Firehose : Sécuriser les Données en Transit et au Repos

1.2.Gérer l'Encryption des Données AWS avec KMS et Firehose : Bonnes Pratiques

1.3.Comparaison : Données Encryptées vs Non Encryptées dans AWS Firehose

1.4.Quand Utiliser AWS Lambda, Kinesis Firehose ou Kinesis Data Streams ?

1.5.Architecture Temps Réel avec Kinesis Streams, Firehose, Lambda et OpenSearch

1.6.Streaming de Données AWS : Choisir entre Firehose et Kinesis Data Streams

1.7.Pipeline Streaming AWS : De l’Ingestion à la Visualisation en Temps Réel

1.8.Guide de Choix AWS : Firehose vs Streams selon les Scénarios Réels

1.9.Architecture AWS avec la SAQ : Exemple Concret de Pipeline Streaming

1.10.Quelle Architecture AWS pour Traiter des Logs Web en Temps Réel ?

1.11.Rôle d’un Serveur EC2 dans un Pipeline de Traitement des Logs AWS

1.12.Rôle d’Amazon Cognito dans la Sécurisation d’OpenSearch Dashboards

1.13.Utiliser CloudWatch pour Monitorer un Pipeline AWS Temps Réel

1.14.Options de Stockage dans Amazon OpenSearch : Chaud, Froid et UltraWarm

1.15.Limitations et Bonnes Pratiques pour OpenSearch : Stockage, Shards, Performance

1.16.Comparaison entre OpenSearch, Elasticsearch, Algolia et Autres Moteurs

1.17.Apache Kafka vs Amazon Kinesis : Quelle Solution pour le Streaming ?

1.18.Alternatives à Apache Kafka : Pulsar, RabbitMQ, Redpanda, etc.

1.19.Kafka vs Pulsar : Avantages et Inconvénients pour les Données Temps Réel

1.20.Architecture Complète d’un Pipeline AWS : De la Source à la Visualisation