Prochaines sessions
Programme
Supervision : définitions
- Les objectifs de la supervision, les techniques disponibles
- La supervision d’une ferme Big Data
- Objets supervisés
- Les services et ressources
- Protocoles d’accès
- Exporteurs distribués de données
- Définition des ressources à surveiller
- Journaux et métriques
- Application aux fermes Big Data : Hadoop, Cassandra, HBase, MongoDB
Mise en œuvre
- Besoin de base de données avec agents distribués, de stockage temporel (timeseriesDB)
- Produits : Prometheus, Graphite, ElasticSearch
- Présentation, architectures
- Les sur-couches : Kibana, Grafana
JMX
- Principe des accès JMX
- MBeans
- Visualisation avec jconsole et jmxterm
- Suivi des performances Cassandra : débit d’entrées/sorties, charges, volumes de données, tables, …
Prometheus
- Installation et configuration de base
- Définition des ressources supervisées, des intervalles de collecte
- Démarrage du serveur Prometheus
- Premiers pas dans la console web, et l’interface graphique
- Exporteur JMX
- Exporteur mongodb
- Démonstration avec Cassandra ou Hadoop/HBase
- Configuration des agents sur les nœuds de calculs
- Agrégation des données JMX
- Expressions régulières
- Requêtage
- Visualisation des données
Graphite
- Modèle de données et mesures
- Format des données stockées, notion de timestamp
- Types de mesures : compteurs, jauges, histogrammes, résumés
- Identification des ressources supervisées : notions d’instances, de jobs
- Démonstration avec Cassandra
- Comparaison avec Prometheus
Exploration et visualisation des données
- Mise en œuvre de Grafana
- Installation, configuration
- Pose de filtres sur Prometheus et remontée des données
- Etude des différents types de graphiques disponibles, agrégation de données
- Appairage des données entre Prométheus et Grafana
- Visualisation et sauvegarde de graphiques, création de tableaux de bord et rapports à partir des graphiques
Kibana, installation et configuration
- Installation, configuration du mapping avec Elasticsearch
- Injection des données avec Logstash et Metribeat
- Architectures, paramétrages
- Mapping automatique ou manuel
- Configuration des indexes à explorer