Outils pour utilisateurs

Outils du site


Panneau latéral



Contacts

Scolarité M1

Mickael Ferreira
télephone 01 57 27 68 96
bureau Sophie Germain - Bur. 3004
En télétravail les mardis et vendredis
(permanences Zoom : 10h30-12h00 ; 14h00-15h30)

connexion à la permanence de Mickaël Ferreira (code: 141280)

Scolarité M2

Sylvia Crochet
téléphone 01 57 27 68 98
bureau Sophie Germain - Bur. 3002
En télétravail les mercredis et vendredis.
(permanences Zoom : 10h00-11h30 ; 14h30-16h00)

connexion à la permanence de Sylvia Crochet (code: 242581)

formations:masters:ue:m1:tbd8

Technologies Big Data

Description

Le cours présente les technologies modernes pour le traitement de données massives. Il se concentre sur les principes du traitement de données distribuées, et s'appuie sur l’utilisation de librairies de calcul dans le cloud.

Syllabus

  1. Introduction au Big Data : limites des systèmes classiques de traitement des données
  2. Traitement (centralisé) de jeux de données de moyenne taille
    • numpy et pandas
  3. Introduction au traitement des données distribuées
    • Hadoop et Map Reduce
  4. Traitement distribué de données massives en mémoire centrale : Spark
  5. Modèles de données distribuées de Spark : RDDs, Dataframes
  6. Spark SQL
  7. Structure interne et optimisation de Spark

Pré-requis

Connaissance des langages SQL et Python. Avoir suivi au moins un cours de bases de données relationnelles.

formations/masters/ue/m1/tbd8.txt · Dernière modification : de treinen