Spark Core

Créé une rdd allant de 1 à 10

rdd = sc.parallelize(range(1, 11))

Affiche le contenu d’une rdd

rdd.collect

Créer le carré de chaque élément d’une rdd

rdd.map(lambda x: x*x)

filtre les éléments pairs d’une rdd

rdd.filter(lambda x: x % 2 == 0)

Créer une rdd en séparant un texte en mots

sc.parallelize(text.split(“ “))

Transforme word en clé:valeur

.map(lambda word: (word, 1))

Regroupe par clé et additione les valeurs

.reduceByKey(lambda a,b : a + b)

Regroupe et agrège par clé

.reduceByKey

Trier par clé

.sortByKey

Somme par clé en utilisant un groupBy

.groupByKey.mapValues(sum)

Affiche la valeur la plus fréquente

.max(key = lambda x: x[1])

Créer un dataframe

.createDataFrame(data, schema = schema)

Trier var dans l’ordre décroissant

.orderBy(df.var.desc())

Calculer la somme des amount par pays d’un df

.agg(F.sum(“amount”).alias(“total_amounts”))

Faire une jointure interne de data sur user_id

join(data, on = “user_id”, how = “inner”)

Faire la somme de tous les éléments d’une rdd

rdd.reduce(lambda a,b : a + b)