Cum pentru a obține lista de prieteni comuni între orice pereche de prieteni în rețea folosind pyspark

Question 1

Am trei înregistrări astfel de prognoze [('a1', ['b1', 'c1', 'd1', 'e1']), ('a2', ['b1', 'c2', 'd2', 'e1']),('a3', ['b1', 'c2', 'd1', 'e2'])] conține id-ul de cheie ca lista de valori pentru fiecare cheie.

Vreau pentru a obține numărul total de valori din listă pentru fiecare cheie în pyspark.
Cum pot obține lista de prieteni comuni între orice pereche de diavoli în pyspark.

Question 2

1 pur și Simplu utilizați size funcția.

df = df.withColumn('num_friends', F.expr('size(friends)'))

2 Utilizați array_intersect funcție pentru a obține intersecția de tablouri.

cp_df = df.toDF('key_pair', 'friends_pair')
cross_df = df.crossJoin(cp_df).filter('key!=key_pair')
cross_df = cross_df.select(F.create_map('key', 'key_pair').alias('key_pair'),
                           F.array_intersect('friends', 'friends_pair').alias('common_friends'))
cross_df.show(truncate=False)

过过招 · Answer 1 · 2021-11-24T02:39:00

1 pur și Simplu utilizați size funcția.

df = df.withColumn('num_friends', F.expr('size(friends)'))

2 Utilizați array_intersect funcție pentru a obține intersecția de tablouri.

cp_df = df.toDF('key_pair', 'friends_pair')
cross_df = df.crossJoin(cp_df).filter('key!=key_pair')
cross_df = cross_df.select(F.create_map('key', 'key_pair').alias('key_pair'),
                           F.array_intersect('friends', 'friends_pair').alias('common_friends'))
cross_df.show(truncate=False)

Cum pentru a obține lista de prieteni comuni între orice pereche de prieteni în rețea folosind pyspark

Problema

Cel mai bun răspuns

În alte limbi

Această pagină este în alte limbi

Popular în această categorie

Întrebări frecvente în această categorie