Există vreo modalitate de a specifica tipul în scala dinamic

Question 1

Sunt nou in Scânteie, Scala, deci scuze pentru întrebare stupidă. Deci, am o serie de tabele:

table_a, table_b, ...

și numărul de tipurile corespunzătoare pentru aceste tabele

caz clasa classA(...), caz clasa classB(...), ...

Apoi am nevoie pentru a scrie o metode care citește datele din aceste tabele și de a crea setul de date:

def getDataFromSource: Dataset[classA] = {
       val df: DataFrame = spark.sql("SELECT * FROM table_a")
       df.as[classA]
}

La fel și pentru celelalte mese și tipuri. Există vreo modalitate de a evita rutina codul - adică individuale fucntion pentru fiecare tabel și cu unu? De exemplu:

def getDataFromSource[T: Encoder](table_name: String): Dataset[T] = {
       val df: DataFrame = spark.sql(s"SELECT * FROM $table_name")
       df.as[T]
}

Apoi, creați o listă de perechi (table_name, type_name):

val tableTypePairs = List(("table_a", classA), ("table_b", classB), ...)

Apoi pentru a apela folosind foreach:

tableTypePairs.foreach(tupl => getDataFromSource[what should I put here?](tupl._1))

Multumesc anticipat!

Question 2

Ceva de genul asta ar trebui sa mearga

def getDataFromSource[T](table_name: String, encoder: Encoder[T]): Dataset[T] =
  spark.sql(s"SELECT * FROM $table_name").as(encoder)

val tableTypePairs = List(
  "table_a" -> implicitly[Encoder[classA]],
  "table_b" -> implicitly[Encoder[classB]]
)

tableTypePairs.foreach {
  case (table, enc) =>
    getDataFromSource(table, enc)
}

Rețineți că acesta este un caz de a renunța la o valoare, care este un pic de un cod de miros. Deoarece Encoder este invariantă, tableTypePairs nu-i va fi util de un tip, și nici ceva de genul

tableTypePairs.map {
  case (table, enc) =>
    getDataFromSource(table, enc)
}

Question 3

O opțiune este de a trece Class metoda, acest fel de tip generic T va fi dedus:

def getDataFromSource[T: Encoder](table_name: String, clazz: Class[T]): Dataset[T] = {
       val df: DataFrame = spark.sql(s"SELECT * FROM $table_name")
       df.as[T]
}

tableTypePairs.foreach { case (table name, clazz) => getDataFromSource(tableName, clazz) }

Dar eu nu sunt sigur de cum va fi în măsură să exploateze această listă de Dataset fără .asInstanceOf.

Levi Ramsey · Answer 1 · 2021-11-23T22:09:20

Ceva de genul asta ar trebui sa mearga

def getDataFromSource[T](table_name: String, encoder: Encoder[T]): Dataset[T] =
  spark.sql(s"SELECT * FROM $table_name").as(encoder)

val tableTypePairs = List(
  "table_a" -> implicitly[Encoder[classA]],
  "table_b" -> implicitly[Encoder[classB]]
)

tableTypePairs.foreach {
  case (table, enc) =>
    getDataFromSource(table, enc)
}

Rețineți că acesta este un caz de a renunța la o valoare, care este un pic de un cod de miros. Deoarece Encoder este invariantă, tableTypePairs nu-i va fi util de un tip, și nici ceva de genul

tableTypePairs.map {
  case (table, enc) =>
    getDataFromSource(table, enc)
}

Gaël J · Answer 2 · 2021-11-23T22:02:48

O opțiune este de a trece Class metoda, acest fel de tip generic T va fi dedus:

def getDataFromSource[T: Encoder](table_name: String, clazz: Class[T]): Dataset[T] = {
       val df: DataFrame = spark.sql(s"SELECT * FROM $table_name")
       df.as[T]
}

tableTypePairs.foreach { case (table name, clazz) => getDataFromSource(tableName, clazz) }

Dar eu nu sunt sigur de cum va fi în măsură să exploateze această listă de Dataset fără .asInstanceOf.

Există vreo modalitate de a specifica tipul în scala dinamic

Problema

Cel mai bun răspuns

În alte limbi

Această pagină este în alte limbi

Popular în această categorie

Întrebări frecvente în această categorie