Cum să treci un argument pentru a o scânteie prezinte locuri de muncă în curentul de aer

Am să declanșeze o pyspark modul de curenții de aer, folosind o sparksubmit operator. Dar, pyspark modulul trebuie să ia scânteia sesiune variabilă ca un argument. Eu am folosit application_args pentru a trece la parametrul la pyspark module. Dar, când am fugit de la dag scânteia prezinte operatorul este obtinerea a eșuat și parametrul am trecut în considerare Nici unul ca tip variabil. Trebuie să știi cum să treci un argument pentru o pyspark modul declanșat prin spark_submit_operator.

La DAG codul este mai jos:

from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("PRJT").enableHiveSupport().getOrCreate()

spark_config = {
    'conn_id': 'spark_default',
    'driver_memory': '1g',
    'executor_cores': 1,
    'num_executors': 1,
    'executor_memory': '1g'
}

dag = DAG(
    dag_id="spark_session_prgm",
    default_args=default_args,
    schedule_interval='@daily',
    catchup=False)

spark_submit_task1 = SparkSubmitOperator(
    task_id='spark_submit_task1',
    application='/home/airflow_home/dags/tmp_spark_1.py',
    application_args=['spark'],
    **spark_config, dag=dag)

Mostre de cod în tmp_spark_1.py program: