МИТАП: «Работа с источниками данных в Apache Spark»_ 14 июня 2022 года

[@АлександрГлухов-и5п]

Подскажите, как указывать драйвер jdbc когда данные нужно с hive получать и на него же потом результат работы отправлять

[@michaelkorolev9055]

как правило, spark настроен на работу с hive metastore, поэтому для работы с hive на чтение обычно используют метод sql() спарк сессии, а для записи - метод saveAsTable() датафрейм writer-а. Spark работает с данными hive также, как и с hdfs (параллелизм), метаданные берет из metastore, теоретически можно "запустить" spark в hive через jdbc, но... зачем?