您可以从 PySpark 任务调用 Java/Scala 函数吗？

从 PySpark 任务调用 Java/Scala 函数

在 PySpark 中，利用 Java 或 Scala 实现的功能可能会带来挑战。虽然 Scala API 提供了调用 DecisionTreeModel.predict 的推荐解决方法，但仍在寻求更通用的解决方案。

技术背景

从 PySpark 调用 Java 函数时会出现问题任务，特别是由于 JavaModelWrapper.call 的参与。此方法尝试访问 SparkContext，这在工作代码中不可用。

优雅的解决方案

优雅的解决方案仍然难以捉摸。存在两个重量级选项：

• 通过隐式转换或包装器扩展 Spark 类
• 直接使用 Py4j 网关

替代方法

相反，请考虑替代方法：

• 使用 Spark SQL 数据源 API： 包装 JVM 代码，但实现冗长且输入范围有限。
• 使用 Scala UDF 操作 DataFrame：在 DataFrame 上执行复杂的代码，避免 Python/Scala 数据转换，但需要 Py4j 访问。
• 创建 Scala 接口：构建用于任意代码执行的 Scala 接口，提供灵活性，但需要低级实现细节和数据转换。
• 外部工作流管理工具： 在 Python/Scala 作业之间切换并通过分布式文件系统（DFS），避免数据转换，但会产生 I/O 成本。
• 共享 SQLContext：通过临时表在客户语言之间传递数据，针对交互式分析进行了优化，但不适合批处理工作。

以上是您可以从 PySpark 任务调用 Java/Scala 函数吗？的详细内容。更多信息请关注PHP中文网其他相关文章！