特牛生活网

Spark调用外部程序_spark外部函数-CSDN博客

网友收藏
文章浏览阅读994次。背景在写spark程序时,也可以调用别的语言写成的外部程序来进行一些运算方法主要方法就是在spark里调用pipe()函数,来指定要执行的文件以及传入的参数。代码如下 // pipe()函数调用外部程序 val cFile = "C:/Users/songzeceng/test.exe" val pipeOut = testRDD.pipe(Seq(cFi..._spark外部函数