spark query hive and save as libsvm

以下示例代码使用 spark 查询 hive并把结果存储为 libsvm 格式：

from pyspark import SparkConf,SparkContext 
from pyspark.sql import HiveContext 

hc = HiveContext(sc)

df = hc.sql("select product_key,plu_id from test limit 100")

from pyspark.mllib.util import MLUtils
from pyspark.mllib.regression import LabeledPoint

d = df.rdd.map(lambda line: LabeledPoint(line[0],[str(a) for a in line[1:]]))
MLUtils.saveAsLibSVMFile(d,'hdfs:///zeppelin/aaa')

 

有的时候遇到的场景是parquet要转成libsvm。

但是如果parquet太大，单机情形下，内存很不够。而且带有 uint8 格式的parquet，spark也读不了。

怎么办？

parquet是列式存储，可以把parquet一列一列读出来，读成csv，然后再转，就能方便很多。

参考我在github上的项目：https://github.com/rav009/parquet-operator