摘要: 读一张表,对其进行二值化特征转换。可以二值化要求输入类型必须double类型,类型怎么转换呢? 直接利用spark column 就可以进行转换: DataFrame dataset = hive.sql("select age,sex,race from hive_race_sex_bucktiz 阅读全文
posted @ 2016-12-20 17:38 李克华 阅读(17432) 评论(0) 推荐(0) 编辑
摘要: 今天本来想写一个spark dataframe unionall的demo,由于粗心报下面错误: Exception in thread "main" org.apache.spark.sql.AnalysisException: Union can only be performed on tab 阅读全文
posted @ 2016-12-20 17:32 李克华 阅读(3602) 评论(0) 推荐(0) 编辑