12 2016 档案

spark dataframe 类型转换
摘要：读一张表，对其进行二值化特征转换。可以二值化要求输入类型必须double类型，类型怎么转换呢？ 直接利用spark column 就可以进行转换： DataFrame dataset = hive.sql("select age,sex,race from hive_race_sex_bucktiz 阅读全文
posted @ 2016-12-20 17:38 李克华 阅读(17438) 评论(0) 推荐(0) 编辑
spark dataframe unionall
摘要：今天本来想写一个spark dataframe unionall的demo,由于粗心报下面错误： Exception in thread "main" org.apache.spark.sql.AnalysisException: Union can only be performed on tab 阅读全文
posted @ 2016-12-20 17:32 李克华 阅读(3608) 评论(0) 推荐(0) 编辑
spark on yarn 提交任务出错
摘要：Application ID is application_1481285758114_422243, trackingURL: http://***:4040Exception in thread "main" org.apache.hadoop.mapred.InvalidInputExcept 阅读全文
posted @ 2016-12-16 10:48 李克华 阅读(666) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示