stay foolish,stay hungry.

导航

10 2017 档案

本地idea调试spark2.x程序
摘要：1.构建使用idea 构建maven 项目 选择org.scala tools.archetypes:scala archetype simple，然后一直点next,maven最好选中本地配置国内源的而不适用idea自生的。 工程创建好后，点击Event Log 修改pox.xml文件(设置sca 阅读全文

posted @ 2017-10-27 15:40 red_and_black 阅读(1922) 评论(0) 推荐(0)

spark2.0新特性之DataSet
摘要：1.Spark SQL，DataFrame,DataSet的错误类型检测时机 spark SQL：其类型检测与语法检测是在运行时检测的 DataFrame:在spark2.0以前的版本中，DataFrame是类型不安全的，其类型检查是在运行时才检查的，语法检查倒是在编译时检查的 DataSet:类型 阅读全文

posted @ 2017-10-13 12:45 red_and_black 阅读(604) 评论(0) 推荐(0)