scala本地调试函数
val conf = new SparkConf().setAppName("ProductPrivilege").setMaster("local[1]")
//创建spark执行的入口
val sc = new SparkContext(conf)
val session = SparkSession
.builder()
.enableHiveSupport()
.getOrCreate()
val rdd = sc.textFile("/Users/admin/.../product_info_test.txt")
val rddSolve = rdd.map(x => {
val item = x.split(",").toList
val productId = item.head.toLong
val shopId = item.apply(1).toLong
val status = item.apply(2).toInt
Row(productId, shopId, status)
})
时间会记录下一切。
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步