摘要：
foreachPartition，在生产环境中，通常来说，都使用foreachPartition来写数据库的 使用批处理操作（一条SQL和多组参数） 发送一条SQL语句，发送一次 一下子就批量插入100万条数据。 用了foreachPartition算子之后，好处在哪里？ 1、对于我们写的funct 阅读全文
posted @ 2018-08-03 16:42 打杂滴 阅读(2553) 评论(0) 推荐(0) 编辑
2018年8月3日
摘要：
def ip2Long(ip: String): Long = { val fragments = ip.split("[.]") var ipNum = 0L for (i <- 0 until fragments.length){ ipNum = fragments(i).toLong | ip 阅读全文
posted @ 2018-08-03 15:57 打杂滴 阅读(244) 评论(0) 推荐(0) 编辑