2019 年 6月 20 日随笔档案 - drl_blogs

2019年6月20日

摘要：内置Hive需要将core-site.xml和hdfs-site.xml 拷贝到spark的conf目录下。如果Spark路径下发现metastore_db，需要删除【仅第一次... 阅读全文

posted @ 2019-06-20 19:44 drl_blogs 阅读(235) 评论(0) 推荐(0) 编辑

摘要：文章目录UDF函数UDAF函数弱类型用户自定义聚合函数强类型用户自定义聚合函数UDF函数scala> val df=spark.read.json("people.json")... 阅读全文

posted @ 2019-06-20 17:12 drl_blogs 阅读(1361) 评论(0) 推荐(0) 编辑

摘要： Error:(45, 63) Unable to find encoder for type stored in a Dataset. Primitive types (Int, String, etc) and Product types (case classes) a... 阅读全文

posted @ 2019-06-20 17:01 drl_blogs 阅读(232) 评论(0) 推荐(0) 编辑

Spark ：【error】System memory 259522560 must be at least 471859200

摘要： java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-memor... 阅读全文

posted @ 2019-06-20 15:36 drl_blogs 阅读(3258) 评论(0) 推荐(0) 编辑

idea:忽略大小写提示设置

摘要： 1.打开settings界面2.找到code completion3.Math case去掉勾阅读全文

posted @ 2019-06-20 11:20 drl_blogs 阅读(1728) 评论(0) 推荐(0) 编辑

drl_blogs

公告