spark Could not write all entries
摘要：使用 将 储存到 出现如下报错： 这个无法查到定位到报错位置，所以在新建 的时候进行如下配置： 得到新的错误： 报错显示： 负载过高，需要重新修复 本想重启 ，发现是机器 ，查错成功
阅读全文
posted @ 2018-03-05 09:13
03 2018 档案
spark按某几列删除dataframe重复行
摘要：新建一个 ： 想根据 和 来删除重复行，即删掉 且 的重复行。利用 无法删除 利用 可以根据 来删除：
阅读全文
posted @ 2018-03-05 09:12
spark对elasticsearch增删查改
摘要：增 新建一个 ，插入到索引 ，直接调用 ，让 为自己设定的 ： 删 目前 没有开放删除的 ，所以删除只能用命令行： 查 根据时间范围查询，其中 可以为空，代表不以任何查询条件查询： 改 例如需要将 的 改成 ， 改成 ，可以新建一个 ，按照 储存，这样 就会自动覆盖相同 下的数据：
阅读全文
posted @ 2018-03-05 09:10
