个人博客转至:tybai.com

无聊就想打码,打码使我快乐


Fork me on GitHub

2018年3月5日

spark Could not write all entries

摘要: 使用 将 储存到 出现如下报错: 这个无法查到定位到报错位置,所以在新建 的时候进行如下配置: 得到新的错误: 报错显示: 负载过高,需要重新修复 本想重启 ,发现是机器 ,查错成功 阅读全文

posted @ 2018-03-05 09:13 TTyb 阅读(1166) 评论(0) 推荐(0) 编辑

spark按某几列删除dataframe重复行

摘要: 新建一个 : 想根据 和 来删除重复行,即删掉 且 的重复行。利用 无法删除 利用 可以根据 来删除: 阅读全文

posted @ 2018-03-05 09:12 TTyb 阅读(7144) 评论(0) 推荐(0) 编辑

spark对elasticsearch增删查改

摘要: 增 新建一个 ,插入到索引 ,直接调用 ,让 为自己设定的 : 删 目前 没有开放删除的 ,所以删除只能用命令行: 查 根据时间范围查询,其中 可以为空,代表不以任何查询条件查询: 改 例如需要将 的 改成 , 改成 ,可以新建一个 ,按照 储存,这样 就会自动覆盖相同 下的数据: 阅读全文

posted @ 2018-03-05 09:10 TTyb 阅读(5635) 评论(0) 推荐(0) 编辑

导航


不用多久

我就会升职加薪

当上总经理

出任CEO

迎娶白富美

走上人生巅峰

Pulpit rock