上一页 1 2 3 4 5 6 ··· 11 下一页
摘要: Spark 1. 序列化编号 本地、远程不一致 2022-04 描述: IDEA 中 跑 scala 编写的 spark程序, 指定master 为 远程 standlone的主机 -Dspark.master=spark://hc2108:7077, 结果在集群 程序的日志中发现这个错误 loca 阅读全文
posted @ 2022-04-17 16:17 sunzebo 阅读(49) 评论(0) 推荐(0) 编辑
摘要: 环境 windows 7 jdk 1.8 idea 2021.2 1. Spark 3.1.2 20211107 目的 在 windows 本地 可以在 IDE中 ,用java 写spark,并在里面执行 前置 已经安装 jdk1.8。 注意, 没有安装scala 安装开发工具 IDE IDEA 从 阅读全文
posted @ 2021-11-07 22:06 sunzebo 阅读(92) 评论(0) 推荐(0) 编辑
摘要: 知识细节概括 浏览器反爬技术 验证请求header 验证refer 参数 动态渲染 判断请求频率,太快封掉ip 判断请求ip,同一个ip 经常爬取,封ip 需要提供密码登录 通过cookie判断 用验证码等技术 不提供web 数据,只提供手机APP 制定 robots文件,约定哪些能爬,哪些不能 异 阅读全文
posted @ 2021-10-19 20:39 sunzebo 阅读(38) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2021-07-29 18:55 sunzebo 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2021-07-29 18:34 sunzebo 阅读(13) 评论(0) 推荐(0) 编辑
摘要: x 阅读全文
posted @ 2021-07-29 18:34 sunzebo 阅读(23) 评论(0) 推荐(0) 编辑
摘要: 关键词: MariaDB 持续累积 对MariaDB数据库和配套工具的安装、维护,以及如何使用. 说明 使用 MariaDB 5.5, 对应MySQL5.5 的开源版本,功能一样。 再往后2012年11月12日, MariaDB 5.5 ->MariaDB 10.0, Mysql 5.6时 已经被甲 阅读全文
posted @ 2021-07-29 18:10 sunzebo 阅读(76) 评论(0) 推荐(0) 编辑
摘要: 功能 特点总结 20210729 排序. 随笔分类 新增分类是 没有排序操作, 但是保存后, 会按照所有分类名字排序 类别显示。 添加新的分类, 下面要至少有一篇随笔,才能最终显示出这个类别 缺点 优点 问题 美元符号$ 不见了 20210728 描述 Tinxxx的编辑模式下, 在代码框中 输入s 阅读全文
posted @ 2021-07-28 17:56 sunzebo 阅读(59) 评论(0) 推荐(0) 编辑
摘要: 功能 远程桌面登录 20210810 参考 "windows 7 远程桌面连接图文教程,2014/08/28" 总的思路 服务器windows打开远程连接功能 服务器windows设置一个 有密码的用户 客户端连接,远程桌面连接/运行 mstsc 注意: 不用打开防火墙。 打开了反而导致ping不通 阅读全文
posted @ 2021-07-28 16:46 sunzebo 阅读(34) 评论(0) 推荐(0) 编辑
摘要: xxxxx 阅读全文
posted @ 2021-07-27 19:27 sunzebo 阅读(21) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 ··· 11 下一页