该文被密码保护。 阅读全文
摘要：
1. 安装 /* 注意： 如何安装不了，cmd窗口以管理员身份运行 npm install node-inspect -g // 浏览器无环境配置 cd 某个目录，安装 npm install vm2 -g //获取纯净v8环境，-g 全局安装 */ 2. 调试程序目录结构 3. 添加配置 4. 点 阅读全文
摘要：
进阶的可以看：https://baijiahao.baidu.com/s?id=1725536000710059774&wfr=spider&for=pc 本文以 RPC 获取百度登录password加密值为例： 涉及的知识点有： 1.js调试，寻找加密代码 2. 浏览器本地代码替换 3. js自执 阅读全文
摘要：
#!/bin/bash num_executors=100 executor_memory=4g executor_cores=20 principal=BotSpider queue=DB_QUEUE keytab=/opt/keys/user.keytab python_path="hdfs:/ 阅读全文
摘要：
小鹏汽车充电有两种类型，快充、慢充，有如下数据：车辆ID 充电时间 充电类型 a 20200601 19:21:09 1a 20200611 11:30:09 1a 20200621 21:10:09 0a 20200701 19:01:09 1a 20200701 20:30:09 1a 2020 阅读全文
摘要：
官网：https://github.com/alibaba/DataX 下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 安装 1. 下载安装包： wget http://datax-opensource.o 阅读全文
摘要：
1）hadoop 本身并不支持 lzo 压缩，故需要使用 twitter 提供的 hadoop-lzo 开源组件。hadoop lzo 需依赖 hadoop 和 lzo 进行编译，编译步骤如下。 编译参照： https://www.cnblogs.com/allthewayforward/p/11 阅读全文
摘要：
日志是跟踪软件运行时所发生的事件的一种方法。软件开发者在代码中调用日志函数，表明发生了特定的事件。事件由描述性消息描述，该描述性消息可以可选地包含可变数据（即，对于事件的每次出现都潜在地不同的数据）。事件还具有开发者归因于事件的重要性；重要性也可以称为级别或严重性。 logging提供了一组便利的函 阅读全文