爬取tieba的APP点赞等数据
摘要：接口一： kw是贴吧名：剑网3 pnum是页号 返回json数据如下，可以从中取reply_num、agree_num、share_num、view_num 接口二：
阅读全文
posted @
2019-12-31 16:11
凌度
阅读(373)
推荐(0) 编辑
爬取douyin
摘要：抖音音乐排行榜 https://www.iesdouyin.com/web/api/v2/hotsearch/billboard/music/ 抖音用户主页 点击某个用户-》右上角的三个点-》箭头图标（转发）-》分享到（复制链接） 获取到如下地址：https://v.douyin.com/VCd5X
阅读全文
posted @
2019-12-31 14:38
凌度
阅读(2526)
推荐(0) 编辑
数据仓库和数据湖
摘要：早期的数据库系统的设计目标是事务处理。数据库系统是为记录更新和事务处理而设计，数据的访问的特点是基于主键，大量原子，隔离的小事务，并发和可恢复是关键属性，最大事务吞吐量是关键指标，因此数据库的设计都反映了这些需求。 数据仓库的设计目标是决策支持。历史的，摘要的，聚合的数据比原始的记录重要的多。查询负
阅读全文
posted @
2019-12-18 10:45
凌度
阅读(1212)
推荐(0) 编辑
通过mitmproxy爬取APP的数据
摘要：安装： https://mitmproxy.org/ 小米安装证书 设置-》系统安全-》从存储设备安装-》选择*.pem文件 模拟器安装证书 (请从C:\Users\John\.mitmproxy中拷贝)： 设置-》系统安全-》从SD卡安装证书-》选择*.pem文件（mitmproxy-ca-cer
阅读全文
posted @
2019-12-12 16:25
凌度
阅读(894)
推荐(0) 编辑
linux下检查网络连通情况
摘要：MTR是一种简单的跨平台命令行网络诊断工具，它将常用的traceroute和ping程序的功能组合到一个工具中。 与traceroute类似， mtr输出关于数据包从运行mtr的主机到用户指定的目标主机的路由信息。 mtr -r -c 5 210.242.246.57 第一列:显示的是IP地址和
阅读全文
posted @
2019-12-11 16:39
凌度
阅读(1863)
推荐(0) 编辑
