随笔分类 - python爬虫
python爬虫
摘要:1.处理cookie 为什么要处理cookie? 保存客户端的相关状态 在请求中携带cookie,在爬虫中如果遇到了cookie的反爬如何处理? #手动处理 在抓包工具中捕获cookie,将其封装在headers中 #自动处理 使用session机制 使用场景:动态变化的cookie session
阅读全文
摘要:1.执行JS代码 假如在逆向分析时,发现某个js加密算法比较繁琐,用Python还原同样的算法比较费劲。此时,可以不必使用Python还原,而是利用Python去直接调用JavaScript中定义的功能。 想实现Python调用JavaScript代码,需如下步骤: 在电脑上安装node.js(软件
阅读全文
摘要:1.爬虫相关概述 爬虫概念: 通过编写程序模拟浏览器上网,然后让其去互联网上爬取/抓取数据的过程 模拟:浏览器就是一款纯天然的原始的爬虫工具 爬虫分类: 通用爬虫:爬取一整张页面中的数据. 抓取系统(爬虫程序) 聚焦爬虫:爬取页面中局部的数据.一定是建立在通用爬虫的基础之上 增量式爬虫:用来监测网站
阅读全文
摘要:1. 移动端数据抓取 fillder进行一个基本的配置:tools->options->https->Decry.. fillder进行一个基本的配置:tools->options->connection->allow remote http://fillder所在pc机的ip+port/:访问到一
阅读全文
摘要:1.语音合成 1.登录百度AI平台 选择控制台 参考技术文档选择python SDK pip install baidu-aip from aip import AipSpeech APP_ID = '2191211' API_KEY = 'tQ1f7pryTnMjQMfuYGL8' SECRET_
阅读全文
摘要:1.爬虫相关概述 爬虫概念: 通过编写程序模拟浏览器上网,然后让其去互联网上爬取/抓取数据的过程 模拟:浏览器就是一款纯天然的原始的爬虫工具 爬虫分类: 通用爬虫:爬取一整张页面中的数据. 抓取系统(爬虫程序) 聚焦爬虫:爬取页面中局部的数据.一定是建立在通用爬虫的基础之上 增量式爬虫:用来监测网站
阅读全文