摘要：
开始我学习爬虫的目标 > 煎蛋网 通过设置User-Agent获取网页，发现本该是图片链接的地方被一个js函数代替了 于是全局搜索到该函数 function jandan_load_img(b){ var d = $(b); var f = d.next("span.img-hash"); var 阅读全文
摘要：
目标，豆瓣读书， 下载页面书籍图片。 又做了点修改，并将书名写入txt文件中 阅读全文
摘要：
有的网页在爬取时候会报错返回 urllib.error.HTTPError: HTTP Error 403: Forbidden 这是网址在检测连接对象，所以需要伪装浏览器，设置User Agent 在浏览器打开网页 > F12 > Network > 刷新 然后选择一项 就是在 header 看到 阅读全文
摘要：
此为记录下我自己的爬虫学习过程。 利用url包抓取网页 urllib.request模块用来打开和读取url 字符常用的几个编码方式: ASCII编码：用来表示英文，它使用1个字节表示，其中第一位规定为0，其他7位存储数据，一共可以表示128个字符。拓展ASCII编码：用于表示更多的欧洲文字，用8个 阅读全文