摘要: 部分网站做了反爬虫机制,不允许程序访问网站的数据,而使用同一个useragent(用户代理)短时间爬取大量数据也可能被网站反爬虫程序识别。为了更好地模拟浏览器地工作,可以使用第三方库fake-useragent生成假的useragent字符串伪装浏览器,从而绕过一些网站的反爬虫措施。 首先在命令行中 阅读全文
posted @ 2024-09-15 17:01 松鼠q 阅读(24) 评论(0) 推荐(0) 编辑
摘要: HTTP&HTTPS HTTPS为安全超文本传输协议,是HTTP的安全版本,它在HTTP和TCP/IP之间增加了一个SSL/TSL层(安全套接层/传输层协议),用于加密HTTP的通信内容。 SSL证书 一种数字证书,用于在SSL/TLS协议中验证服务器的身份,并启用加密通信。是HTTPS通信中身份验 阅读全文
posted @ 2024-09-15 16:08 松鼠q 阅读(58) 评论(0) 推荐(0) 编辑
摘要: AJAX AJAX(异步JavaScript和XML)是一种无需重新加载整个页面的情况下,与服务器交换数据,将增量信息局部更新在用户界面上的技术。AJAX具有异步性,AJAX请求不会阻塞用户界面,用户可以在请求处理的同时继续与页面交互,具有更强的交互性。AJAX能使网页从浏览器请求少量信息而不是整个 阅读全文
posted @ 2024-09-15 11:22 松鼠q 阅读(17) 评论(0) 推荐(0) 编辑