2021年6月2日
抓取一个网站全部的网页URL--Python、爬虫
摘要： 要获得一个网站所有的网页URL，思路很简单，就是一遍遍分析新得到的网页中有哪些URL，然后不断重复的。 下面以抓取CSDN为例： 首先是一些辅助用的函数： 1 def getResponse(url):# 使用requests获取Response 2 headers = { 3 'User-Agen 阅读全文
posted @ 2021-06-02 09:56 荒唐了年少 阅读(4102) 评论(0) 推荐(0) 编辑