会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
荒唐了年少
博客园
首页
新随笔
联系
订阅
管理
2021年6月2日
抓取一个网站全部的网页URL--Python、爬虫
摘要: 要获得一个网站所有的网页URL,思路很简单,就是一遍遍分析新得到的网页中有哪些URL,然后不断重复的。 下面以抓取CSDN为例: 首先是一些辅助用的函数: 1 def getResponse(url):# 使用requests获取Response 2 headers = { 3 'User-Agen
阅读全文
posted @ 2021-06-02 09:56 荒唐了年少
阅读(4102)
评论(0)
推荐(0)
编辑
公告