随笔 - 89  文章 - 43  评论 - 3  阅读 - 39982 
10 2019 档案
爬虫 - 博客爬取并入库
摘要：```python ''' 对崔庆才的个人博客上的文章基本信息的爬取 (共41页） https://cuiqingcai.com/page/1 标题、链接、浏览的数目、评论的数目以及喜欢的人数 ''' import re import requests import logging from lxml import etree import pymysql logging.basicConfig( 阅读全文
posted @ 2019-10-25 17:15 Afrafre 阅读(219) 评论(0) 推荐(0) 编辑
爬虫 - 斗鱼房间信息
摘要：爬虫 斗鱼房间信息 阅读全文
posted @ 2019-10-24 13:08 Afrafre 阅读(254) 评论(0) 推荐(0) 编辑
爬虫 - selenium模块
摘要：selenium介绍： selenium最初是一个自动化测试工具,而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种常见的浏览器 官网： 阅读全文
posted @ 2019-10-24 13:06 Afrafre 阅读(131) 评论(0) 推荐(0) 编辑
爬虫-实现思路
摘要：实现爬虫的思路 注意要点 多线程实现爬虫模板 阅读全文
posted @ 2019-10-18 21:04 Afrafre 阅读(295) 评论(0) 推荐(0) 编辑
crontab 使用
摘要：crontab的使用 python 进入crontab crontab e 查看crontab内容 crontab l 参数介绍 分 小时 日 月 星期 命令 0 59 0 23 1 12 0 6 0 6 command 例： /15 ls 每十五分钟执行ls 0 /2 ls 每两个小时执行一次ls 阅读全文
posted @ 2019-10-18 00:16 Afrafre 阅读(96) 评论(0) 推荐(0) 编辑
爬虫-网易云歌单下载
摘要：爬虫 网易云歌单下载 阅读全文
posted @ 2019-10-17 18:26 Afrafre 阅读(289) 评论(0) 推荐(0) 编辑
爬虫-网易云评论
摘要：爬虫 网易云评论 python 代码 阅读全文
posted @ 2019-10-17 18:13 Afrafre 阅读(368) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示