随笔分类 - 爬虫
摘要：前言 此篇接上一篇的内容，在其基础上爬取网站的多行表格数据，以及把数据写入到mysql数据库中 目录 一、定位表格查找元素 二、提取数据 三、写入mysql数据库 四、附录 一、定位表格查找元素 首先打开网站，如图需要爬取多行数据的表格，利用查找元素定位，看图中分析得知我要爬取的是tr下的td数据，
阅读全文
摘要：前言 好久没有写博客了，由于一直比较忙，感觉快荒废了学习的步伐，最近由于需要利用爬虫爬取数据，总结一下，以便以后查阅。 目录 一、bs4的安装 二、bs4解析器 三、定位查找标签 四、转换格式 五、提取数据并json输出结果 六、附录 一、bs4的安装 pip install beautifulso
阅读全文
摘要：前言 由于有的网站不允许下载视频，到了有效期就不能看了，但是我想以后反复看，怎么办呢？ 前提准备 操作系统：Mac 浏览器：谷歌浏览器 抓取m3u8工具：猫爪 视频处理工具：ffmpeg 需要安装工具：homebrew 步骤 1、安装ffmpeg 安装命令ffmpeg： brew install f
阅读全文
摘要：下面不做过多文字描述： 首先、安装必要的库 # 安装BeautifulSoup pip install beautifulsoup4 # 安装requests pip install requests 其次、上代码！！！ ①重定向网站爬虫h4文字 import requests from bs4 i
阅读全文
