摘要:
上回我们说到<!--more--> python爬虫29 | 使用scrapy爬取糗事百科的例子,告诉你它有多厉害! WOW!! scrapy awesome!! 怎么会有这么牛逼的框架 wow!! awesome!! 用 scrapy 来爬取数据 岂!不!是!非!常!爽! wow!! 接下来就是我 阅读全文
摘要:
是时候<!--more-->给你说说 爬虫框架了 使用框架来爬取数据 会节省我们更多时间 很快就能抓取到我们想要抓取的内容 框架集合了许多操作 比如请求,数据解析,存储等等 都可以由框架完成 有些小伙伴就要问了 你他妈的 为什么不早点说呢? 是这样的 当你不知道 1+1 是什么的时候 你去使用计算器 阅读全文
摘要:
上次 我们知道了怎么操作 MySQL 数据库<!--more--> python爬虫26 | 把数据爬取下来之后就存储到你的MySQL数据库。 MySQL 有些年头了 开源又成熟又牛逼 所以现在很多企业都在使用 MySQL MySQL 是关系型数据库 其实当前主流的数据库 例如 Oracle、DB2 阅读全文
摘要:
通过这段时间<!--more--> 小帅b教你从抓包开始 到数据爬取 到数据解析 再到数据存储 相信你已经能抓取大部分你想爬取的网站数据了 恭喜恭喜 但是 数据抓取下来 要好好分析一波 最好的方式就是把数据进行可视化 这样才能直观的感受到数据的魅力 不过有一点 现在市面上可以使用 python 的可 阅读全文
摘要:
大家好 我是小帅b 是一个练习时长两年半的练习生 喜欢 唱! 跳! rap! 篮球! 敲代码! 装逼! 不好意思 我又走错片场了 接下来的几篇文章 小帅b将告诉你 如何将你爬取到的数据保存下来 有文本文件、redis、数据库(MySQL、MangoDB)等的存储方式 今天先说说 CSV 什么是 CS 阅读全文
摘要:
小帅b说过 在这几篇中会着重说说将爬取下来的数据进行存储 上次我们说了一种 csv 的存储方式 这次主要来说说怎么将爬取下来的数据保存到 MySQL 数据库 接下来就是 学习python的正确姿势 真香假设 本文假设你已经安装好MySQL 并且懂了一些 MySQL 的使用 例如简单“增删改查”的语句 阅读全文
摘要:
昨天小帅b看到一些事情不顺眼 有人偷换概念 忍不住就写了一篇反讽 996 的 看不下去了,我支持996,年轻人就该996! 没想到有些人看不懂 这就算了 还来骂我 早些时候关注我的小伙伴应该知道我第一时间就发过反对 996 的文章 去他妈的996! python之父就是牛逼 哎~ 不过也好 洗掉一些 阅读全文
摘要:
你有没有想过让你的手机帮你自动完成某些事情 比如自动帮你抢红包 有些软件不是有签到活动么 这些傻瓜式的操作 能不能让手机自动签到呢? 自动帮你叫外卖 自动帮你打电话 等等 还有 对于手机上的一些比较难以通过抓包获取的数据 想不想像 selenium 那样轻松获取? 之前小帅b就给大家介绍了 sele 阅读全文
摘要:
接下来就是 学习python的正确姿势 做爬虫 绕不开模拟登录 为此小帅b给大家支了几招 python爬虫19 | 遇到需要的登录的网站怎么办?用这3招轻松搞定! 有些网站的登录很弱鸡 传个用户名和密码 来个 POST 请求就搞定了 但还是少数 大多网站还是需要验证码的 登录需要验证码 频繁请求需要 阅读全文
摘要:
今天 要来说说滑动验证码了 大家应该都很熟悉 点击滑块然后移动到图片缺口进行验证 现在越来越多的网站使用这样的验证方式 为的是增加验证码识别的难度 那么 对于这种验证码 应该怎么破呢 接下来就是 学习 python 的正确姿势 打开 b 站的登录页面 https://passport.bilibil 阅读全文