02 2021 档案
摘要：01前言 上一篇文章以『B站』为实战案例！手把手教你掌握爬虫必备框架『Scrapy』利用了scrapy爬取B站数据。本文将在此基础上完善代码，爬起更多的内容并保存到csv。 总共爬取1907条『课程学习』数据，分析哪类学习资源最火热最受大学生群体青睐。...
阅读全文
摘要：1前言 作为爬虫一员，掌握一门爬虫框架是必备技能，因此作为一名小白的你，我想向你推荐『Scrapy』。 具体『Scrapy』是什么，作用这些就不啰嗦（都是废话，百度有Scrapy简介），时间宝贵，就直接上干货（实战案例带你体验scrapy的使用）。 ...
阅读全文
摘要：01前言 去年接触基金，体会到了基金的香（真香），今天也是过年后基金开始交易的第一天，今天爬取『蛋卷基金』数据，通过pyecharts动图可视化方式展示基金的涨跌情况。 本文将围绕这三点去进行爬取数据，动图可视化展示数据： 近一月涨跌幅前10名 ...
阅读全文
摘要：简介 最近有几个小伙伴在问怎么给python编程的网站配置https，加上上次接了一个单子（用flask写api接口），对方也要求配置ssl加密https访问方式。 为了解答和记录一下这些内容，所以今天的文章内容是：部署Flask网站+域名访问+免费https证书。 一、部署Flask网站 这里就不
阅读全文
摘要：一、简介 1、这两天在朋友圈、短视频，微博这些社交平台经常刷到这些内容（王者荣耀芈月白晶晶的皮肤）。 2、好奇的我就去百度了一下，发现是王者荣耀最近出的一个皮肤，看到很多人都在讨论，我也开始爬取评论，看看大家对这款皮肤的看法？以及为什么这么热门！ 3、这个皮肤是与电影《大话西游》有关，具体介绍可以去
阅读全文
摘要：01前言 今年给大家爬取『大年初一』上映的几部热门数据（评分、时长、类型）以及相关网友评论等数据 对评分、时长、类型进行图表可视化 采用不同词云图案对七部电影『评论』词云秀！！！！ 02数据获取 1.评分数据 网页分析 查看网页源代码，可...
阅读全文
摘要：除夕快乐！ 大家都在外奔波了一年，今天是除夕，大家也可以回家放松放松，陪陪家人，我在这里祝看到这篇文章的朋友除夕快乐！ 同时也感谢大家对我的支持，新的一年里我将持续输出优质文章。 废话不啰嗦了，趁着除夕给大家分享一篇干货文章。 01 前言 明天就是大年初一...
阅读全文
摘要：01 前言 想着爬取『豆瓣』的用户和电影数据进行『挖掘』，分析用户和电影之间以及各自之间的关系，数据量起码是万级别的。 但是在爬取过程中遇到了反爬机制，因此这里给大家分享一下如何解决爬虫的反爬问题？（以豆瓣网站为例） 02 问题分析 起初代码 heade...
阅读全文
摘要：01、前言 上一篇文章（爬取淘宝热卖商品并可视化分析，看看大家都喜欢买什么！）爬取分析了淘宝的热卖商品，从分析来看『螺蛳粉』的销量巨高。因此这篇文章将爬取淘宝全部『螺蛳粉』商品数据，通过可视化分析淘宝螺蛳粉的一些秘密！ 前言介绍这些废话就不多啰嗦了，直...
阅读全文
摘要：01、前言 还有几天就过年了，大家都在囤年货（我也是），于是我就在淘宝上看看有什么好的，可以买一买。 突然萌发一下想法，可以通过python来获取大家在淘宝都喜欢买什么，有了这个想法后，那便开始动手写程序实现这个想法！ 02、采集数据 ...
阅读全文
摘要：简介 最近有几个小伙伴在问怎么给python编程的网站配置https，加上上次接了一个单子（用flask写api接口），对方也要求配置ssl加密https访问方式。 为了解答和记录一下这些内容，所以今天的文章内容是：部署Flask网站+域名访问+免费h...
阅读全文