06 2021 档案
摘要：之前有粉丝让我爬取网上热搜话题，根据粉丝的这个提议，我想到了爬取不同平台的热搜话题并做成了一个：全网实时热搜话题『跑马灯』可视化。 特点：实时、可视化浏览 这里的热搜数据来源主要是：微博和知乎，选择这两个平台的目的：1.用户流量大、2.直接的热搜数据Api接口。 先看一下效果： 动图版： 1、获取数
阅读全文
摘要：今日目标：微博，以李易峰的微博为例： https://weibo.com/liyifeng2007?is_all=1 然后进入评论页面，进入XHR查找真是地址： https://weibo.com/aj/v6/comment/big?ajwvr=6&id=4353796790279702&from=
阅读全文
摘要：01、前言 很多电影也上映，看电影前很多人都喜欢去 『豆瓣』 看影评，所以我爬取44130条 『豆瓣』 的用户观影数据，分析用户之间的关系，电影之间的联系，以及用户和电影之间的隐藏关系。 02、爬取观影数据 数据来源 https://movie.douban.com/ 在****『豆瓣』****平台
阅读全文
摘要：痛点： 相信大家都会遇到一种场景。老师/上司要求你把某个文件转为pdf，并且是一批（不止一个，一个的话手动就可以搞定），并且这种是枯燥无聊的工作，既没有什么技术含量又累。 试想一下，如果我把这些文件放到一个文件夹下，执行一下程序，几分钟后这些文件就转好。这样半天的活，只要花几分钟就解决了。岂不是美滋
阅读全文
摘要：今天教大家如何用Python爬虫去搭建一个「生活常识解答」机器人。 思路：这个机器人主要是依托于“阿里达摩院发布的语言模型PLUG”，通过爬虫的方式，发送post请求（提问），然后返回json数据（回答） 1、问答平台 这个「生活常识解答」机器人采用的是：阿里达摩院发布的语言模型PLUG（最近刚发布
阅读全文
摘要：辰哥今天来分享一篇办公干货文章：用Python批量识别发票并录入到Excel表格。对于财务专业等学生或者公司财务人员来说，将报账发票等汇总到excel简直就是一个折磨。 尤其是到年底的时候，公司的财务人员面对一大堆的发票简直就是苦不堪言。正好我们学会了Python，我们应该将Python的优势发挥起
阅读全文
摘要：相信大家都有遇到这种情况（无法复制）： 或者是这种情况 以上这种情况都是网页无法复制文本的情况。不过这些对于Python来说都不是问题。今天辰哥就叫你们用Python去解决。 思路：利用pdfkit库将html网页保存为pdf 01、小案例 1、安装pdfkit库 pip install pdfki
阅读全文
摘要：听说你在自己喜欢的明星壁纸？比如李易峰，王一博，易烊千玺、王源、王俊凯，李现等。今天教你批量下载这些明星高清壁纸**（文末有福利）** 最近图慌，闲来无事爬取李易峰的高清图片，当做手机壁纸也是不错的选择。 废话不多说，下面上效果图： 是不是很帅气呢？ 爬取的步骤也非常简单： 1、获取目标网址。 2、
阅读全文
摘要：Python除了爬虫、深度学习（人工智能）、数据分析等外，还可以用来开发网站系统，如我们常见的知乎，豆瓣等都是用Python开发的网站系统。 今天辰哥就来教大家如何新建属于自己的Django项目，让Django学习不再迷茫，本文会以图文的形式，一步一步的讲解，让大家看完本文后对Django不再陌生。
阅读全文
摘要：618购物节，辰哥准备分析一波购物节大家都喜欢买什么？本文以某东为例，Python爬取618活动的畅销商品数据，并进行数据清洗，最后以可视化的方式从不同角度去了解畅销商品中，名列前茅的商品是哪些？销售数据如何？用户好评如何？等等 本文结构如下： 1、爬取某东畅销商品数据 2、清洗数据并并进行简单分析
阅读全文
摘要：大家可能会遇到这样一种情况：有没有什么办法可以将邮箱里面的邮件全部下载到本地（包括图文、压缩附件、文档附件等）。比如HR、收集意见的工作人员甚至是一些负责收邮件的老师等人都会遇到这种情况。 今天辰哥就教大家如何利用Python去下载邮箱中的全部邮件，本文核心库主要是zmail。 01、准备工作 1.
阅读全文
摘要：今天辰哥教大家一个Python有趣好玩的小功能：将多张图片转为GIF，同时也可以将一个GIF动图提取出里面的图片 在开始之前，先来一个动图开头（预览） 01、图片转GIF动图 1、准备工作 在开始合并前，先明确要转换哪些图片，以及安装对应的Python库 这里在网上找了9张图片，并存放在img文件夹
阅读全文
摘要：今天辰哥来教大家从一本小说/名著里面提取出人名，并对人名之间的关系进行统计（同一段里面人名两两出现），根据人名之间的关系进行绘制关系图--gephi 核心知识点： 提取文本中人名 统计文本中人物之间的关系 绘制网络关系图 先看一下效果： 01 jieba小例子 在开始分析《斗罗大陆》小说之前，先来一
阅读全文
摘要：在wps或者office里面可以将pdf转word，不过只能免费转前面5页，超过5页就需要会员。今天教大家一个Python办公小技巧：批量Pdf转Word ，这样可以自由想转多少页都可以。 思路：这里主要是利用了Python的pdfmine3k库去提取pdf文本内容，通过python-docx库去将
阅读全文
摘要：今天准备爬取某某点评店铺信息时，遇到了『字体』反爬。比如这样的： 还有这样的： 可以看到这些字体已经被加密（反爬） 竟然遇到这种情况，那辰哥就带大家如何去解决这类反爬（字体反爬类） 01 网页分析 在开始分析反爬之前，先简单的介绍一下背景（爬取的网页） 辰哥爬取的某某点评的店铺信息。一开始查看网页源
阅读全文
摘要：爬虫采集下来的数据除了存储在文本文件、excel之外，还可以存储在数据集，如：Mysql，redis，mongodb等，今天辰哥就来教大家如何使用Python连接Mysql，并结合爬虫为大家讲解。 前提：这里默认大家已经安装好mysql。 01 Mysql简介 mysql是关系型数据库，支持大型的数
阅读全文
摘要：【原创】
阅读全文
摘要：大家好，我是辰哥 辰哥在平时处理音频格式的时候，需要去下载各种音频处理软件（专业一点的软件还要收费），掌握Python技术的我们，知道Python是万能的（哈哈哈，开个玩笑）。今天辰哥就来教大家用Python去实现音频格式无损转换-pydub pydub支持音频的各种格式之间进行相互转换。演示效果如
阅读全文