摘要：
先来看一下题目。 进入到待爬取网站看是这样的。 是一些形状不同的图片数字，因为做了雪碧图1，所以考虑能不能用模板匹配的方式来解决问题。打开开发者选项，里面是这样子的一张图片。 根据经验，在网页源代码的<style></style>里面会有每个数字的样式属性，这里需要的是x，y，w，h，这样就可以将对 阅读全文
摘要：
这一次分享的是雪碧图，先看看题目。 这个题目关键的地方其实就是识别出图片中的数字，先看一下源码。 在<style></style>里面找到，这个sprite存的就是图片的信息，将base64后面的字符串解码后，保存成图片格式就可以得到图片了。 下载下来的图片是这样子的，从0到9。 那下面来看网页上的 阅读全文
摘要：
这一道题是css反爬，看看题目。 直接上网站，http://glidedsky.com/level/web/crawler-css-puzzle-1。首先也是先来看看源码，可以发现显示数字的div是这样的。 有些有数字有些没有，那么先随便复制一个class搜索看看，发现他们的样式就在源码上面。 那么 阅读全文
摘要：
最近工作内容比较少，空闲的时候研究了一下glidedsky这个网站的反爬。 两道基础题比较简单就不分享了，直接到这个字体反爬1。首先看题目。 待爬取的网站是这个http://glidedsky.com/level/web/crawler-font-puzzle-1。最后的要求是数字求和，但是网页中显 阅读全文
摘要：
最近在学习图像的知识，使用到了图像旋转，所以自己学了一下图像旋转的原理，自己用python写了一遍。 这里用到的知识有图像旋转和双线性插值法，这两篇是我参考的文章：图像旋转算法原理、图像处理之双线性插值法。 简单介绍一下图像旋转的过程：1.首先将图像坐标系转换为数学坐标系。2.使用旋转公式对坐标进行 阅读全文
摘要：
最近在学习mxnet框架，然后fashion-mnist数据集的下载设置国内站点会比较快，就在运行Jupyter记事本前指定MXNet使用国内站点下载数据。 set MXNET_GLUON_REPO=https://apache-mxnet.s3.cn-north-1.amazonaws.com.c 阅读全文
摘要：
最近在使用pytorch，然后在import troch 的时候出现了Key already registered with the same priority: GroupSpatialSoftmax的错误。 这里是因为环境里面torch包名重复了，我在装了cpu版本之后，又装了gpu版本的，所以 阅读全文
摘要：
话不多说，直接进入正题，这次采集的对象是B站吃播up主，山药村二牛，本人一直挺喜欢他的视频，所以想采集一下他的视频信息，然后分析数据，看下他视频的情况。 首先是爬虫部分，采集的逻辑是从视频页将每个视频的信息和地址采集下来，再请求地址采集视频的弹幕。 进入视频页，https://space.bilib 阅读全文
摘要：
分享一下最近学习到的豆瓣搜索页爬虫。 链接为：https://search.douban.com/movie/subject_search?search_text={search_text}&cat=1002 ,其中{search_text}为url编码后的搜索关键字。 请求后查看源码，可以发现，搜 阅读全文
摘要：
最近本人在使用Flask+pyecharts实现数据可视化，总结以下我遇到的问题。 首先，我的需求是，有一系列城市的名称以及城市对应的参数，然后要在地图上将数据显示出来。我的设计是使用Flask作为后台，ajax请求数据，在pyecharts官网（https://pyecharts.org/#/）上 阅读全文