摘要:
01 前言 想着爬取『豆瓣』的用户和电影数据进行『挖掘』,分析用户和电影之间以及各自之间的关系,数据量起码是万级别的。 但是在爬取过程中遇到了反爬机制,因此这里给大家分享一下如何解决爬虫的反爬问题?(以豆瓣网站为例) 02 问题分析 起初代码 heade... 阅读全文
摘要:
01、前言 上一篇文章(爬取淘宝热卖商品并可视化分析,看看大家都喜欢买什么!)爬取分析了淘宝的热卖商品,从分析来看『螺蛳粉』的销量巨高。因此这篇文章将爬取淘宝全部『螺蛳粉』商品数据,通过可视化分析淘宝螺蛳粉的一些秘密! 前言介绍这些废话就不多啰嗦了,直... 阅读全文
摘要:
01、前言 还有几天就过年了,大家都在囤年货(我也是),于是我就在淘宝上看看有什么好的,可以买一买。 突然萌发一下想法,可以通过python来获取大家在淘宝都喜欢买什么,有了这个想法后,那便开始动手写程序实现这个想法! 02、采集数据 ... 阅读全文
摘要:
简介 最近有几个小伙伴在问怎么给python编程的网站配置https,加上上次接了一个单子(用flask写api接口),对方也要求配置ssl加密https访问方式。 为了解答和记录一下这些内容,所以今天的文章内容是:部署Flask网站+域名访问+免费h... 阅读全文
摘要:
一、简介 1、这两天在朋友圈、短视频,微博这些社交平台经常刷到这些内容(王者荣耀芈月白晶晶的皮肤)。 2、好奇的我就去百度了一下,发现是王者荣耀最近出的一个皮肤,看到很多人都在讨论,我也开始爬取评论,看看大家对这款皮肤的看法?以及为什么这么热门! ... 阅读全文
摘要:
一、简介 玩过几个月的基金,所以今天闲着没事看能不能编程实现-从采集基金数据然后进行分析 这里以白酒为例,相信玩过基金的人都知道,白酒这个基金上过几次热搜,在基金排行榜也是无人不知,所以选择了白酒为例(最重要的是2021-1-25,白酒涨幅了6.35%,这个是什么概念!!就是你买一百元就赚6.35元 阅读全文
摘要:
一、简介 玩过几个月的基金,所以今天闲着没事看能不能编程实现-从采集基金数据然后进行分析 这里以白酒为例,相信玩过基金的人都知道,白酒这个基金上过几次热搜,在基金排行榜也是无人不知,所以选择了白酒为例(最重要的是2021-1-25,白酒涨幅了6.35%... 阅读全文
摘要:
一、背景 1.这个网站的作用 分享各种福利软件 2.为什么弄这个网站 起初在公众号也会发现一下免费的福利软件资源,但是公众号审核要求较严,所以在公众号发现诸多不便。 再则,公众号每天只能发表一条信息,个人感觉有点受限。所以考虑再三,写一个网站去分享这些资源。 3.如何制作这个网站 哈哈哈哈哈哈哈哈哈 阅读全文
摘要:
一、简介 前几天接了一个小活,对彩票娱乐网站数据进行采集,最后做成api接口, 便于对方获取数据(接口返回json数据)。由于比较简单,很适合小白学习,半天时间(商谈需求到最后完成交接)。这里记录一下这个过程。 采集内容 比如这个“xx快3”,需要1.获取倒计时,最新和历史的:2.开奖期号、3.开奖 阅读全文
摘要:
一、简介 路径规划中包括步行、公交、驾车、骑行等不同方式,今天借助高德地图web服务api,实现出行路线规划。 思路 根据地点获取经纬度 根据经纬度调用api获取路线 对路线数据进行处理,便于浏览 高德地图API 对应链接 https:/... 阅读全文