随笔分类 - 大数据

python爬取安居客二手房网站数据（转）

摘要：之前没课的时候写过安居客的爬虫，但那也是小打小闹，那这次呢，还是小打小闹哈哈，现在开始正式进行爬虫书写首先，需要分析一下要爬取的网站的结构：作为一名河南的学生，那就看看郑州的二手房信息吧！在上面这个页面中，我们可以看到一条条的房源信息，从中我们发现了什么，发现了连郑州的二手房都是这么的贵，阅读全文

posted @ 2019-04-22 20:17 谦信君阅读(3291) 评论(0) 推荐(0) 编辑

数据挖掘工具分析北京房价（一）数据爬取采集（转）

摘要：一. 前言房价永远是最让人头疼且激动的话题，尤其是在帝都，多少人一辈子都为了一套房子打拼。正好我也想用一个大家比较关心的话题作为案例，把目前我开发的这套软件进行一次完整的演练。从数据采集，到清洗，分析，和最终可视化和报告的呈现，实现一次完整的流程。一方面可以给大家切实的分享一些有用的信息，再者可以阅读全文

posted @ 2017-05-31 15:22 谦信君阅读(830) 评论(0) 推荐(0) 编辑

使用python抓取并分析数据—链家网(requests+BeautifulSoup)（转）

摘要：本篇文章是使用python抓取数据的第一篇，使用requests+BeautifulSoup的方法对页面进行抓取和数据提取。通过使用requests库对链家网二手房列表页进行抓取，通过BeautifulSoup对页面进行解析，并从中获取房源价格，面积，户型和关注度的数据。准备工作首先是开始抓取前阅读全文

posted @ 2017-05-31 12:01 谦信君阅读(4925) 评论(0) 推荐(0) 编辑

服务端指南数据存储篇 | 聊聊 Redis 使用场景（转）

摘要：作者：梁桂钊本文，是升级版，补充部分实战案例。梳理几个场景下利用 Redis 的特性可以大大提高效率。随着数据量的增长，MySQL 已经满足不了大型互联网类应用的需求。因此，Redis 基于内存存储数据，可以极大的提高查询性能，对产品在架构上很好的补充。在某些场景下，可以充分的利用 Redis 阅读全文

posted @ 2017-05-26 16:12 谦信君阅读(292) 评论(0) 推荐(0) 编辑