上一页 1 ··· 8 9 10 11 12 13 14 下一页
2019年2月15日
数据分析之Pandas
摘要： 一、Pandas介绍 1、介绍 pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。Pandas 纳入了大量库和一些标准的数据模型，提供了高效地操作大型数据集所需的工具。pandas提供了大量能使我们快速便捷地处理数据的函数和方法。你很快就会发现，它是使Python成为 阅读全文
posted @ 2019-02-15 22:30 我用python写Bug 阅读(1224) 评论(0) 推荐(0) 编辑
数据分析之Numpy
摘要： 什么是数据分析 是把隐藏在一些看似杂乱无章的数据背后的信息提炼出来，总结出所研究对象的内在规律 - 使得数据的价值最大化 - 分析用户的消费行为 - 制定促销活动的方案 - 制定促销时间和粒度 - 计算用户的活跃度 - 分析产品的回购力度 - 分析广告点击率 - 决定投放时间, - 制定广告定向人群 阅读全文
posted @ 2019-02-15 16:43 我用python写Bug 阅读(624) 评论(0) 推荐(0) 编辑
Jupyter Notebook(推荐使用Anaconda安装)
摘要： 一、Jupyter Notebook介绍 1、简介 Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。 简而言之，Jupyter Notebook是以网页的形式打开，可以在网页页面中直接编写代码和运行代码，代码的运行结果也 阅读全文
posted @ 2019-02-15 15:57 我用python写Bug 阅读(33959) 评论(0) 推荐(1) 编辑
2019年2月14日
增量式爬虫
摘要： 一、介绍 1、引言 比如当我们爬取一个小说网站的时候，第一天你把小说网站全部小说都爬下来了，存储好了。一个月后，当这个小说网站又新出了几本小说，你重新爬取这个网站的时候，如果你不是增量式爬虫，那么你的程序会重新把这个网站所有小说再爬一次，而实际上我们只需要把新增的小说爬下来即可，这就是增量式爬虫。 阅读全文
posted @ 2019-02-14 22:09 我用python写Bug 阅读(1460) 评论(0) 推荐(1) 编辑
基于scrapy-redis的分布式爬虫
摘要： 一、介绍 1、原生的scrapy框架 原生的scrapy框架是实现不了分布式的，其原因有： 1. 因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 2. 多台机器爬取到的数据无法通过同一个管道对数据 阅读全文
posted @ 2019-02-14 22:04 我用python写Bug 阅读(245) 评论(0) 推荐(0) 编辑
Scrapy框架之CrawlSpider
摘要： 一、介绍 CrawlSpider是Spider的一个子类，除了继承到Spider的特性和功能外，还派生除了其自己独有的更加强大的特性和功能。其中最显著的功能就是"LinkExtractors"链接提取器。Spider是所有爬虫的基类，其设计原则只是为了爬取start_url列表中网页，而从爬取到的网 阅读全文
posted @ 2019-02-14 21:59 我用python写Bug 阅读(235) 评论(0) 推荐(0) 编辑
爬虫之scrapy框架
摘要： 一、scrapy框架介绍 1、介绍 Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供 阅读全文
posted @ 2019-02-14 21:53 我用python写Bug 阅读(1032) 评论(0) 推荐(0) 编辑
2019年1月21日
mysql操作和详解
摘要： 温馨提示 mysql安装包里面：mysqld是服务端，mysql是客户端。 mysqld其实是SQL后台程序(也就是MySQL服务器)，它是关于服务器端的一个程序，mysqld意思是mysql daemon，在后台运行，监听3306端口，如果你想要使用客户端程序，这个程序必须运行，因为客户端是通过连 阅读全文
posted @ 2019-01-21 11:42 我用python写Bug 阅读(1083) 评论(0) 推荐(1) 编辑
2019年1月15日
mysql主从复制、redis基础、持久化和主从复制
摘要： 一、mysql(mariadb)基础 1、基础命令(centos7操作系统下) 1.启动mysql systemctl start mariadb 2.linux客户端连接自己 mysql -uroot -p -h 127.0.0.1 -u 用户 -p 密码验证 -h 连接的主机地址 3.远程链接m 阅读全文
posted @ 2019-01-15 21:23 我用python写Bug 阅读(618) 评论(0) 推荐(0) 编辑
2019年1月4日
轮询、长轮询和websocket
摘要： 一、轮询 在一些需要进行实时查询的场景下应用比如投票系统： 大家一起在一个页面上投票 在不刷新页面的情况下，实时查看投票结果 1、后端代码 from flask import Flask, render_template, request, jsonify app = Flask(__name__) 阅读全文
posted @ 2019-01-04 22:35 我用python写Bug 阅读(1383) 评论(0) 推荐(1) 编辑
上一页 1 ··· 8 9 10 11 12 13 14 下一页