摘要：
一、Jupyter Notebook介绍 1、简介 Jupyter Notebook是基于网页的用于交互计算的应用程序。其可被应用于全过程计算：开发、文档编写、运行代码和展示结果。 简而言之，Jupyter Notebook是以网页的形式打开，可以在网页页面中直接编写代码和运行代码，代码的运行结果也 阅读全文
posted @ 2019-02-15 15:57
我用python写Bug
阅读(35751)
评论(0)
推荐(1)
摘要：
一、介绍 1、引言 比如当我们爬取一个小说网站的时候，第一天你把小说网站全部小说都爬下来了，存储好了。一个月后，当这个小说网站又新出了几本小说，你重新爬取这个网站的时候，如果你不是增量式爬虫，那么你的程序会重新把这个网站所有小说再爬一次，而实际上我们只需要把新增的小说爬下来即可，这就是增量式爬虫。 阅读全文
posted @ 2019-02-14 22:09
我用python写Bug
阅读(1521)
评论(0)
推荐(1)
摘要：
一、介绍 1、原生的scrapy框架 原生的scrapy框架是实现不了分布式的，其原因有： 1. 因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。（多台机器无法共享同一个调度器） 2. 多台机器爬取到的数据无法通过同一个管道对数据 阅读全文
posted @ 2019-02-14 22:04
我用python写Bug
阅读(277)
评论(0)
推荐(0)
摘要：
一、介绍 CrawlSpider是Spider的一个子类，除了继承到Spider的特性和功能外，还派生除了其自己独有的更加强大的特性和功能。其中最显著的功能就是"LinkExtractors"链接提取器。Spider是所有爬虫的基类，其设计原则只是为了爬取start_url列表中网页，而从爬取到的网 阅读全文
posted @ 2019-02-14 21:59
我用python写Bug
阅读(279)
评论(0)
推荐(0)
摘要：
一、scrapy框架介绍 1、介绍 Scrapy，Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。 Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供 阅读全文
posted @ 2019-02-14 21:53
我用python写Bug
阅读(1159)
评论(0)
推荐(0)
摘要：
温馨提示 mysql安装包里面：mysqld是服务端，mysql是客户端。 mysqld其实是SQL后台程序(也就是MySQL服务器)，它是关于服务器端的一个程序，mysqld意思是mysql daemon，在后台运行，监听3306端口，如果你想要使用客户端程序，这个程序必须运行，因为客户端是通过连 阅读全文
posted @ 2019-01-21 11:42
我用python写Bug
阅读(1169)
评论(0)
推荐(1)
摘要：
一、mysql(mariadb)基础 1、基础命令(centos7操作系统下) 1.启动mysql systemctl start mariadb 2.linux客户端连接自己 mysql -uroot -p -h 127.0.0.1 -u 用户 -p 密码验证 -h 连接的主机地址 3.远程链接m 阅读全文
posted @ 2019-01-15 21:23
我用python写Bug
阅读(690)
评论(0)
推荐(0)
摘要：
一、轮询 在一些需要进行实时查询的场景下应用比如投票系统： 大家一起在一个页面上投票 在不刷新页面的情况下，实时查看投票结果 1、后端代码 from flask import Flask, render_template, request, jsonify app = Flask(__name__) 阅读全文
posted @ 2019-01-04 22:35
我用python写Bug
阅读(1541)
评论(0)
推荐(1)
摘要：
一、time模块 三种格式 时间戳时间：浮点数 单位为秒 时间戳起始时间： 1970.1.1 0:0:0 英国伦敦时间 1970.1.1 8:0:0 我国(东8区) 结构化时间：元组(struct_time) 格式化时间：str数据类型的 1、常用方法 import time time.sleep( 阅读全文
posted @ 2018-12-21 16:21
我用python写Bug
阅读(483)
评论(0)
推荐(0)
摘要：
一、Redis介绍 1、介绍 Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。 redis是一个高性能的key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string 阅读全文
posted @ 2018-12-20 19:32
我用python写Bug
阅读(358)
评论(0)
推荐(0)
浙公网安备 33010602011771号