摘要：
MySQL之索引原理与慢查询优化 阅读目录 一 介绍 二 索引的原理 三 索引的数据结构 四 聚集索引与辅助索引 五 MySQL索引管理 六 测试索引 七 正确使用索引 八 联合索引与覆盖索引 九 查询优化神器-explain 十 慢查询优化的基本步骤 十一 慢日志管理 一 介绍 为何要有索引? 一 阅读全文
摘要：
from django.test import TestCase import datetime,time #获取当前时间的两种方法 now = time.strftime("%Y-%m-%d %H:%M:%S") print(now) #2019-01-28 20:25:39 now = date 阅读全文
摘要：
一、自定义命令 1.不用在命令窗口 敲命令，通过py文件执行爬虫程序。 （1）在项目配置文件scrapy.cfg同级目录下创建一个start.py 文件。 （2）在start.py 文件中写入以下代码： from scrapy.cmdline import execute execute(['scr 阅读全文
摘要：
scrapy 爬虫类 一. 重写 start_request 方法 1. scrapy 起始url 在创建爬虫的时候，父类中会执行start_request 函数，并且默认的回调函数为 def parge(self,response):pass 2. start_request函数 循环url 封装 阅读全文
摘要：
CrawlSpider爬虫的创建 1. 创建项目 scrapy startproject 项目名例如：scrapy startproject circ 2. 创建CrawlSpider 爬虫 scrapy genspider -t crawl 爬虫名 网站名例如：scrapy genspider - 阅读全文
摘要：
多条件登录 JWT扩展的登录视图，在收到用户名与密码时，也是调用Django的认证系统中提供的authenticate()来检查用户名与密码是否正确。 我们可以通过修改Django认证系统的认证后端（主要是authenticate方法）来支持登录账号既可以是用户名也可以是手机号。 修改Django认 阅读全文
摘要：
方式一 ：在页面中引入vue-video组件实现视频播放 此种方式引入视频播放不能对视频进行加密。 1.安装依赖 npm install vue-video-player --save 2. 在前端项目，main.js文件中引入 //2. 在main.js中注册加载组件 require('video 阅读全文
摘要：
PySpider 相关资源： GitHub： https://github.com/binux/pyspider 文档： http://docs.pyspider.org/en/latest/ 安装 windows 安装 pyspider pip install pyspider 启动 pyspid 阅读全文
摘要：
scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 scrapy-redis组件 1. URL去 阅读全文
摘要：
jupyter的安装 jupyter 的启动 jupyter notebook 2. 到指定目录下启动jupyter 然后 到该终端 cd 到指定的目录下去启动 jupyter 阅读全文
摘要：
1.查看docker 运行状态 systemctl status docker 2.查看docker服务是否自启动 systemctl is-enabled docker 3.查看docker下运行的所有容器 4.启动docker systemctl start docker 5. 启动docker 阅读全文
摘要：
目标网站： http://beijingair.sinaapp.com/ 目标文件的格式： 此处以爬取一个文件内容为例： http://beijingair.sinaapp.com/data/beijing/all/20131205/csv 爬取更多 文件 ： 文件中的数据格式： 1.创建项目： s 阅读全文
摘要：
1. SQL CREATE TABLE `JDAll` ( `shop_id` VARCHAR (16) NOT NULL, //商品ID `url` VARCHAR (255) DEFAULT NULL, //商品url `title` VARCHAR (1024) DEFAULT NULL, / 阅读全文
摘要：
numpy 的使用 读取图片，显示图片： 对图片进行操作： numpy 的操作 1. 索引 2. 切片 颜色也可以倒置： a2 =img_arr[::-1,::-1,::-1]plt.imshow(a2) 图片倒置的另一种方式： 1. 将元数据变成一维 2. 将变形后的一维数组全部倒置，用切片 3. 阅读全文
摘要：
#!/usr/bin/env python # encoding: utf-8 from requests_html import HTMLSession import re import os from fontTools.ttLib import TTFont class QiCheZhiJia 阅读全文
摘要：
selenium中使用代理ip # coding=utf8 """ author:dengjiyun """ from selenium import webdriver options= webdriver.ChromeOptions() options.add_argument("--proxy 阅读全文
摘要：
1.安装 pip install bloom_filter 2. 简单使用 # coding=utf8 """ author:dengjiyun """ from bloom_filter import BloomFilter # 生成一亿个大小的 bloom=BloomFilter(max_ele 阅读全文
摘要：
Spark 版本为 3.0.0，默认采用的 Scala 编译版本为 2.12 1. idea 增加 Scala 插件 2. 添加依赖 阅读全文
摘要：
#! /bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do echo " 启动 $i Kafka " ssh $i "/opt/module/kafka/bin/kafka-server-start.sh - 阅读全文
该文被密码保护。 阅读全文