摘要：
Scrapy 深入了解2 利用ImagesPipeline管道类爬取图片 ### 编码流程 - 从spider爬虫文件夹下的爬虫文件 解析出图片地址 - 将图片的地址封装到 item中,并提交到管道 - 管道文件中自定义一个 ImagesPipeline为父类的管道类 - 重写 3 个方法 - de 阅读全文
摘要：
Flask CBV,session和redis,以及总结 一丶Flask CBV # flask cbv 只针对类视图 ### 使用cbv from flask import views # 导入cbv的视图基类 ,views是一个py文件,里面包含3个类 class Login(views.Met 阅读全文
摘要：
Scrapy 框架 ### 安装 流程 - 环境的安装： - mac/linux：pip install scrapy - window: - pip install wheel - 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twist 阅读全文
摘要：
爬虫中的js混淆 # js 混淆 : 1. 开发人员将javascript代码,利用js加密工具进行加密,生成看不懂的js代码 # 暴力破解 js混淆: 1. 将源代码 放到破解网站可以的到能看懂的js代码 2. 破解网站: http://www.bm8.com.cn/jsConfusion 爬虫的 阅读全文
摘要：
ES 番外篇 ES 批量写入 顺序写入 100条 # 写入 100条数据 import time from elasticsearch import Elasticsearch es = Elasticsearch() def timer(func): def wrapper(*args, **kw 阅读全文
摘要：
Es 总结 什么是分片? # put a1/doc/1 - a1 索引下 创建了5个主分片, 每一个主分片对应一个复制分片 es 如何处理分页? - from / size elsaticsearch 和 lucene 的区别 - lucene : 是搜索引擎库 - es 封装了lucene , 把 阅读全文
摘要：
ElasticSearch ES 之 增删改查 GET _search { "query": { "match_all": {} } } # 添加doc文本数据 PUT ttt/doc/1 { "name":"ttt" } # 获取数据 格式:数据库/类型/索引 GET ttt/doc/2 PUT 阅读全文
摘要：
插值 插值 # 通俗理解: 在一段连续的函数中,插入指定n个点, 填满空隙 一维插值 import matplotlib.pyplot as plt import numpy as np from scipy import interpolate import pylab as pl # 生成 11 阅读全文
摘要：
SQLAlachemy 简介 : 是一个ORM的库 安装 pip install sqlalchemy 简单使用 # 导入 sqlalchemy from sqlalchemy import Column,String,create_engine from sqlalchemy.orm import 阅读全文
摘要：
MongoDB 一丶MongoDB的初识 # 1. MongoDB 是非关系数据库 , 文件存储类型. # "引用不存在的 对象 , 创建这个对象" # 2. 默认监听端口 27017 # 3. Windows 启动Mongdb 指定数据存储文件 --dbpath="d:/data/db" # 4. 阅读全文