05 2021 档案

摘要:Scrapy 深入了解2 利用ImagesPipeline管道类爬取图片 ### 编码流程 - 从spider爬虫文件夹下的爬虫文件 解析出图片地址 - 将图片的地址封装到 item中,并提交到管道 - 管道文件中自定义一个 ImagesPipeline为父类的管道类 - 重写 3 个方法 - de 阅读全文
posted @ 2021-05-30 22:59 染指未来 阅读(157) 评论(0) 推荐(0) 编辑
摘要:Flask CBV,session和redis,以及总结 一丶Flask CBV # flask cbv 只针对类视图 ### 使用cbv from flask import views # 导入cbv的视图基类 ,views是一个py文件,里面包含3个类 class Login(views.Met 阅读全文
posted @ 2021-05-23 20:52 染指未来 阅读(83) 评论(0) 推荐(0) 编辑
摘要:Scrapy 框架 ### 安装 流程 - 环境的安装: - mac/linux:pip install scrapy - window: - pip install wheel - 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twist 阅读全文
posted @ 2021-05-23 20:51 染指未来 阅读(90) 评论(0) 推荐(0) 编辑
摘要:爬虫中的js混淆 # js 混淆 : 1. 开发人员将javascript代码,利用js加密工具进行加密,生成看不懂的js代码 # 暴力破解 js混淆: 1. 将源代码 放到破解网站可以的到能看懂的js代码 2. 破解网站: http://www.bm8.com.cn/jsConfusion 爬虫的 阅读全文
posted @ 2021-05-23 20:50 染指未来 阅读(243) 评论(0) 推荐(0) 编辑
摘要:ES 番外篇 ES 批量写入 顺序写入 100条 # 写入 100条数据 import time from elasticsearch import Elasticsearch es = Elasticsearch() def timer(func): def wrapper(*args, **kw 阅读全文
posted @ 2021-05-23 11:29 染指未来 阅读(427) 评论(0) 推荐(0) 编辑
摘要:Es 总结 什么是分片? # put a1/doc/1 - a1 索引下 创建了5个主分片, 每一个主分片对应一个复制分片 es 如何处理分页? - from / size elsaticsearch 和 lucene 的区别 - lucene : 是搜索引擎库 - es 封装了lucene , 把 阅读全文
posted @ 2021-05-19 23:05 染指未来 阅读(175) 评论(0) 推荐(0) 编辑
摘要:ElasticSearch ES 之 增删改查 GET _search { "query": { "match_all": {} } } # 添加doc文本数据 PUT ttt/doc/1 { "name":"ttt" } # 获取数据 格式:数据库/类型/索引 GET ttt/doc/2 PUT 阅读全文
posted @ 2021-05-11 22:58 染指未来 阅读(96) 评论(0) 推荐(0) 编辑
摘要:插值 插值 # 通俗理解: 在一段连续的函数中,插入指定n个点, 填满空隙 一维插值 import matplotlib.pyplot as plt import numpy as np from scipy import interpolate import pylab as pl # 生成 11 阅读全文
posted @ 2021-05-11 10:54 染指未来 阅读(362) 评论(0) 推荐(0) 编辑
摘要:SQLAlachemy 简介 : 是一个ORM的库 安装 pip install sqlalchemy 简单使用 # 导入 sqlalchemy from sqlalchemy import Column,String,create_engine from sqlalchemy.orm import 阅读全文
posted @ 2021-05-11 10:37 染指未来 阅读(86) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示