10 2023 档案
摘要：1. google 抓包，F12 ,用价格搜索 2.编写如下影刀代码，既可抓取到详情页数据
阅读全文
摘要：参数为： --proxy-server="127.0.0.1:1234" google浏览器中的属性： 类似如下： C:\Program Files\Google\Chrome\Application\chrome.exe" --user-data-dir=D:\chrome\102 --proxy
阅读全文
摘要：MySQL之索引原理与慢查询优化 阅读目录 一 介绍 二 索引的原理 三 索引的数据结构 四 聚集索引与辅助索引 五 MySQL索引管理 六 测试索引 七 正确使用索引 八 联合索引与覆盖索引 九 查询优化神器-explain 十 慢查询优化的基本步骤 十一 慢日志管理 一 介绍 为何要有索引? 一
阅读全文
摘要：from django.test import TestCase import datetime,time #获取当前时间的两种方法 now = time.strftime("%Y-%m-%d %H:%M:%S") print(now) #2019-01-28 20:25:39 now = date
阅读全文
摘要：一、自定义命令 1.不用在命令窗口 敲命令，通过py文件执行爬虫程序。 （1）在项目配置文件scrapy.cfg同级目录下创建一个start.py 文件。 （2）在start.py 文件中写入以下代码： from scrapy.cmdline import execute execute(['scr
阅读全文
摘要：scrapy 爬虫类 一. 重写 start_request 方法 1. scrapy 起始url 在创建爬虫的时候，父类中会执行start_request 函数，并且默认的回调函数为 def parge(self,response):pass 2. start_request函数 循环url 封装
阅读全文
摘要：CrawlSpider爬虫的创建 1. 创建项目 scrapy startproject 项目名例如：scrapy startproject circ 2. 创建CrawlSpider 爬虫 scrapy genspider -t crawl 爬虫名 网站名例如：scrapy genspider -
阅读全文
摘要：多条件登录 JWT扩展的登录视图，在收到用户名与密码时，也是调用Django的认证系统中提供的authenticate()来检查用户名与密码是否正确。 我们可以通过修改Django认证系统的认证后端（主要是authenticate方法）来支持登录账号既可以是用户名也可以是手机号。 修改Django认
阅读全文
摘要：方式一 ：在页面中引入vue-video组件实现视频播放 此种方式引入视频播放不能对视频进行加密。 1.安装依赖 npm install vue-video-player --save 2. 在前端项目，main.js文件中引入 //2. 在main.js中注册加载组件 require('video
阅读全文
摘要：PySpider 相关资源： GitHub： https://github.com/binux/pyspider 文档： http://docs.pyspider.org/en/latest/ 安装 windows 安装 pyspider pip install pyspider 启动 pyspid
阅读全文
摘要：scrapy-redis是一个基于redis的scrapy组件，通过它可以快速实现简单分布式爬虫程序，该组件本质上提供了三大功能： scheduler - 调度器 dupefilter - URL去重规则（被调度器使用） pipeline - 数据持久化 scrapy-redis组件 1. URL去
阅读全文
摘要：jupyter的安装 jupyter 的启动 jupyter notebook 2. 到指定目录下启动jupyter 然后 到该终端 cd 到指定的目录下去启动 jupyter
阅读全文
摘要：1.查看docker 运行状态 systemctl status docker 2.查看docker服务是否自启动 systemctl is-enabled docker 3.查看docker下运行的所有容器 4.启动docker systemctl start docker 5. 启动docker
阅读全文
摘要：目标网站： http://beijingair.sinaapp.com/ 目标文件的格式： 此处以爬取一个文件内容为例： http://beijingair.sinaapp.com/data/beijing/all/20131205/csv 爬取更多 文件 ： 文件中的数据格式： 1.创建项目： s
阅读全文
摘要：1. SQL CREATE TABLE `JDAll` ( `shop_id` VARCHAR (16) NOT NULL, //商品ID `url` VARCHAR (255) DEFAULT NULL, //商品url `title` VARCHAR (1024) DEFAULT NULL, /
阅读全文
摘要：numpy 的使用 读取图片，显示图片： 对图片进行操作： numpy 的操作 1. 索引 2. 切片 颜色也可以倒置： a2 =img_arr[::-1,::-1,::-1]plt.imshow(a2) 图片倒置的另一种方式： 1. 将元数据变成一维 2. 将变形后的一维数组全部倒置，用切片 3.
阅读全文
摘要：#!/usr/bin/env python # encoding: utf-8 from requests_html import HTMLSession import re import os from fontTools.ttLib import TTFont class QiCheZhiJia
阅读全文
摘要：selenium中使用代理ip # coding=utf8 """ author:dengjiyun """ from selenium import webdriver options= webdriver.ChromeOptions() options.add_argument("--proxy
阅读全文
摘要：1.安装 pip install bloom_filter 2. 简单使用 # coding=utf8 """ author:dengjiyun """ from bloom_filter import BloomFilter # 生成一亿个大小的 bloom=BloomFilter(max_ele
阅读全文
摘要：Spark 版本为 3.0.0，默认采用的 Scala 编译版本为 2.12 1. idea 增加 Scala 插件 2. 添加依赖
阅读全文
摘要：#! /bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do echo " 启动 $i Kafka " ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -
阅读全文
摘要：<div data-v-7a63e4b3="" class="v-show-content-html scroll-style scroll-style-border-radius" style="background-color: rgb(251, 251, 251); display: none
阅读全文
摘要：pip install rapidocr_onnxruntime
阅读全文
摘要：from playwright.sync_api import sync_playwright import os class Tool: def __init__(self, user_data_dir, executable_path): playwright = sync_playwright
阅读全文
