06 2018 档案
摘要：入门案例 学习目标 创建一个Scrapy项目 定义提取的结构化数据(Item) 编写爬取网站的 Spider 并提取出结构化数据(Item) 编写 Item Pipelines 来存储提取到的Item(即结构化数据) 一. 新建项目(scrapy startproject) 在开始爬取之前，必须创建
阅读全文
摘要：首先回顾一下MongoDB的基本操作： stringhashlistsetzset 增加mysql:insert into 表名(列) values(值)mongo:db.集合名.insert({}) 修改：mysql:update 表名 set 列=值 where 条件mongo:db.集合名.u
阅读全文
摘要：在操作前需要启动mongodb数据库服务 1.首先打开dos窗口，然后选择路径到你的安装路径下的bin目录（我的路径是的D:mongo\mongodb\bin） 2.然后输入启动命令(D:mongo\data\db 是我的数据库文件的目录前边两个 – 不能少) mongod --dbpath D:m
阅读全文
摘要：# !/usr/bin/env python# -*- coding:utf-8 -*-from __future__ import unicode_literalsfrom threading import Timerfrom wxpy import *import requests bot =
阅读全文
摘要：破解核心思路： 1、如何确定滑块滑动的距离？ 滑块滑动的距离，需要检测验证码图片的缺口位置 滑动距离 = 终点坐标 - 起点坐标 然后问题转化为我们需要屏幕截图，根据selenium中的position方法并进行一些坐标计算，获取我们需要的位置 2、坐标我们如何获取？ 起点坐标： 每次运行程序，位置
阅读全文
摘要：Selenium是一个Web的自动化测试工具，最初是为网站自动化测试而开发的，类型像我们玩游戏用的按键精灵，可以按指定的命令自动操作，不同是Selenium 可以直接运行在浏览器上，它支持所有主流的浏览器（包括PhantomJS这些无界面的浏览器）。 Selenium 可以根据我们的指令，让浏览器自
阅读全文
摘要：HTTP代理神器Fiddler Fiddler是一款强大Web调试工具，它能记录所有客户端和服务器的HTTP请求。 Fiddler启动的时候，默认IE的代理设为了127.0.0.1:8888，而其他浏览器是需要手动设置。 工作原理 Fiddler 是以代理web服务器的形式工作的，它使用代理地址：1
阅读全文
摘要：1 xx:信息 100 Continue 服务器仅接收到部分请求，但是一旦服务器并没有拒绝该请求，客户端应该继续发送其余的请求。 101 Switching Protocols 服务器转换协议：服务器将遵从客户的请求转换到另外一种协议。 2xx:成功 200 OK 请求成功（其后是对GET和POST
阅读全文
摘要：启动 redis 客户端，打开终端并输入命令 redis-cli。该命令会连接本地的 redis 服务。 在以上实例中我们连接到本地的 redis 服务并执行 PING 命令，该命令用于检测 redis 服务是否启动。 在远程服务上执行命令 如果需要在远程 redis 服务上执行命令，同样我们使用的
阅读全文
摘要：数据库命令：创建create database 数据库名 charset=utf8;删除drop database 数据库名;查看所有数据库：show databases;使用数据库：use 数据库名; 表命令：create table 表名(列...);唯一标识的要求：id 类型：int unsi
阅读全文
摘要：1、一行代码实现1--100之和 利用sum()函数求和 2、如何在一个函数内部修改全局变量 利用global 修改全局变量 3、列出5个python标准库 os：提供了不少与操作系统相关联的函数 sys: 通常用于命令行参数 re: 正则匹配 math: 数学运算 datetime:处理日期时间
阅读全文
摘要：一个小时学会Git 目录 一、版本控制概要 1.1、什么是版本控制 1.2、常用术语 1.3、常见的版本控制器 1.4、版本控制分类 1.4.1、本地版本控制 1.4.2、集中版本控制 1.4.3、分布式版本控制 1.5、Git与SVN最主要区别 二、Git安装与配置 2.1、什么是Git 2.2、
阅读全文
摘要：来源于https://www.cnblogs.com/shytong/p/5308667.html 一、CSRF攻击原理 CSRF是什么呢？CSRF全名是Cross-site request forgery，是一种对网站的恶意利用，CSRF比XSS更具危险性。想要深入理解CSRF的攻击特性我们有必要
阅读全文
摘要：第一部分 Python基础篇（80题） 为什么学习Python？ 语言本身简洁，优美,功能超级强大，跨平台，从桌面应用,web开发,自动化测试运维，爬虫，人工智能，大数据处理都能做 Python和Java、PHP、C、C#、C++等其他语言的对比？ C语言由于其底层操作特性和历史的积累，在嵌入式领域
阅读全文
摘要：进程与线程 进程与线程 1.进程 我们电脑的应用程序，都是进程，假设我们用的电脑是单核的，cpu同时只能执行一个进程。当程序处于I/O阻塞的时候，CPU如果和程序一起等待，那就太浪费了，cpu会去执行其他的程序，此时就涉及到切换，切换前要保存上一个程序运行的状态，才能恢复，所以就需要有个东西来记录这
阅读全文
摘要：爬虫基础 什么是爬虫： 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 通用爬虫和聚焦爬虫 根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬
阅读全文
摘要：SVN服务器安装与本地连接 系统环境 Centos7 查看是否安装了低版本SVN [root@svn-server ~]# rpm -qa subversion 卸载旧版本SVN [root@svn-server ~]# yum remove subversion 安装 [root@svn-serv
阅读全文
摘要：面向对象编程 面向过程：根据业务逻辑从上到下写代码 面向对象：将数据与函数绑定到一起，进行封装，这样能够更快速的开发程序，减少了重复代码的重写过程 面向对象编程(Object Oriented Programming-OOP) 是一种解决软件复用的设计和编程方法。 这种方法把软件系统中相近相似的操作
阅读全文
摘要：html概述和基本结构 html概述 HTML意思是超文本标记语言 html基本结构 一个html的基本结构如下： HTML文档类型 目前常用的两种文档类型是xhtml 1.0和html5 两种文档的区别 1、文档声明和编码声明 2、html5新增了标签元素以及元素属性 html文档规范 xhtml
阅读全文
摘要：基础知识 名字与对象，类与类型 变量：在Python中，存储一个数据，需要一个叫做变量的东西 num2 = 87 #num2是一个变量 变量的类型： 程序中为了更充分的利用内存空间以及更有效率的管理内存，变量是有不同的类型的，如下所示: 输入：python3版本中 input python2中raw
阅读全文
摘要：Linux 目录 用户目录 位于/home/user，称之为用户工作目录或家目录,表示方式： 绝对路径 从/目录开始描述的路径为绝对路径，如： 相对路径 从当前位置开始描述的路径为相对路径，如： .和.. 每个目录下都有.和.. . 表示当前目录 .. 表示上一级目录，即父目录 根目录下的.和..都
阅读全文
浙公网安备 33010602011771号