04 2018 档案
摘要：1.新建虚拟机 2.安装centos6.5 3.centos设置 查看网络 4.vmware设置网络连接 关闭selinux 关闭防火墙 永久改变IP地址 编辑文件，保存 使用“service network restart”命令重新启动network服务，使配置文件生效。四个状态都必须是OK，否则
阅读全文
摘要：通过用户cookies访问微博首页 1.登录微博 2.获取cooikes，保存json文件 3..读取json文件，获得cooikes，访问主页 4.详细代码 输出结果
阅读全文
摘要：collections模块 collections模块在内置数据类型（dict、list、set、tuple）的基础上，还提供了几个额外的数据类型：ChainMap、Counter、deque、defaultdict、namedtuple和OrderedDict等。 1.namedtuple: 生成
阅读全文
摘要：目录结构组织方式 简要解释一下: bin/: 存放项目的一些可执行文件，当然你可以起名script/之类的也行。 luffy/: 存放项目的所有源代码。(1) 源代码中的所有模块、包都应该放在此目录。不要置于顶层目录。(2) 其子目录tests/存放单元测试代码； (3) 程序的入口最好命名为mai
阅读全文
摘要：打码平台介绍 一般使用超级鹰或打码兔的打码平台。 超级鹰介绍 打开http://www.chaojiying.com/contact.html注册用户，生成软件ID 下载python的demo文件 查看打码类型 使用方法 逻辑实现 1.获取需要识别的图片 在获取需要的识别的图片时，一般需要讲图片以及
阅读全文
摘要：前言 我有一台Mac，装有OS X和Windows两系统，因Windows和OS X都能读写exFAT分区， 故若在Machintosh HD和Windows HD之间开辟一个exFAT分区，可以作为共享文件区。 我在OS X中用磁盘工具对Machintosh HD进行分区，在Machintosh
阅读全文
摘要：Python常用模块学习 Python模块和包 Python常用模块time & datetime &random 模块 Python常用模块os & sys & shutil模块 Python常用模块——json & pickle Python模块——xml Python模块——configpar
阅读全文
摘要：logging模块简介 logging模块定义的函数和类为应用程序和库的开发实现了一个灵活的事件日志系统。logging模块是Python的一个标准库模块， 由标准库模块提供日志记录API的关键好处是所有Python模块都可以使用这个日志记录功能。所以，你的应用日志可以将你自己的日志信息与来自第三方
阅读全文
摘要：极验滑动验证码 以上图片是最典型的要属于极验滑动认证了，极验官网：http://www.geetest.com/。 现在极验验证码已经更新到了 3.0 版本，截至 2017 年 7 月全球已有十六万家企业正在使用极验，每天服务响应超过四亿次，广泛应用于直播视频、金融服务、电子商务、游戏娱乐、政府企业
阅读全文
摘要：什么是验证码 验证码（CAPTCHA）是“Completely Automated Public Turing test to tell Computersand Humans Apart” （全自动区分计算机和人类的图灵测试）的缩写， 是一种区分用户是计算机还是人的公共全自动程序。可以防止：恶意破
阅读全文
摘要：subprocess模块 通过Python去执行一条系统命令或脚本。 三种执行命令的方法 subprocess.run(*popenargs, input=None, timeout=None, check=False, **kwargs) #官方推荐 subprocess.call(*popena
阅读全文
摘要：configparser模块 该模块适用于配置文件的格式与windows ini文件类似，可以包含一个或多个节（section），每个节可以有多个参数（键=值） 创建文件 文件内容 查找文件内容 修改和删除文件内容 增加配置文件中的值 删除配置文件中的值 修改配置文件中的值
阅读全文
摘要：xml模块 xml是实现不同语言或程序之间进行数据交换的协议，跟json差不多，但json使用起来更简单， 不过，古时候，在json还没诞生的黑暗年代，大家只能选择用xml呀，至今很多传统公司如金融行业的很多系统的接口还主要是xml。 xml的格式如下，就是通过<>节点来区别数据结构的: xml协议
阅读全文
摘要：序列化模块 1.什么是序列化 将原本的字典，列表等对象转换成一个字符串的过程就叫做序列化 2.序列化的目的 1.以某种存储形式使自定义对象持久化 2.将对象从一个地方传递到另一个地方 3.使程序更具维护性 3.用于序列化的两个模块 json，用于字符串 和 python数据类型间进行转换 pickl
阅读全文
摘要：selenium模块介绍 selenium最初是一个测试工具，而爬虫中使用它主要是为了解决requests无法直接执行JavaScript代码的问题 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，能支持多种浏览器。 Seleniu
阅读全文
摘要：OS模块 注意：os.stat('path\filename') 获取文件\目录信息的结构说明 sys模块 sys模块是与python解释器交互的一个接口。 shutil 模块 常用方法 高级的 文件、文件夹、压缩包 处理模块 shutil.copyfileobj(fsrc, fdst[, leng
阅读全文
摘要：时间模块前言 在Python中，与时间处理有关的模块就包括：time，datetime 一、在Python中，通常有这几种方式来表示时间： 二、几个定义 UTC（Coordinated Universal Time，世界协调时）亦即格林威治天文时间，世界标准时间。在中国为UTC+8。DST（Dayl
阅读全文
摘要：什么是模块？ 在计算机程序的开发过程中，随着程序代码越写越多，在一个文件里代码就会越来越长，越来越不容易维护。 为了编写可维护的代码，我们把很多函数分组，分别放到不同的文件里，这样，每个文件包含的代码就相对较少，很多编程语言都采用这种组织代码的方式。 在Python中，一个.py文件就称之为一个模块
阅读全文
摘要：课程内容 Python爬虫——反爬 Python加密与解密 Python模块——HashLib与base64 Python爬虫——selenium模块 Python——pytessercat识别简单的验证码 Python——破解极验滑动验证码 Python——使用代码平台进行识别验证码 案例研究 P
阅读全文
摘要：反爬概述 网络爬虫，是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。 但是当网络爬虫被滥用后，互联网上就出现太多同质的东西，原创得不到保护。 于是，很多网站开始反网络爬虫,想方设法保护自己的内容。 他们根据ip访问频率，浏览网页速度，账户登录，输入验证码，flash封
阅读全文
摘要：前言 据记载，公元前400年，古希腊人发明了置换密码。1881年世界上的第一个电话 保密专利出现。在第二次世界大战期间，德国军方启用“恩尼格玛”密码机， 密码学在战争中起着非常重要的作用。 随着信息化和数字化社会的发展，人们对信息安全和保密的重要性认识不断提高， 于是在1997年，美国国家标准局公布
阅读全文
摘要：摘要算法（hashlib） Python的hashlib提供了常见的摘要算法，如MD5，SHA1等等。 什么是摘要算法呢？摘要算法又称哈希算法、散列算法。它通过一个函数，把任意长度的数据转换为一个长度固定的数据串（通常用16进制的字符串表示） 你写了一篇文章，内容是一个字符串'how to use
阅读全文
摘要：练习题 文件处理相关 编码问题 请说明python2 与python3中的默认编码是什么？ python2默认是ASCII码，python3默认是utf-8 为什么会出现中文乱码？你能列举出现乱码的情况有哪几种？ 如何进行编码转换？ #-*-coding:utf-8-*- 的作用是什么？ 解释py2
阅读全文
摘要：前言 请看下面代码 为什么输出结果为[6, 6, 6, 6]，这段代码相当于 解答 运行代码，解释器碰到了一个列表解析，循环取multipliers()函数中的值，而multipliers()函数返回的是一个列表对象，这个列表中有4个元素， 每个元素都是一个匿名函数（实际上说是4个匿名函数也不完全准
阅读全文
摘要：列表推导式 产生背景 现在有个需求，看列表[0, 1, 2, 3, 4, 5, 6, 7, 8, 9],要求你把列表里的每个值加1，你怎么实现？ 第一种方法： 第二种方法： 列表推导式： 使用列表推导式可简化代码。用法如下 例一：30以内所有能被3整除的数 例二：30以内所有能被3整除的数的变为平方
阅读全文
摘要：前言 给下面的函数加上运行时间 修改一：改动函数 修改二：不改动函数 忙活了这么半天，终于初具规模了！现在已经基本上完美了，唯一碍眼的那句话就是还要在做一次赋值调用。。。 装饰器 装饰器的功能：在不修改原函数及其调用方式的情况下对原函数功能进行扩展 装饰器的本质：就是一个闭包函数 满足开放封闭原则
阅读全文
摘要：前言 执行以下代码 x在函数里面定义了，为什么会报错？ python解释器如何执行 结论：“存放变量与值的关系”的空间——叫做命名空间 代码在运行伊始，创建的存储“变量名与值的关系”的空间叫做全局命名空间，在函数的运行中开辟的临时的空间叫做局部命名空间 命名空间与作用域 命名空间的本质：存放变量与值
阅读全文
摘要：Python爬虫目录 Pycharm 连接Linux 远程开发 mongodb在windows下安装启动 爬虫抓包工具Fiddle设置 爬虫抓包工具Charles设置 爬虫工具fiddle在firefox浏览器中的使用 python urllib和urllib3包使用 requests库使用 bea
阅读全文
摘要：线程 线程被称作轻量级进程。与进程类似，不过它们是在同一个进程下执行的。 并且它们会共享相同的上下文。每一个进程中至少有一个线程。 顾名思义，线程就是一条流水线工作的过程，一条流水线必须属于一个车间，一个车间的工作过程是一个进程 所以，进程只是用来把资源集中到一起（进程只是一个资源单位，或者说资源集
阅读全文
摘要：Python并发目录 Python-socket网络编程 Python网络编程-IO阻塞与非阻塞及多路复用 Python进程-理论 Python进程-实现 Python进程间通信 Python进程池 Python线程 Python协程 注意点 python编程中的if __name__ == 'ma
阅读全文
