随笔分类 - Python
Python的一些知识
摘要：appium 环境搭建 一、 简介 1、 介绍 Appium是一个开源的自动化测试工具，其支持iOS和安卓平台上的原生的，基于移动浏览器的，混合的应用 Appium是基于以下的四个理念设计来满足移动平台测试自动化的要求的： 1）您不应该因为需要自动化测试您的应用而不得不以任何形式去重新编译或者修改你
阅读全文
摘要：JS 常见的加密方式 加密在前端开发和爬虫中是经常遇见的，掌握了加密算法且可以将加密的密文进行解密破解，是你从一个编程小白到大神级别质的飞跃。且加密算法的熟练和剖析也是有助于帮助我们实现高效的 JS 逆向 常见的加密算法基本分为这几类： 线性散列算法（签名算法）MD5 对称性加密算法 AES DES
阅读全文
摘要：爬淘宝商品数据 免责声明：本文所记录的技术手段及实现过程，仅作为爬虫技术学习使用，不对任何人完全或部分地依据本文的全部或部分内容从事的任何事情和因其任何作为或不作为造成的后果承担任何责任 一、 简介 于近年来淘宝的反爬措施逐渐完善，爬取难度变大，在爬取时必须要登录之后才能查看相关的商品信息，淘宝数据
阅读全文
摘要：‘ 爬虫高阶 一、 验证码识别 1、 简介 验证码和爬虫之间的爱恨情仇？ 反爬机制：验证码，识别验证码图片中的数据，用于登录验证 识别验证码的操作： 人工肉眼识别（不推荐） 第三方自动识别 打码平台：超级鹰 2、 使用方法 注册 登录 下载开发者文档：【http://www.chaojiying.c
阅读全文
摘要：高性能异步编程 一、 引入背景 1、 概述 其实爬虫的本质就是client发请求批量获取server的响应数据，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任
阅读全文
摘要：线程和进程 一、 什么是进程 / 线程 1、 引论 众所周知，CPU是计算机的核心，它承担了所有的计算任务。而操作系统是计算机的管理者，是一个大管家，它负责任务的调度，资源的分配和管理，统领整个计算机硬件。应用程序是具有某种功能的程序，程序运行与操作系统之上 2、 线程 在很早的时候计算机并没有线程
阅读全文
摘要：selenium 基础语法 一、 环境配置 1、 安装环境 安装 selenium 第三方库 pip install selenium 下载浏览器驱动： Firefox浏览器驱动：geckodriver Chrome浏览器驱动：chromedriver , taobao备用地址 IE浏览器驱动：IE
阅读全文
摘要：爬虫基础 一、 基本概念 1、 简介 1.1 概念 什么是爬虫？ 爬虫就是通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程 爬虫的价值： 抓取互联网上面的大量的数据，可以将这些数据商业化和商品化 爬虫的合法性： 爬虫在法律上是不被禁止的 但是其具有违法风险 善意爬虫——百度······
阅读全文
摘要：requests库 一、 基本概念 1、 简介 requests 模块是 python 基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20
阅读全文
摘要：PyQuery库 一、 简介 1、 概述 pyquery库是jQuery的Python实现，能够以jQuery的语法来操作解析 HTML 文档，易用性和解析速度都很好 PyQuery是一个类似于jQuery的解析网页工具，使用lxml操作xml和html文档，它的语法和jQuery很像。和XPATH
阅读全文
摘要：分析网页 通过浏览器抓包可得 通过JS逆向可以得到 利用Python模拟加密 word = input("请输入要翻译的单词") # 时间戳 import time ts = r = str(int(time.time() * 1000)) import random salt = i = r +
阅读全文
摘要：简介 概念 散列算法（Hash Algorithm），又称哈希算法，杂凑算法，是一种从任意文件中创造小的数字「指纹」的方法。与指纹一样，散列算法就是一种以较短的信息来保证文件唯一性的标志，这种标志与文件的每一个字节都相关，而且难以找到逆向规律。因此，当原有文件发生改变时，其标志值也会发生改变，从而告
阅读全文
摘要：简介 Python 中有个序列化过程叫作 pickle，它能够实现任意对象与文本之间的相互转化，也可以实现任意对象与二进制之间的相互转化。也就是说，pickle 可以实现 Python 对象的存储及恢复。 pickle模块的应用很简单，只有四个方法 dumps()：将 Python 中的对象序列化成
阅读全文
摘要：面向对象，使用Tkinter设计界面 import tkinter as tk import requests, os, winreg, tkinter.messagebox, tkinter.filedialog class Ui: # 执行前期的ui设计 def __init__(self, w
阅读全文
摘要：案例一 Label & Button 标签和按钮 import tkinter as tk window = tk.Tk() # 实例化Tk window.title("muy window") # 设置标题 window.geometry("200x100") # 设置窗口的大小 var1 = t
阅读全文
摘要：前言 此方法仅供学习爬虫，切勿用在其他途径 要使用的库 模块 import requests, os, time, loguru import pandas as pd from concurrent.futures import ThreadPoolExecutor 分析 搜索分析 首先，我们搜索
阅读全文
摘要：概述 用爬虫时，大部分网站都有一定的反爬措施，有些网站会限制每个 IP 的访问速度或访问次数，超出了它的限制你的 IP 就会被封掉。对于访问速度的处理比较简单，只要间隔一段时间爬取一次就行了，避免频繁访问；而对于访问次数，就需要使用代理 IP 来帮忙了，使用多个代理 IP 轮换着去访问目标网址可以有
阅读全文
摘要：matplotlib 概念 matplotlib能将数据进行可视化，更加直观的呈现 使数据更客观，更有说服力 matplotlib是最流行的Python底层绘图库，主要做数据可视化图表，名字取材于matlab，模仿matlab创建 matplotlib官方文档 绘制折线图 from matplotl
阅读全文
摘要：创建python环境 conda create -n your_env_name python=X.X (2.7、3.6等) 查看python环境 conda env list / conda info -envs 切换python环境 source activate your_env_name 删
阅读全文
摘要：简介 Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据 官方解释 Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整
阅读全文
