10 2018 档案
摘要：  ![](https://img2...
阅读全文
摘要：MAC系统下Sublime Text3 配置Python3详细教程（亲测有效） https://blog.csdn.net/weixin_41768008/article/details/79859008 macOS解决sublime text3运行python3报：UnicodeEncodeErr
阅读全文
摘要：rsync -avz filename servername:/filename --exclude '*.log' --exclude '*.pyc' --exclude '*.db' --exclude 'env' 记得服务器也要安装rsync yum install rsync -y 本地发送
阅读全文
摘要：1.首先找到.ssh目录 一般在用户名目录下。 ls a查看 如果没有就重新创建一个 查看当前的 2.然后在.ssh目录下创建文件config文件 通过vim打开config文件 格式如下 3.输入ssh test 会提示输入服务器的密码输入即可。 4.在本地的.ssh文件下创建密钥，生成一次即可
阅读全文
摘要：mac安装Tesserocr 安装 Imagemagick 和 Tesseract 库： 接下来再安装 Tesserocr
阅读全文
摘要：安装 在Mac OS系统中，无法使用netstat来查看端口占用情况，可以使用lsof来代替，这种方式在Linux下也适用。 n 表示不显示主机名 P 表示不显示端口俗称 不加 sudo 只能查看以当前用户运行的程序 查看指定端口以及对应的Command和PID： 输出 简单的: 观察发现pid为1
阅读全文
摘要：运行pip install gevent报错 错误信息如下 解决方案 安装xcode 再次运行 pip install gevent安装成功。
阅读全文
摘要：文本编辑器vim vim常用操作 vim是一个强大的全屏幕文本编辑器，是Linux上最常用的文本编辑器，它的作用是建立，编辑，显示文本文件。 vim没有菜单，只有命令。 输入a或i或o进入编辑命令，下方显示insert。按esc返回命令模式。 :wq保存退出 :q! 不保存退出。 下面通过表格的方式
阅读全文
摘要：gunicorn 换成你的关键字即可。
阅读全文
摘要：1.screen x 进入 2.ctrl+a+n 下一个 3.ctrl+a+p 上一个任务 4.ctrl+a+d 退出 5.ctrl+c 结束任务 其他 screen ls 所有任务 screen r 编号
阅读全文
摘要：```
from database import db
db_list = ["table1", "table2", "table3", "table4"]
for item in db_list: collection = db[item] collection.create_index([("phone", 1)]) print(list(collection.inde...
阅读全文
摘要：def save_data(ok_ps): ns = [] for ok in ok_ps: ok['last_use_time'] = 0 ok['protocol'] = 0 # 协议类型 0:http ok['is_own'] = 1 ok['is_ok'] = 0 # 可用 ok['date
阅读全文
摘要：v2ex同步更新:https://www.v2ex.com/t/500081 微信公众号:python学习开发 分析源码，看大神的代码是一种学习的好方法，让我从中学到很多以前不知道的知识，这次打算从大家熟悉的Kenneth Reitz大神的request入手，对该模块应用的一些技巧进行一次探究。 从
阅读全文
摘要：群里大佬提供 求解过程 上式的j=1应该是j=0 详解梯度下降法求解线性模型参数 https://blog.csdn.net/ybdesire/article/details/52895274 梯度下降法的数学推导 https://blog.csdn.net/zengdong_1991/articl
阅读全文
摘要：mitmproxy是一款支持HTTP(S)的中间人代理工具。不同于Fiddler2，burpsuite等类似功能工具，mitmproxy可在终端下运行。mitmproxy使用Python开发，是辅助web开发&测试，移动端调试，渗透测试的工具。 工作原理介绍（以HTTPS为例） 1.客户端发起一个到
阅读全文
摘要：环境搭建 参考我之前写的https://www.cnblogs.com/c-x-a/p/9163221.html appium 代码start_appium.py # -*- coding: utf-8 -*-# @Time : 2018/10/8 11:00# @Author : cxa# @Fi
阅读全文
摘要：https://stackoverflow.com/questions/17522706/how-to-pass-a-class-variable-to-a-decorator-inside-class-definition
阅读全文
摘要：__repr__ Python中这个__repr__函数，对应repr(object)这个函数，返回一个可以用来表示对象的可打印字符串.如果我们直接打印一个类，向下面这样 class A(): def __init__(self,name=None,id=1): self.id=id self.na
阅读全文
摘要：监督学习 回归:我们根据之前的数据预测出一个准确的输出值.分类:推测出离散的输出值训练集:在监督学习中我们有一个数据集，这个数据集被称训练集。 无监督学习 无监督学习中没有任何的标签或者是有相同的标签或者就是没标签。别的都不知道，就是一个数据集。针对数据集，无监督学习就能判断出数据有两个不同的聚集簇
阅读全文
摘要：[转]http://www.knowsky.com/1041161.html python 记一次计算qzonetoken经历 之前用python写了个发表说说的爬虫，但最近发现在post数据时返回不对，不能用了，抓包后发现需要添加一个qzonetoken的字符串，这个token并不在cookie里
阅读全文
摘要：retrying模块的学习 我们在写爬虫的过程中，经常遇到爬取失败的情况，这个时候我们一般会通过try块去进行重试，但是每次都写那么一堆try块，真的是太麻烦，所以今天就来说一个比较pythonic的模块，retrying. 安装 retring模块的安装很简单直接用匹配安装即可。 使用 retri
阅读全文
摘要：import click # click.option 中的命令规则可参考参数名称。它接受的前两个参数为长、短选项（顺序随意），其中： # # 长选项以 “--” 开头，比如 “--string-to-echo” # 短选项以 “-” 开头，比如 “-s” @click.group() def ma
阅读全文
摘要：用批量写入代替单个写入 最开始，我的代码逻辑是这样的： for uid, data in user_dict.items(): user_collection.insert_one({'uid':uid, 'user_data': data}) 这种方法在数据量较小时可以很好的工作，但是当数据量非常
阅读全文
摘要：最近正在学习MongoDB，作为数据库的学习当然是要从CRUD开始学起了。这篇文章默认读者是知道如何安装MongoDB、如何运行MongoDB实例以及了解了MongoDB中的collection、document等相关的概念。 网上对于MongoDB的增删改查操作的文章不少。但是不少都是旧版本的操作
阅读全文
摘要：I'm currently using Once #2924 is fixed and released, you can upgrade again to the latest and greatest.
阅读全文
摘要：mitmdump --ignore-hosts ".*443$" -s test.py
阅读全文
摘要：# -*- coding: utf-8 -*- # @Time : 2018/10/8 11:00 # @Author : cxa # @File : test.py # @Software: PyCharmctx from appium import webdriver from selenium.webdriver.support.ui import WebDriverWait...
阅读全文
摘要：原因 App页面已经被禁止截屏，禁用用户截屏的代码如下： 解决 但是通过app source还是可以看到的 或者执行代码，进入该页面，通过String source = driver.getPageSource();获取该页面的dom，通过dom找到需要定位的元素。
阅读全文
摘要：在spider中时在方法里直接写 self.crawler.engine.close_spider(self, 'cookie失效关闭爬虫') 在pipeline和downloaderMiddlewares里 spider.crawler.engine.close_spider(spider, '没
阅读全文
摘要：链接：http://www.2cto.com/os/201410/341079.html 7z指令 7z是7zip压缩工具的常用压缩文件格式。7zip是一个开源的压缩工具，软件本身十分小巧，功能强大，是目前公认的压缩比最大的压缩解压缩软件，近年来开始渐渐流行。 7zip支持众多的压缩格式，支持7z,
阅读全文
摘要：使用 mitmproxy + python 做拦截代理 本文是一个较为完整的 mitmproxy 教程，侧重于介绍如何开发拦截脚本，帮助读者能够快速得到一个自定义的代理工具。 本文假设读者有基本的 python 知识，且已经安装好了一个 python 3 开发环境。如果你对 nodejs 的熟悉程度
阅读全文
摘要：首先附上github地址:https://github.com/mitmproxy/mitmprox，上面的内容永远是最新的 1. 作为一名测试穿戴设备相关app的工程师，与数据打交道是常事，那么，如果想要获取app上传给服务器的文件，怎么获取？ 上传文件，http请求头header的Content
阅读全文
摘要：主题 修改request或者response内容 介绍 mitmdump无交互界面的命令，与python脚本对接，来源于mitmproxy支持inline script，这里的script指的是python脚本，inline script提供了http、Websocket、tcp等各个时间点事件（e
阅读全文
摘要：在windows机器上，经常用的最多的是fiddler工具，很强大，图形化界面，使用方便、简单；在mac上，Charles 类似fiddler工具，同样是易于操作的图形化界面，同样都是通过代理的方式实现抓包功能，可通过工具分析http(s)包、修改resquest、response内容，满足日常需求
阅读全文
摘要：mongodb操作命令行形式 进入mongodb的命令行 保证安装并成功启动服务 启动服务用 进入mongodb客户端命令 查看当前存在的所有数据库 可以看到我有四个库admin，config，local，spider_data(这是我之前创建好的你的电脑没有这个。) local数据库主要存储副本集
阅读全文