摘要：
部署的舆情系统，内存变大，找原因。 一个小例子。 def func(): local_list = list(range(10000000)) func() time.sleep(200) 能够观察到，在sleep 200秒的时间内，程序的内存一直是200多M，虽然是函数局部变量，执行后在外部无法使 阅读全文
摘要：
在python中，类可以提供模块级别之下的命名空间。 如果一个模块写很多函数，某些函数之间共同完成一组功能，用类会看起来更清晰，在调用时候也会更好，对于ide补全有更小范围的限定提示。 类提供 继承 组合 多重实例 通过继承进行定制 运算符重载（就是类的双下划线方法__del__ __call__ 阅读全文
摘要：
接口登录淘宝，困难度极高，没有人已经实现过。 淘宝登录selenium 手机版 pc版。 由于每天需要使用ip代理大批量的异地登录淘宝帐号，这种情况必然会出现淘宝滑动验证码，使用ActionChains， 使用手机版m.taobao.login登录，采用短信验证码交互方式登录，获取验证码按钮的点击需 阅读全文
摘要：
填入要监控的进程 ，只要ps -ef的command中包含need_monitor_procces_names中的字符串就可以，也可以监控java njinx。 阅读全文
摘要：
之前判断一个接口的返回，一定约定好了是返回retcode 1或者retcode 0，就用的这个判断，但是接口挂了的时候，一直返回未登录，找了很长时间为什么cpu一直消耗那么高。 使用wihle 1时候要小心，没写好会消耗cpu到100% while 1： pass 这句话在四核处理器的windows 阅读全文
摘要：
python的书都是讲怎么创建类怎么实例化对象，一般会用使用了，但还不具备这种编程意识。这是从python学习手册第四版节选出来的，书中说oop不仅是一种技术，更是一种经验。学习大神的看法，为什么需要oop意识。 阅读全文
摘要：
对于下面这种情况，java c这些提前编译的语言，不给你运行机会就立马报错了，但对于动态语言运行之后才能报错，用运行的方法来检查代码错误是在是太坑了，这是py对比静态语言的巨大劣势，尤其是代码文件多行数较大时候，劣势有些明显。 这段代码有错误，第13行本地和全局中都找不到bbbb。 第17行A类的实 阅读全文
摘要：
py里面不需要显示声明类型，这和java c这些静态语言不同，虽然python这样做少了一些代码和写代码的困难度，但还是非常多的弊端的，运行速度 代码安全， 这些都是语言本身带来的本的弊端，这些没办法没办法弥补（说用c扩展和加入大量if isinstance来判断类型的，这是不好的不方便的）。但下面 阅读全文
摘要：
1、vi /etc/sysconfig/clock #编辑文件ZONE="Asia/Shanghai"UTC=false #设置为false，硬件时钟不于utc时间一致ARC=false2、ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime 阅读全文
摘要：
1 from common import MyRequests,LoggerUntil,handle_exception 2 3 myRequests.update_headers({ 'Accept':'text/javascript',}) ##这个地方加入accept了，主要是在邮件提取那里，不加入这个返回的是xml格式，加入后返回json格式，这样在提取方面更容易一些。 ... 阅读全文
摘要：
1 # encoding: utf-8 2 # module __builtin__ 3 # from (built-in) 4 # by generator 1.145 5 from __future__ import print_function 6 """ 7 Built-in functions, exceptions, and othe... 阅读全文
摘要：
使用的是miniconda2安装的python，并且加入了环境变量，可是uwsgi部署web时候仍然报错error while loading shared libraries: libpython2.7.so.1.0: cannot open shared object file: No such 阅读全文
摘要：
上一篇是pycharm调用docker的镜像的python解释器。 此篇介绍pycharm 调用docker的容器的python解释器。 这两个思路还是不一样的，第一个是用pycham界面的选择python解释器的选择docker选项 第二个是第一个是用pycham界面的选择python解释器的选择 阅读全文
摘要：
网上关于pycahrm怎么使用docker容器的python解释器的科普，这方面太少，一半都只介绍pycahrm怎么使用linux的解释器。首先pycahrm确保是pro版本。 下面详细的介绍步骤 首先肯定需要先开启api 端口，这上篇介绍了。 pycharm设置好docker链接后，还可以在pyc 阅读全文
摘要：
此篇是针对centos6的docker，注意ubantu和centos7的会有区别。需要在docker配置文件中修改信息 centos中是这个文件 /etc/sysconfig/docker，Ubuntu中不同。可以 使用find / -name docker可以找到此文件。vim /etc/sysconfig/docker DOCKER_OPTS="-H tcp://0.0.0.0:2... 阅读全文
摘要：
1 Python的函数参数传递 看两个例子: 所有的变量都可以理解是内存中一个对象的“引用”，或者，也可以看似c中void*的感觉。 这里记住的是类型是属于对象的，而不是变量。而对象有两种,“可更改”（mutable）与“不可更改”（immutable）对象。在python中，strings, tu 阅读全文
摘要：
现在假设一个脚本是，hello.py，内容是 fo = open('xx.txt','w') while 1： fo.write('hello world') print('hi') time.sleep(1) 如果使用python hello.py那么控制台一直print hi，会干不了其它活，必 阅读全文
摘要：
安装一些软件 python redis mysql jdk，都需要添加环境变量，一个路径添加到了环境变量，就可以直接在linux控制台输入 xx命令。 否则不添加环境变量，使用xx就会提示找不到命令，需要跳转到那个目录。然后执行 ./xx，或者每次都打全路径 /root/dir1/dir2/dir3 阅读全文
摘要：
小爬虫就是一半的单线程爬虫，入门。 多线程/协程爬虫是快速爬虫。 分布式爬虫是大规模爬虫。 说到分布式，好像很高大上的词，其实普通分布式很简单，单机爬虫种子可以放在程序的列表 queue队列 或者本机的mysql redis都可以。分布式爬虫最简单就是借助redis了，多个爬虫从同一台redis机器 阅读全文