python 协程学习
摘要：
协程 协程，又称微线程，纤程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程。 协程拥有自己的寄存器上下文和栈。协程调度切换时，将寄存器上下文和栈保存到其他地方，在切回来的时候，恢复先前保存的寄存器上下文和栈。因此： 协程能保留上一次调用时的状态（即所有局部状态的一个特 阅读全文
posted @ 2017-09-24 22:20 niansi 阅读(136) 评论(0) 推荐(0) 编辑
使用sh库执行shell命令
摘要：
python中执行shell命令 之前执行shell命令多是通过os.system(shell命令)的方式来执行，比较麻烦。 了解到sh是一个比subprocess好的库，能够执行shell命令 1.查看ip: [root@iZj6cbstl2n6r280a27eppZ myblog]# ifcon 阅读全文
posted @ 2017-09-18 08:48 niansi 阅读(801) 评论(0) 推荐(0) 编辑
多线程发送请求方式对比
摘要：
在编写爬虫时，性能的消耗主要在IO请求中，当单进程单线程模式下请求URL时必然会引起等待，从而使得请求整体变慢。 1. 同步执行import requests def fetch_async(url): response = requests.get(url) return response url 阅读全文
posted @ 2017-09-10 21:48 niansi 阅读(334) 评论(0) 推荐(0) 编辑
删除大文件中的一行内容
摘要：
用 python 处理一个文本文件时，如果想要删除其中的某一行，常规的思路是先把文件读入内存，在内存中修改后再写入源文件。 这对于小文件来说当然没问题，但是如果要处理一个很大的文本，比如GB级别的文本时，这种方法不仅需要占用很大内存，而且一次性读入内存时耗费时间，还有可能导致内存溢出。 所以，需要用 阅读全文
posted @ 2017-09-03 18:10 niansi 阅读(592) 评论(0) 推荐(0) 编辑
python多线程理解
摘要：
在发送网络请求的过程中，单个请求的速度总是有着很大的限制，而任务往往需要以更快的速度去执行，这时多线程就是一个很好地选择。python已经给我们封装好了多线程库thread和threading。 thread:比较底层的模块 threading：Higher-level threading inte 阅读全文
posted @ 2017-08-27 21:33 niansi 阅读(177) 评论(0) 推荐(0) 编辑
python 深浅拷贝小记
摘要：
浅拷贝：只拷贝第一层的数据 深拷贝：相当于克隆 一份，也就是完全复制，和被克隆对象完全没关系。 浅拷贝示例：先定义一个列表 >>> s = [1,'alex','alvin'] >>> s2 = copy.copy(s) 使用copy()方法拷贝，创建一个新的对象s2 >>> print s2 拷贝 阅读全文
posted @ 2017-08-21 14:39 niansi 阅读(106) 评论(0) 推荐(0) 编辑
python单元测试-unittest
摘要：
python内部自带了一个单元测试的模块，pyUnit也就是我们说的：unittest 1、介绍下unittest的基本使用方法： 1）import unittest 2）定义一个继承自unittest.TestCase的测试用例类 3）定义setUp和tearDown，在每个测试用例前后做一些辅助 阅读全文
posted @ 2017-08-12 20:59 niansi 阅读(157) 评论(0) 推荐(0) 编辑
subprocess模块使用
摘要：
subprocess 模块 一、简介 subprocess最早在2.4版本引入。用来生成子进程，并可以通过管道连接他们的输入/输出/错误，以及获得他们的返回值。 subprocess用来替换多个旧模块和函数： os.systemos.spawn*os.popen*popen2.*commands.* 阅读全文
posted @ 2017-08-06 16:18 niansi 阅读(254) 评论(0) 推荐(0) 编辑
py2exe打包python脚本
摘要：
在工作中遇到将python脚本转换成exe可执行程序的需求，通过查询可以使用py2exe来构建满足要求的程序，这里简要说明一下使用步骤。 一、py2exe是一个将python脚本转换成windows上的可独立执行的可执行程序(*.exe)的工具，这样，你就可以不用装python而在windows系统 阅读全文
posted @ 2017-07-30 23:47 niansi 阅读(1356) 评论(0) 推荐(0) 编辑
Json与JsonPath
摘要：
JSON（JavaScript Object Notation）是一种轻量级的数据交换格式，因为它良好的可读性与易于机器进行解析和生成等特性，在当前的数据整理和收集中得到了广泛的应用。 JSON和XML相比较可谓不相上下。 Python 2.X中自带了JSON模块，直接import json就可以使 阅读全文
posted @ 2017-07-23 19:52 niansi 阅读(280) 评论(0) 推荐(0) 编辑
