随笔分类 -  网络编程

Python之mmap内存映射模块（大文本处理）说明
摘要：背景： 通常在UNIX下面处理文本文件的方法是sed、awk等shell命令，对于处理大文件受CPU，IO等因素影响，对服务器也有一定的压力。关于sed的说明可以看了解sed的工作原理，本文将介绍通过python的mmap模块来实现对大文件的处理，来对比看他们的差异。 说明： mmap是一种虚拟内存 阅读全文
posted @ 2017-11-12 22:26 shy车队破风手 阅读(1071) 评论(0) 推荐(0)
Python下定时任务框架APScheduler的使用
摘要：1.APScheduler简介： APScheduler是Python的一个定时任务框架，可以很方便的满足用户定时执行或者周期执行任务的需求，它提供了基于日期date、固定时间间隔interval 、以及类似于Linux上的定时任务crontab类型的定时任务。并且该框架不仅可以添加、删除定时任务， 阅读全文
posted @ 2017-11-10 12:35 shy车队破风手 阅读(17967) 评论(1) 推荐(1)
datetime模块
摘要：datetime时间模块 对于天的操作： 对于星期的操作： 对于的月的操作： 阅读全文
posted @ 2017-11-08 22:24 shy车队破风手 阅读(145) 评论(0) 推荐(0)
urllib和urllib2的区别及用
摘要：首先来看一下他们的区别 urllib和urllib2 urllib2可以接受一个Request类的实例来设置URL请求的headers，urllib仅可以接受URL。这意味着，你不可以通过urllib模块伪装你的User Agent字符串等（伪装浏览器）。 urllib提供urlencode方法用来 阅读全文
posted @ 2017-11-05 22:07 shy车队破风手 阅读(570) 评论(0) 推荐(0)
Urlparse模块
摘要：urlparse模块主要是把url拆分为6部分，并返回元组。并且可以把拆分后的部分再组成一个url。主要有函数有urljoin、urlsplit、urlunsplit、urlparse等。 urlparse.urlparse(urlstring[, scheme[, allow_fragments] 阅读全文
posted @ 2017-11-05 21:02 shy车队破风手 阅读(214) 评论(0) 推荐(0)
python 绑定进程在某个cpu上执行 affinity
摘要：multiprocessing 进程在多cpu机器上的利用率.然后写了个脚本在i5(4核),起了4个进程,发现只有一颗cpu跑的比较高,然后觉得不是很舒服. 指定某个cpu去执行一个进程,python有个第三方的库http://pypi.python.org/pypi/affinity/0.1.0, 阅读全文
posted @ 2017-10-23 19:25 shy车队破风手 阅读(6967) 评论(0) 推荐(0)
开线程、开进程
摘要：concurrent.futures模块的基础是Exectuor，Executor是一个抽象类，它不能被直接使用。但是它提供的两个子类ThreadPoolExecutor和ProcessPoolExecutor却是非常有用，顾名思义两者分别被用来创建线程池和进程池的代码。 如果你依然在坚守Pytho 阅读全文
posted @ 2017-07-29 23:55 shy车队破风手
进程与线程的概念
摘要：工作方式：向下管理硬件 向上提供接口 多道技术：空间多道、时间多道 并行（在多个核内） 并发（在一个核内） 切换： 1、出现I/O操作 2、固定时间 进程资源管理单位间数据不能共用 线程是进程的执行单位 进程下的线程数据能共用 python进程中线程不能并行运行 由于GIL,导致同一时刻，同一进程只 阅读全文
posted @ 2017-05-08 19:24 shy车队破风手 阅读(465) 评论(0) 推荐(0)
socket编程
摘要：端口号 0-65535 1024-65535可以自己用 一 客户端/服务器架构 c/s架构 server端要： 1、力求一直提供服务 2、要绑定一个唯一的地址（IP和端口，IP确定唯一一台主机，端口确定主机上的唯一的软件），让客户端能明确找到 二 osi五层 数据链路层：以太网协议，进行数据分组，h 阅读全文
posted @ 2017-05-03 18:26 shy车队破风手 阅读(396) 评论(0) 推荐(0)
模块与包
摘要：一 模块 1.如何使用模块？ 1.1 import 示例文件：spam.py，文件名spam.py,模块名spam 1.1.1 模块可以包含可执行的语句和函数的定义，这些语句的目的是初始化模块，它们只在模块名第一次遇到导入import语句时才执行（import语句是可以在程序中的任意位置使用的,且针 阅读全文
posted @ 2017-05-02 20:32 shy车队破风手 阅读(156) 评论(0) 推荐(0)
异常处理
摘要：一 错误和异常 part1:程序中难免出现错误，而错误分成两种 1.语法错误（这种错误，根本过不了python解释器的语法检测，必须在程序执行前就改正） 2.逻辑错误 part2:什么是异常 异常就是程序运行时发生错误的信号，在python中,错误触发的异常如下 part3：python中的异常种类 阅读全文
posted @ 2017-05-02 15:03 shy车队破风手 阅读(179) 评论(0) 推荐(0)
常用模块（time、random、hashlib 、os、sys、logging、json、pickle、re ）
摘要：一 time模块 时间表示形式 在Python中，通常有这三种方式来表示时间：时间戳（timestamp）、格式化时间字符串(Format String)、结构化时间字符串(struct time)：(1)时间戳(timestamp) ：通常来说，时间戳表示的是从1970年1月1日00:00:00开 阅读全文
posted @ 2017-04-26 17:34 shy车队破风手 阅读(452) 评论(0) 推荐(0)