2017年9月7日
python练手系列-分布式监控
摘要： 如果我们要写一个监控系统，要注意哪些问题和需求？ [1] agent收集数据的时候需要通过系统调用少的方法收集到我们需要数据，一般来说我们优先使用python自带的系统方法，然后是读取/proc 文件 最差情况是 通过执行linux命令获取。 [2] 网络传输问题：需要使用自己写网络库来完成传输，需 阅读全文
posted @ 2017-09-07 17:33 nerdlerss 阅读(195) 评论(0) 推荐(0) 编辑
python-高级编程-07-端口
摘要： TCP和UDP协议中都有端口这个概念，但是端口却不是IP协议的一部分 端口的出现主要是为了给协议栈和应用对应 。协议栈端口号将数据分配给不同的应用程序 。应用层程序用端口号去区分不同的链接 TCP 和UDP 协议都使用了端口号 的概念来标示发送方和接收方的应用层 对每个tcp链接的一端 都用一个相关 阅读全文
posted @ 2017-09-07 15:50 nerdlerss 阅读(211) 评论(0) 推荐(0) 编辑
2017年8月26日
python-高级编程-06-长连接&连接池
摘要： 我们都知道tcp是基于连接的协议，其实这个连接只是一个逻辑上面的概念，在ip层来看，tcp和udp仅仅是内容上稍有差别而已。 tcp 的连接仅仅是连接两端对于四元组和sequence号的一种约定而已 四元组：源IP 目的IP 源端 目的端口 五元组 ：源IP 目的IP 源端 目的端口 协议 七元祖： 阅读全文
posted @ 2017-08-26 13:43 nerdlerss 阅读(1142) 评论(0) 推荐(0) 编辑
2017年8月14日
python-高级编程-05-异步IO
摘要： 【异步非阻塞IO】 小明和小强是笔友，他们通过有邮件的方式联系，小明发一封，小强回一封 邮差有点时候天气好，早上发出的信件，晚上就能收的到，然后有的时候遇到意外， 可能好几天都不能收到，小强就在邮箱前面等啊等，一直等到天荒地老 cont =1 mailbox = xxxxx while 1: mai 阅读全文
posted @ 2017-08-14 18:44 nerdlerss 阅读(218) 评论(0) 推荐(0) 编辑
2017年8月9日
python-高级编程-04
摘要： 【http协议】 断句 ： 由于tcp协议是基于流的传输协议，也就是在传输层本身是做不到断句的功能的， 于是断句需要在应用层协议实现。 最初用回车和换行来标示一套命令的结束 如果信息里面有 \r\n的情况呢 可以通过转义来解决这个问题，但是转义工作量太大，而且会增加传输大小， 因为转义字符一般情况比 阅读全文
posted @ 2017-08-09 16:34 nerdlerss 阅读(159) 评论(0) 推荐(0) 编辑
2017年7月29日
python-高级编程-03
摘要： 【多进程与多线程】 调度 ： 在传统计算机操作系统中 cpu的调度的基本单位是进程，随着线程的引入，线程变成操作系统的最小调度单位 而进程是作为资源的拥有单位。 并行：由于线程的引入 原先一个进程只能有一个并发 现在一个进程可以有多个线程并行执行， 早起的httpserver 都是通过线程来解决服务 阅读全文
posted @ 2017-07-29 15:47 nerdlerss 阅读(293) 评论(0) 推荐(0) 编辑
2017年7月28日
06-python进阶-多线程下载器练手
摘要： 我们需要用python 写一个多线程的下载器 我们要先获取这个文件的大小 然后将其分片 然后启动多线程 分别去下载 然后将其拼接起来 阅读全文
posted @ 2017-07-28 16:05 nerdlerss 阅读(244) 评论(0) 推荐(0) 编辑
2017年7月25日
04-python进阶-map&reduce
摘要： Map --映射 Reduce -- 归纳 将大数据标准化的处理 Map 拆封任务，Reduce将结果合并 这样是不是能够将很多计算机组成一台超级计算机呢？ 一些问题：如果任务本身就很复杂，那么拆解任务本身就是一个很打的难题。 python 在2.6 的时候 增加了 map reduce函数 例如我 阅读全文
posted @ 2017-07-25 23:23 nerdlerss 阅读(140) 评论(0) 推荐(0) 编辑
2017年7月21日
05-python进阶-简单监控程序开发
摘要： #!/usr/bin/env python #coding:utf-8 ''' 监控监控程序 ''' import json import urllib import inspect import os,time,socket '''conf''' userDefine_check_time = 0 userDefine_json = [] class mon(object): ... 阅读全文
posted @ 2017-07-21 09:06 nerdlerss 阅读(164) 评论(0) 推荐(0) 编辑
2017年7月4日
03-python进阶-爬虫入门-正则
摘要： 【urllib and urllib2】 这是两个python的网络模块 内置的 提供很好的网络访问的功能。 如果我们想要去爬一些图片可以这样干 可以把豆瓣某个电影页面的封面都爬下来 并且以文件名的形式保存下来 【正则表达式】 在python中想要用正则表达式就必须要要用re模块 <html><bo 阅读全文
posted @ 2017-07-04 17:51 nerdlerss 阅读(187) 评论(0) 推荐(0) 编辑