上一页 1 2 3 4 5 6 7 ··· 9 下一页
摘要: 【socket + select 实现构建异步非阻塞模块】 对于异步IO请求的本质则是【非阻塞Socket】+【IO多路复用】,那我们是否可以自定义异步IO模块,作为客户端,用于发送请求呢?答案那是肯定的! 补充说明:select可操作任何对象,但对象内必须是有fileno方法,可以看作是一个数值, 阅读全文
posted @ 2017-10-17 22:58 盛欣 阅读(441) 评论(1) 推荐(0) 编辑
摘要: 【基于RabbitMQ rpc实现的主机管理】 要求: 文件分布: 流程图: import pika import os import socket class Server(object): def __init__(self, queuename): self.queuename = queue 阅读全文
posted @ 2017-10-17 20:23 盛欣 阅读(270) 评论(0) 推荐(0) 编辑
摘要: 【 Scrapy框架】 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates We 阅读全文
posted @ 2017-10-17 11:11 盛欣 阅读(318) 评论(0) 推荐(0) 编辑
摘要: 【性能相关及深度优先与广度优先】 性能相关 在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。 import requests def fetch_async(url): response = requests.get(url) retu 阅读全文
posted @ 2017-10-16 23:00 盛欣 阅读(317) 评论(0) 推荐(0) 编辑
摘要: 【 安装使用以及应用】 网络爬虫:(又被称为网页蜘蛛,网络机器人,在FOFA社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本。 URI(Uniform Resource Identifier 统一资源标识符)一般由三部分组成:1.访问资源的命名机制(方案名 阅读全文
posted @ 2017-10-15 21:55 盛欣 阅读(374) 评论(0) 推荐(0) 编辑
摘要: 【Django内置Admin】 Django内置的Admin是对于model中对应的数据表进行增删改查提供的组件,使用方式有: 依赖APP: django.contrib.auth django.contrib.contenttypes django.contrib.messages django. 阅读全文
posted @ 2017-10-14 20:43 盛欣 阅读(194) 评论(0) 推荐(0) 编辑
摘要: 【 安装使用以及应用】 RabbitMQ 消息队列安装: linux版本:CentOS 7 安装第一步:先关闭防火墙 1、Centos7.x关闭防火墙 1 2 3 4 5 [root@rabbitmq /]# systemctl stop firewalld.service [root@rabbit 阅读全文
posted @ 2017-10-13 23:12 盛欣 阅读(679) 评论(0) 推荐(0) 编辑
摘要: 【多级评论】 一、 前戏: v1 = [1,2,3,4] v1.append(123) print(v1) data = [ [11,22,33], [44,55,66] ] data[0].append(data[1]) print(data) # data = [ # [11,22,33, [4 阅读全文
posted @ 2017-10-12 23:03 盛欣 阅读(265) 评论(0) 推荐(0) 编辑
摘要: 【IO多路复用版FTP】 需求: 流程图 import socket import pickle import sys import time import os A = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) clas 阅读全文
posted @ 2017-10-12 20:13 盛欣 阅读(366) 评论(0) 推荐(0) 编辑
摘要: 【NumPy模块】 NumPy系统是Python的一种开源的数值计算扩展,一个用python实现的科学计算包。这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表(nested list structure)结构要高效的多(该结构也可以用来表示矩阵(matrix))。是python中的一款 阅读全文
posted @ 2017-10-11 23:03 盛欣 阅读(443) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 ··· 9 下一页