2015年12月22日

摘要: tcp和udp协议 用于应用程序之间的通信。如果说ip地址和mac地址帮我们确定唯一的一台机器,那么我们怎么找到一台机器上的一个软件呢? 端口 一台拥有IP地址的主机可以提供许多服务,比如Web服务、FTP服务、SMTP服务等,这些服务完全可以通过1个IP地址来实现。那么,主机是怎样区分不同的网络服 阅读全文
posted @ 2015-12-22 15:59 Mr.Hui 阅读(243) 评论(0) 推荐(0) 编辑
摘要: 模块 1、什么是模块 用来从逻辑上组织python代码(变量、函数、类、逻辑:实现一个功能),本质就是以.py结尾的python文件(文件名是test.py,对应的模块就是test)。 2、导入方法 3、import本质(路径搜索和搜索路径) 导入模块的本质就是把python文件解释一遍 4、导入优 阅读全文
posted @ 2015-12-22 10:58 Mr.Hui 阅读(150) 评论(0) 推荐(0) 编辑

2015年12月20日

摘要: Urllib库 Urllib是Python内置的HTTP请求库,包括了4个模块: urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser robots.txt解析模块 1、urllib.reque 阅读全文
posted @ 2015-12-20 14:12 Mr.Hui 阅读(376) 评论(0) 推荐(0) 编辑

2015年12月17日

摘要: BeautifulSoup模块 是一个又灵活又方便的网页解析库,而且处理高效,支持多种解析器,利用它不用编写正则表达式即可方便的实现网页信息的提取。 1、标签选择器 选择元素 获取名称 获取属性 获取内容 嵌套 子节点和子孙节点 父节点和祖先节点 兄弟节点 2、标准选择器 find_all(name 阅读全文
posted @ 2015-12-17 13:00 Mr.Hui 阅读(189) 评论(0) 推荐(0) 编辑

2015年12月12日

摘要: Selenium模块 它是一个自动化测试工具,可以支持多个浏览器,在爬虫中主要用来解决JavaScript渲染的问题。 安装:pip3 install selenium Selenium用法介绍 1、基本用法 2、声明浏览器对象 3、访问页面 4、查找元素 browser.find_element_ 阅读全文
posted @ 2015-12-12 20:34 Mr.Hui 阅读(221) 评论(0) 推荐(0) 编辑

2015年12月2日

摘要: Requests+正则表达式爬取电影 1、目标站点分析 抓取单页内容:利用requests请求目标站点,得到单个网页HTML代码,返回结果 正则表达式分析:根据HTML代码分析得到电影的名称、主演、上映时间、评分、图片链接等信息 保存至文件:通过文件的形式将结果保存,每一部电影一个结果一行json字 阅读全文
posted @ 2015-12-02 19:53 Mr.Hui 阅读(1423) 评论(0) 推荐(0) 编辑
摘要: IO模型介绍 在说IO模型之前先说说以下的概念: 同步:提交一个任务之后要等待这个任务执行完毕 异步:只管提交任务,不等待这个任务执行完毕就可以做其它的事情 阻塞:例如:在socket中的这些recvfrom,recv,accept都会产生阻塞。 非阻塞:除去阻塞中的都是一般都是非阻塞。 基本分类: 阅读全文
posted @ 2015-12-02 18:05 Mr.Hui 阅读(446) 评论(1) 推荐(1) 编辑

2015年11月22日

摘要: 一、samba简介 1、概述: 对于windows的网上邻居来讲,共享文件的方式用的是SMB和CIFS协议以及NETBIOS协议Linux/Unix之间用的是NFS协议。但是Linux和Windows之间是不能共享的,所以澳大利亚国立大学的Andrew Tridgell,决定开发一款软件, 实现不同 阅读全文
posted @ 2015-11-22 12:23 Mr.Hui 阅读(9573) 评论(0) 推荐(0) 编辑

2015年11月1日

摘要: 线程 线程是操作系统能够进行运算调度的最小单位。它被包含在进程之中,是进程中的实际运作单位,一条线程指的是进程中一个单一顺序的控制流,一个进程中可以并发多个线程,每条线程并行执行不同的任务。所有在同一个进程中的线程是共享同一块内存空间的。 一个程序执行的实例就是一个进程,进程就是资源的集合。 注意: 阅读全文
posted @ 2015-11-01 18:21 Mr.Hui 阅读(385) 评论(0) 推荐(0) 编辑

导航