摘要: 7.1.2MapReduce模型 Master/Slave架构: Map函数: Reduce函数: MapReduce的体系结构: TaskTracker通过slot监控自己的资源使用情况(以slot为单位调度资源) MapReduce的执行过程: map的数量:最优情况下和分片的数量相同 redu 阅读全文
posted @ 2018-12-05 16:54 cellphone7 阅读(137) 评论(0) 推荐(0) 编辑
摘要: ————厦门大学mooc:大数据技术原理与应用 两大核心: 分布式文件系统(HDFS)、分布式并行框架(MapReduce) hadoop的特性: 1.高可靠性:Hadoop平台采用冗余副本机制 2.高效率 3.很好的扩展性 4.高容错性 5.成本低 Hadoop的结构: Hive:在Hadoop中 阅读全文
posted @ 2018-12-04 12:27 cellphone7 阅读(247) 评论(0) 推荐(0) 编辑
摘要: 5.1数据链路层 链路层的服务: 链路层的具体实现: 网卡间的通信: 5.2差错编码: 不是百分之百的可靠 分类: 分组码: 线性分组码(常用) 非线性分组码 卷积码 根据差错编码的能力进行分类: 检错码 纠错码(概率最大化) 奇偶校验码: 1比特校验位: 检测奇数位差错 虽然检测能力为50%,但效 阅读全文
posted @ 2018-10-25 09:06 cellphone7 阅读(357) 评论(0) 推荐(0) 编辑
摘要: 4.9路由算法 网络图中的关键问题: 源到目的的最小费用路径是什么? 费用可以用带宽的倒数、拥塞程度等表示(越小越好) 路由算法:寻找最小费用路径的算法 路由算法的分类: 静态路由: 手工配置、路由更新慢 优先级高 动态路由: 路由更新快(定期更新、及时响应链路费用或网络拓扑变化) 全局信息: 所有 阅读全文
posted @ 2018-10-21 10:16 cellphone7 阅读(669) 评论(0) 推荐(0) 编辑
摘要: 类的定义: pass关键字:什么也不做 类的方法: python类的方法定义中,每个方法的第一个参数是self,表明该方法调用时不需要实参 实例的创建: 如: 对象的初始化方法_init_(): 1.当类被调用后,python将创建实例对象 2.创建完对象后,Python自动调用的第一个方法为_in 阅读全文
posted @ 2018-10-13 12:55 cellphone7 阅读(154) 评论(0) 推荐(0) 编辑
摘要: 4.1网络层服务(not end-end) 从发送主机向接收主机传送数据段(segment): 发送主机->将数据段封装到数据报中 接收主机->向传输层交付数据段 每个主机和路由器都要运行网络层协议,其中,路由器检验穿越它的IP数据报的头部域,决策如何处理数据报。 网络层的核心功能-转发与路由 转发 阅读全文
posted @ 2018-10-10 11:32 cellphone7 阅读(714) 评论(0) 推荐(0) 编辑
摘要: 课后练习: 结果: 结果: 拓展练习: 1. 从键盘输入整数 n(1-9 之间),对于 1-100 之间的整数删除包含 n 并且能被 n 整除的 数,例如如果 n 为 6,则要删掉包含 6 的如 6,16 这样的数及是 6 的倍数的如 12 和 18 这 样的数,输出所有满足条件的数,要求每满 10 阅读全文
posted @ 2018-10-07 17:43 cellphone7 阅读(1410) 评论(0) 推荐(0) 编辑
摘要: 用python获取数据: 抓取: Requests库 解析: BeautifulSoup:一个可以从HTML或XML文件中提取数据的Python库。 官网: https://www.crummy.com/software/BeautifulSoup/bs4/doc/ 生成BeautifulSoup的 阅读全文
posted @ 2018-10-04 11:35 cellphone7 阅读(249) 评论(0) 推荐(0) 编辑
摘要: 传输层的基本理论和基本机制: 多路复用/分用 可靠数据传输机制 流量拥塞控制机制 拥塞控制机制 Internet的传输层协议: UDP:无连接传输服务 不可靠的交付服务,基于“尽力而为”的网络层。(多路分用、多路复用) TCP:面向连接的传输服务 可靠、按序的交付服务,提供拥塞控制、流量控制、连接建 阅读全文
posted @ 2018-09-25 13:09 cellphone7 阅读(471) 评论(0) 推荐(0) 编辑
摘要: 源自南京大学——用Python玩转数据: python中的运算符: python中的赋值: 链式赋值: 多重赋值: 关于python中元组的补充: http://www.runoob.com/python/python-tuples.html python中的数据类型: python中的复数型(co 阅读全文
posted @ 2018-09-22 21:51 cellphone7 阅读(225) 评论(0) 推荐(0) 编辑