摘要:
python中用None表示空,但是在查询Mysql数据中,参数不能传None 例如 def select_word1(): db = MysqlConn() cursor = db.cursor() sql = 'select * from HotWord where detail=%s' try 阅读全文
摘要:
报错信息: Referenced file contains errors (http://www.springframework.org/schema/beans/spring-beans-4.3.xsd). For more information, right click on the mes 阅读全文
摘要:
Docker服务安装 Docker 支持以下的 Ubuntu 版本: Ubuntu Precise 12.04 (LTS) Ubuntu Trusty 14.04 (LTS) Ubuntu Wily 15.10 其他更新的版本…… Ubuntu Precise 12.04 (LTS) Ubuntu 阅读全文
摘要:
一、注册AWS账号(https://aws.amazon.com/) 创建EC2实例 注册完成后,访问https://aws.amazon.com/如下图找到【AWS管理控制台】点击,如果没有登陆则跳转到登陆页面。 登陆后到控制台页面,点击【服务】-》【EC2】 选择AMI(记得打勾仅免费套餐,过滤 阅读全文
摘要:
谷歌云 数据中心网络 据市场研究公司Gartner称,云计算是个200亿美元的市场,并且明年将会再增长35%。Google在这个日益增长的领域排名前三位。为了提升在云计算市场的地位,Google将大规模扩充其数据中心网络,用技术迎接挑战,这符合Google的传统。 当前Google有4个数据中心,但 阅读全文
摘要:
MapReduce 最优路径算法 原理 最优路径算法是无向图中满足通路上所有顶点(除起点、终点外)各异,所有边也各异的的通路。应用在公路运输中,可以提供起点和终点之间的最短路径,节省运输成本。可以大大提高交通运输效率。 本实验采用Dijkstra算法,迪杰斯特拉算法是由荷兰计算机科学家狄克斯特拉于1 阅读全文
摘要:
原理 1.输出格式:提供给OutputCollector的键值对会被写到输出文件中,写入的方式由输出格式控制。OutputFormat的功能跟前面描述的InputFormat类很像,Hadoop提供的OutputFormat的实例会把文件写在本地磁盘或HDFS上。在不做设置的情况下,计算结果会以pa 阅读全文
摘要:
目的 1.了解Hadoop自带的几种输入格式 2.准确理解MapReduce自定义输入格式的设计原理 3.熟练掌握MapReduce自定义输入格式程序代码编写 4.培养自己编写MapReduce自定义输入格式程序代码解决实际问题 原理 1.输入格式:InputFormat类定义了如何分割和读取输入文 阅读全文
摘要:
原理 一些复杂的任务难以用一次MapReduce处理完成,需要多次MapReduce才能完成任务。Hadoop2.0开始MapReduce作业支持链式处理,类似于工厂的的生产线,每一个阶段都有特定的任务要处理,比如提供原配件——>组装——打印出厂日期,等等。通过这样进一步的分工,从而提高了生成效率, 阅读全文
摘要:
原理 "倒排索引"是文档检索系统中最常用的数据结构,被广泛地应用于全文搜索引擎。它主要是用来存储某个单词(或词组)在一个文档或一组文档中的存储位置的映射,即提供了一种根据内容来查找文档的方式。由于不是根据文档来确定文档所包含的内容,而是进行相反的操作,因而称为倒排索引(Inverted Index) 阅读全文