摘要: 1、MapReduce是一个经典的分布式批处理计算引擎,被广泛应用于搜索引擎索引构建、大规模数据处理等场景中,具有易于编程、良好的扩展性与容错性以及高吞吐率等特点。它主要由两部分组成:编程模型和运行时环境。其中,编程模型为用户提供了非常易用的编程接口,用户只需像编写串行程序一样实现几个简单的函数即可 阅读全文
posted @ 2020-06-23 16:56 Z张不错 阅读(376) 评论(0) 推荐(0) 编辑
摘要: 1、为了实现一个通用的分布式协调服务,避免每个分布式系统从头实现造成不必要的工作冗余,Hadoop生态系统提供了ZooKeeper。ZooKeeper通过引入类似于文件系统的层级命名空间,并在此基础上提供了一套简单易用的原语,能够帮助用户轻易地实现前面提到leader选举、分布式锁、分布式队列等功能 阅读全文
posted @ 2020-06-23 16:26 Z张不错 阅读(181) 评论(0) 推荐(0) 编辑
摘要: Kudu是一个强类型的纯列式存储数据库。类似于HBase,Kudu的表是由很多数据子集构成的,表被水平拆分成多个Tablet(类似于HBase的Region),这些Tablet被散布到不同机器上,以实现分布式的存储和读写。Kudu有两种类型的组件:Master Server和Tablet Serve 阅读全文
posted @ 2020-06-23 16:05 Z张不错 阅读(425) 评论(0) 推荐(0) 编辑
摘要: 1、HBase数据模型:逻辑数据模型和物理数据存储,其中逻辑数据模型是用户从数据库所看到的模型,直接与HBase数据建模相关;物理数据模型是面向计算机物理表示的模型,描述了HBase数据在存储介质(包括内存和磁盘)上的组织结构。 2、HBase基本架构 为了将数据表分布到集群中以提供并行读写服务,H 阅读全文
posted @ 2020-06-23 15:59 Z张不错 阅读(179) 评论(0) 推荐(0) 编辑
摘要: 1、HDFS(Hadoop Distributed File System)是一个分布式文件系统,具有良好的扩展性、容错性以及易用的API。它的核心思想是将文件切分成等大的数据块,以多副本的形式存储到多个节点上。HDFS采用了经典的主从软件架构,其中主服务被称为NameNode,管理文件系统的元信息 阅读全文
posted @ 2020-06-18 14:26 Z张不错 阅读(361) 评论(0) 推荐(0) 编辑
摘要: 执行下面语句报1071 -Specified key was too long; max key length is 767 bytes CREATE table person( pid int not null UNIQUE, firstName VARCHAR(255) NOT NULL, la 阅读全文
posted @ 2020-06-16 18:53 Z张不错 阅读(476) 评论(0) 推荐(0) 编辑
摘要: 1、get请求数据会直接暴露在地址栏中(以?分割url和传输数据),post请求数据放在在请求包的包体中即body 2、传输大小的区别,一般get请求中浏览器和服务器会对url的长度有限制 3、安全性上post方法比get方法要安全 4、get方法一般用来从服务器获取数据;post方法一般用来向服务 阅读全文
posted @ 2020-06-16 18:39 Z张不错 阅读(225) 评论(0) 推荐(0) 编辑
摘要: 安装pycharm后,import numpy,运行后提示 ModuleNotFoundError:No module named'XXX' 打开命令行,输入pip install numpy后,成功安装,但再次运行仍然提示错误。 原因猜测是第三方库的安装路径与import路径不一致导致 解决方法: 阅读全文
posted @ 2020-06-10 14:30 Z张不错 阅读(2431) 评论(0) 推荐(0) 编辑
摘要: requests对象的get和post方法都会返回一个Response对象,这个对象里面存的是服务器返回的所有信息,包括响应头,响应状态码等。其中返回的网页部分会存在.content和.text两个对象中。 两者区别在于,content中间存的是字节码,而text中存的是Beautifulsoup根 阅读全文
posted @ 2020-06-08 16:38 Z张不错 阅读(417) 评论(0) 推荐(0) 编辑
摘要: 由于变量list和函数list重名了,所以函数在使用list函数时,发现list是一个定义好的列表,而列表是不能被调用的,因此抛出一个类型错误 阅读全文
posted @ 2020-05-28 18:31 Z张不错 阅读(3569) 评论(0) 推荐(0) 编辑