摘要:
正在学习深蓝学院的《多传感器融合定位》第三期课程,留下相关学习记录。 主要内容: 1.多传感器融合行业发展现状介绍 2.本课程的学习要求 3.本课程的环境搭建要求 4.具体实验步骤 1.多传感器融合行业发展现状介绍 (1)自动驾驶 (2)高精地图 高精地图本属于自动驾驶的一部分,但由于成本、复杂度以 阅读全文
摘要:
主要内容: 1.numpy简介 2.windows下在python2.7.12中安装numpy 3.numpy应用举例 1.numpy简介 NumPy系统是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵,比Python自身的嵌套列表(nested list structure 阅读全文
摘要:
在抓取网页信息时,经常要对网页中特定位置信息进行查找,比如查找标题所在的位置,正文内容所在位置,需要用到类似于操作系统下*和?这样的通配符,在python中把类似的一些符号组成的表达式称为正则表达式,要在程序中使用正则表达式需先使用import re进行说明,加载re模块。 常用的正则表达式符号有: 阅读全文
摘要:
主要内容: 1. python的安装 2. python爬虫的几个小例子 1. python的安装 在windows下一般采用jdk+eclipse+python的安装方式,这里eclipse的作用还是个编辑器,写代码用的,把python内嵌到eclipse环境下,实现在eclipse下编写扩展名为 阅读全文
摘要:
主要内容: 1. HBase协处理器介绍 2. 观察者(Observer) 3. 终端(endpoint) 1. HBase协处理器介绍 系统协处理器可以全局导入region server上的所有数据表,表协处理器即是用户可以指定一张表使用协处理器。Hbase协处理器(Coprocessor)有两种 阅读全文
摘要:
主要内容: 1. 集群规划 2. 企业级系统参数配置 3. Hadoop动态替换节点 4. HBase动态替换节点 1. 集群规划 HBase企业级使用常见场景: (1)大数据量(100TB级数据)且有快速随机访问的需求。 (2)容量扩展容易便捷,动态扩展系统容量是必须的。 (3)业务场景简单,不需 阅读全文
摘要:
本文将介绍HA机制的原理,以及Hadoop2 HA配置过程。 ———————————————————————————————————————————————————————————————————— HA机制的原理 HA中有两个NameNode:Active NameNode和Standby Nam 阅读全文
摘要:
Apache HBase是一个分布式的、面向列的开源数据库,它可以让我们随机的、实时的访问大数据。但是怎样有效的将数据导入到HBase呢?HBase有多种导入数据的方法,最直接的方法就是在MapReduce作业中使用TableOutputFormat作为输出,或者使用标准的客户端API,但是这些都不 阅读全文
摘要:
在HBase读写时,相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起,甚至删除一个Cell也只是写入一个新的Cell,它含有Delete标记,而不一定将一个Cell真正删除了,因而这就引起了一个问题,如何实现读的问题?要解决这个问题,我们先来分析一下相同的Cel 阅读全文
摘要:
对YARN的形成背景及基本架构,运行原理做了介绍,对后面编写基于YARN的计算有一定的帮助。 阅读全文