2018年7月12日
MapReduce
1、MapReduce的原理分而治之，一个大任务分成多个小的子任务（map），并行执行后，合并结果（reduce） 2、MapReduce的运行流程基本概念-Job & Task-JobTracker-TaskTracker JobTracker:(1)作业调度(2)分配任务、监控任务执行进度(3) Read More
posted @ 2018-07-12 22:37 八千步 Views(139) Comments(0) Diggs(0) Edit
HDFS
1、基本概念-块（block）-namenode-datanode hdfs文件分成块存储，默认64M，块是文件存储的逻辑单元hdfs有两类节点：nomenode、datanode nomenode是管理节点，存放文件元数据（1）文件与数据块的映射表（2）数据块与数据节点的映射表datanode是h Read More
posted @ 2018-07-12 22:36 八千步 Views(233) Comments(0) Diggs(0) Edit
Hadoop安装
Hadoop安装1、linux准备2、jdk准备，设置环境变量3、hadoop下载准备，解压后./conf 需要配置4个文件 hadoop-env.sh 修改java_home的目录 core-site.xml 配置 工作目录、元数据目录、如何访问 hdfs-site.xml 配置数据的路径 map Read More
posted @ 2018-07-12 22:34 八千步 Views(114) Comments(0) Diggs(0) Edit
oracle SDO_ORDINATE_ARRAY直接展示
mdsys.sdo_geometry 中SDO_ORDINATE存储的是空间对象的几何节点坐标序列，要想直接展示第一条值出来需要捞出数据 若select t.id,t.shape.sdo_ordinates from test1展示出来的是id和一个集合对象，我只需暂时集合对象第一个值或者某几个值出 Read More
posted @ 2018-07-12 22:30 八千步 Views(1669) Comments(0) Diggs(0) Edit