摘要:
数据的特征预处理 单个特征 (1)归一化 归一化首先在特征(维度)非常多的时候,可以防止某一维或某几维对数据影响过大,也是为了把不同来源的数据统一到一个参考区间下,这样比较起来才有意义,其次可以程序可以运行更快。 例如:一个人的身高和体重两个特征,假如体重50kg,身高175cm,由于两个单位不一样 阅读全文
摘要:
数据的特征抽取 现实世界中多数特征都不是连续变量,比如分类、文字、图像等,为了对非连续变量做特征表述,需要对这些特征做数学化表述,因此就用到了特征提取. sklearn.feature_extraction提供了特征提取的很多方法 分类特征变量提取 我们将城市和环境作为字典数据,来进行特征的提取。 阅读全文
摘要:
设计思想 hadoop2.x启用了主备节点切换模式(1主1备) 当主节点出现异常的时候,集群直接将备用节点切换成主节点 要求备用节点马上就要工作 主备节点内存几乎同步 有独立的线程对主备节点进行监控健康状态 需要有一定的选举机制,帮助我们确定主从关系 我们需要实时存储日志的中间件 ActiveNam 阅读全文
摘要:
HDFS 写入数据流程 宏观流程 | No | 步骤 | 详情 | | : | : | : | | 1 | 客户端向HDFS发送写数据请求 | hdfs dfs -put tomcat.tar.gz /bdg/ | | 2 | filesystem通过rpc调用namenode的create方法 | 阅读全文
摘要:
安全模式 集群启动时的一个状态 安全模式是HDFS的一种工作状态,处于安全模式的状态下,只向客户端提供文件的只读视图,不接受对命名空间的修改;同时NameNode节点也不会进行数据块的复制或者删除 NameNode启动时 首先将镜像文件(fsimage)载入内存,并执行编辑日志(edits)中的各项 阅读全文
摘要:
文件的数据类型 文件有一个stat命令 元数据信息-->描述文件的属性 文件有一个vim命令 查看文件的数据信息 分类 元数据 File 文件名 Size 文件大小(字节) Blocks 文件使用的数据块总数 IO Block 数据块的大小 regular file:文件类型(常规文件) Devic 阅读全文
摘要:
Hadoop集群搭建笔记 本文档在最小化安装centos7后的操作。 首先,对于大数据集群提前进行主机名、IP地址、主次服务的规划: node01 :192.168.135.80 NN DN node02 :192.168.135.81 DN node03 :192.168.135.82 DN SN 阅读全文
摘要:
Hadoop Model Hadoop Common 基础型功能 Hadoop Distributed File System 负责存放数据 YARN 负责资源的调配 MapReduce 大数据的计算框架 Ozone 数据存放到仓库 Hadoop Submarine 机器学习引擎 分布式文件系统架构 阅读全文
摘要:
编辑器之神-vim vi简介 vi是“Visual interface”的简称,它在Linux上的地位就仿佛Edit程序在DOS上一样。它可以执行输出、删除、查找、替换、块操作等众多文本操作,而且用户可以根据自己的需要对其进行定制。Vi不是一个排版程序,它不象Word或WPS那样可以对字体、格式、段 阅读全文