摘要：
数据的特征预处理 单个特征 （1）归一化 归一化首先在特征（维度）非常多的时候，可以防止某一维或某几维对数据影响过大，也是为了把不同来源的数据统一到一个参考区间下，这样比较起来才有意义，其次可以程序可以运行更快。 例如：一个人的身高和体重两个特征，假如体重50kg，身高175cm,由于两个单位不一样 阅读全文
摘要：
数据的特征抽取 现实世界中多数特征都不是连续变量，比如分类、文字、图像等，为了对非连续变量做特征表述，需要对这些特征做数学化表述，因此就用到了特征提取. sklearn.feature_extraction提供了特征提取的很多方法 分类特征变量提取 我们将城市和环境作为字典数据，来进行特征的提取。 阅读全文
摘要：
设计思想 hadoop2.x启用了主备节点切换模式（1主1备） 当主节点出现异常的时候，集群直接将备用节点切换成主节点 要求备用节点马上就要工作 主备节点内存几乎同步 有独立的线程对主备节点进行监控健康状态 需要有一定的选举机制，帮助我们确定主从关系 我们需要实时存储日志的中间件 ActiveNam 阅读全文
摘要：
HDFS 写入数据流程 宏观流程 | No | 步骤 | 详情 | | : | : | : | | 1 | 客户端向HDFS发送写数据请求 | hdfs dfs -put tomcat.tar.gz /bdg/ | | 2 | filesystem通过rpc调用namenode的create方法 | 阅读全文
摘要：
安全模式 集群启动时的一个状态 安全模式是HDFS的一种工作状态，处于安全模式的状态下，只向客户端提供文件的只读视图，不接受对命名空间的修改；同时NameNode节点也不会进行数据块的复制或者删除 NameNode启动时 首先将镜像文件（fsimage）载入内存，并执行编辑日志（edits）中的各项 阅读全文
摘要：
文件的数据类型 文件有一个stat命令 元数据信息-->描述文件的属性 文件有一个vim命令 查看文件的数据信息 分类 元数据 File 文件名 Size 文件大小（字节） Blocks 文件使用的数据块总数 IO Block 数据块的大小 regular file：文件类型（常规文件） Devic 阅读全文
摘要：
Hadoop集群搭建笔记 本文档在最小化安装centos7后的操作。 首先，对于大数据集群提前进行主机名、IP地址、主次服务的规划： node01 ：192.168.135.80 NN DN node02 ：192.168.135.81 DN node03 ：192.168.135.82 DN SN 阅读全文
摘要：
Hadoop Model Hadoop Common 基础型功能 Hadoop Distributed File System 负责存放数据 YARN 负责资源的调配 MapReduce 大数据的计算框架 Ozone 数据存放到仓库 Hadoop Submarine 机器学习引擎 分布式文件系统架构 阅读全文
摘要：
编辑器之神-vim vi简介 vi是“Visual interface”的简称，它在Linux上的地位就仿佛Edit程序在DOS上一样。它可以执行输出、删除、查找、替换、块操作等众多文本操作，而且用户可以根据自己的需要对其进行定制。Vi不是一个排版程序，它不象Word或WPS那样可以对字体、格式、段 阅读全文