摘要：HDFS文件操作 使用hadoop用户登录Linux系统，启动Hadoop（Hadoop的安装目录为“/usr/local/hadoop”），为hadoop用户在HDFS中创建用户目录“/user/hadoop” 接着在HDFS的目录“/user/hadoop”下，创建test文件夹，并查看文件列表 阅读全文

摘要：NoSQL:具有非常好的水平扩展性，支持大规模数据存储，数据模型灵活，可用性好，短时间内返回你想要的结果，缺乏底层基础理论做支撑，很多NoSQL数据库不支持事务的强一致性 分为四大类： 键值数据库 列族数据库 文档数据库 图数据库 键值数据库： 列族数据库： 文档数据库： 图数据库： NoSQL的三 阅读全文

摘要：HBase 分布式数据库 允许几千台服务器去存储海量文件：： HBase 的底层技术：文件存储系统：HDFS 海量数据处理：Hadoop MapReduce 协同管理服务：Zookeeper HBase 数据模型：把每个存储的值都存储为未经解释的字符串 数据操作：都存在一张表里 基于列存储 只支持对 阅读全文

摘要：HDFS体系结构 冷备份：发生故障以后，先停止一段时间，把一些数据从第二名称节点慢慢恢复过来，恢复过来后再提供对外服务。 HDFS存储原理： 冗余数据保存的问题：一个数据块会被默认保存3份（可并行操作同一数据，加快数据传输速度；很容易检查数据错误，有参照；保证数据可靠性） 数据保存策略的问题： 1） 阅读全文