摘要：
LanceToBigData 博客园 首页 新随笔 联系 订阅 管理 前言 HDFS（Hadoop Distributed File System）是一个分布式文件系统。它具有高容错性并提供了高吞吐量的数据访问，非常适合大规模数据集上的应用，它提供了一个高度容错性和高吞吐量的海量数据存储解决方案。 阅读全文
摘要：
前言 其实说到HDFS的存储原理，无非就是读操作和写操作，那接下来我们详细的看一下HDFS是怎么实现读写操作的！ 一、HDFS读取过程 1）客户端通过调用FileSystem对象的open()来读取希望打开的文件。对于HDFS来说，这个对象是分布式文件系统的一个实例。 2）DistributedFi 阅读全文
摘要：
上一篇详细介绍了HDFS集群，还有操作HDFS集群的一些命令，常用的命令： hdfs dfs -ls xxx hdfs dfs -mkdir -p /xxx/xxx hdfs dfs -cat xxx hdfs dfs -put local cluster hdfs dfs -get cluster 阅读全文
摘要：
前面几篇简单介绍了什么是大数据和Hadoop，也说了怎么搭建最简单的伪分布式和全分布式的hadoop集群。接下来这篇我详细的分享一下HDFS。 HDFS前言： 设计思想：（分而治之）将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析。 在大数据系统中作用： 阅读全文
摘要：
前言 上一篇介绍了伪分布式集群的搭建，其实在我们的生产环境中我们肯定不是使用只有一台服务器的伪分布式集群当中的。接下来我将给大家分享一下全分布式集群的搭建！ 其实搭建最基本的全分布式集群和伪分布式集群基本没有什么区别，只有很小的区别。 一、搭建Hadoop全分布式集群前提 1.1、网络 1）如果是在 阅读全文
摘要：
Hadoop（二）搭建伪分布式集群 前言 前面只是大概介绍了一下Hadoop，现在就开始搭建集群了。我们下尝试一下搭建一个最简单的集群。之后为什么要这样搭建会慢慢的分享，先要看一下效果吧！ 一、Hadoop的三种运行模式（启动模式） 1.1、单机模式（独立模式）（Local或Standalone M 阅读全文
摘要：
一、引言（大数据时代） 1.1、从数据中得到信息 我们看一张图片： 我们知道这个图片上的人叫张小妹，年龄20岁，职业模特。但是如果只有数据没有图片的话，就没有意义的数据了。所以数据一定是在特定的环境下才有意义的。 我们再来看一张图片: 从这张图片分析出：从纵向分析，范范和张帆的购买东西十分的相似，所 阅读全文
摘要：
简述 分布式事务指事务的操作位于不同的节点上，需要保证事务的 AICD 特性。 例如在下单场景下，库存和订单如果不在同一个节点上，就涉及分布式事务。 解决方案 在分布式系统中，要实现分布式事务，无外乎那几种解决方案。 一、两阶段提交（2PC） 两阶段提交（Two-phase Commit，2PC）， 阅读全文