手握太阳

摘要： 配置Redis(远程访问及授权设置) 1、将redis.conf里面的bind 127.0.0.1这一行注释掉，添加自己服务器的IP 2、 还有,找到protected-mode这行, 将改为yes. 1、将redis.conf里面的bind 127.0.0.1这一行注释掉，添加自己服务器的IP 2 阅读全文

摘要： redis 的源码编译安装 首先我们下载软件包到指定的目录下 tar -zxvf redis-2.8.19.tar.gz cd redis-2.8.19 make make PREFIX=/usr/local/redis install mkdir /usr/local/redis/etc/ cp 阅读全文

摘要： Hadoop建立起HDFS和YARN两个字系统，前者是文件系统，管数据存储；后者是计算框架，管数据处理。 如果只有HDFS而没有YARN，那么Hadoop集群可以被用作容错哦的文件服务器，别的就没有什么应用可言了。虽然HDFS是个分布式的文件系统，但是对服务器的用户来说那只是他的内部实现，从外部看与 阅读全文

摘要： HDFS是Hadoop集群的文件系统，这是一种分布（distributed）、容错（fault tolerant）的文件系统 所谓分布，是说整个文件系统的内容并非集中存储在一台或几台“文件服务器上”，而是分散在集群的不同节点上 对于大数据文件系统，文件之所以应该是分布式的，不再仅仅是容量和容错的问题 阅读全文

摘要： 大数据特征：volume（数量）、variety（多样性）、velocity（产生的速度） 大数据特征：多、乱、快、杂 数据的来源：业务数据、日志、管理文档（OCR）、互联网、物联网、外购 阅读全文

摘要： 数学里的 e 为什么叫做自然底数？是不是自然界里什么东西恰好是 e？ https://www.zhihu.com/question/20296247 阅读全文

摘要： Hadoop自带一套原子操作用于数据的I/O操作。 如果系统中需要处理的数据量达到Hadoop的处理极限时，数据被损害的概率还是很高的 检测数据是否被损害的常见措施是，在数据第一次被引进系统时，计算校验和（checksum），并在数据通过一个不可靠的通道进行传输时，再次计算校验和。 校验和也是可能损 阅读全文

摘要： 1、HDFS中，目录作为元数据，保存在namenode中，而非datanode中 2、HDFS的文件权限模型与POSIX的权限模式非常相似，使用 r w x 3、HDFS的文件执行权限（X）可以忽略，因为你不能在hdfs中执行文件 Hadoop有一个抽象系统的概念，而HDFS只是其中的一个实现，支持 阅读全文

摘要： 1、-help[cmd] 显示命令的帮助信息 ./hdfs dfs -help ls1 2、-ls(r) 显示当前目录下的所有文件 -R层层循出文件夹 ./hdfs dfs -ls /log/map ./hdfs dfs -lsr /log/ (递归的)1 3、-du(s) 显示目录中所有文件大小, 阅读全文

摘要： 何时使用hadoop fs、hadoop dfs与hdfs dfs命令 编辑 删除 hadoop fs：使用面最广，可以操作任何文件系统。 编辑 删除 编辑 删除 hadoop dfs与hdfs dfs：只能操作HDFS文件系统相关（包括与Local FS间的操作），前者已经Deprecated，一 阅读全文