随笔分类 - big-data
摘要：1, hdfs中两种连接方式 1), 网页 2), 客户端 切块后的文件会在hdfs的目录中存在, 通过cat命令将replace拼接后, 文件恢复原始文件 即, hdfs只对文件进行啦按大小的简单切割 2, 常用的命令操作 1, 查看目录 2, 上传文件 3, 下载文件 4, 移动hdfs中的文件
阅读全文
摘要：1, 基本概念 在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！ 换个角度说，大数据是： 1、有海量的数据 2、有对海量数据进行
阅读全文
摘要：1, 电脑环境准备 1), 关闭selinux 2), 时间同步 修改时间服务器配置, 并重启 修改需要同步的服务器配置, 并重启 执行时间同步 查看时间同步: 3), 修改hostname, 很多集群都需要执行这一个 4), jdk 版本 java -version 1.8.0_161 5), 设
阅读全文
