2019年9月18日
Hadoop(二) -spark
摘要： (一)HDFS的基本操作 1.HDFS的相关命令 mkdir 在HDFS创建目录 hdfs dfs mkdir /data ls 查看当前目录 hdfs dfs ls / ls R 查看目录与子目录 put 上传一个文件 hdfs dfs put data.txt /data/input moveF 阅读全文
posted @ 2019-09-18 17:56 cherishDouble 阅读(133) 评论(0) 推荐(0) 编辑
elk
摘要： 1.elasticsearch.yml关键配置说明（无权限配置） cluster.name 集群名称，以此作为是否是同一集群的判断条件 node.name 节点名称，以此作为集群中不同节点的区分条件 network.host/http.port 网络地址和端口，用于http 和 ttransport 阅读全文
posted @ 2019-09-18 17:50 cherishDouble 阅读(221) 评论(0) 推荐(0) 编辑
Hadoop（一）MapReduce demo
摘要： Mapreduce基础编程模型：将一个大任务拆分成一个个小任务，再进行汇总。 MapReduce是分两个阶段：map阶段：拆；reduce阶段：聚合。 hadoop环境安装 安装： 1、解压 : tar zxvf hadoop 2.4.1.tar.gz C /root/training/ 2、设置环 阅读全文
posted @ 2019-09-18 09:24 cherishDouble 阅读(1154) 评论(1) 推荐(0) 编辑