随笔分类 -  大数据学习之路 / hadoop

mapreduce案例_用户停留时间关联城市名
摘要：import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.T 阅读全文
posted @ 2024-11-07 21:49 w我自横刀向天笑 阅读(27) 评论(0) 推荐(0)
mapreduce案例_电信用户平均停留时间
摘要：package com.wll.dianxin; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; impo 阅读全文
posted @ 2024-11-07 21:47 w我自横刀向天笑 阅读(26) 评论(0) 推荐(0)
mapreduce流程
摘要：逻辑切片 1、逻辑切片对block块进行切分，切分的结果将影响map任务的数量 2、split切片的大小默认是128M，与block块大小一样，一个block块会有一个切片 3、如果读取到最后一个block块时会与前一个block进行合并，合并后的大小如果大于1281.1将会各自生成一个切片，合并后 阅读全文
posted @ 2024-11-05 22:05 w我自横刀向天笑 阅读(40) 评论(0) 推荐(0)
mapreducr案例_好友关系
摘要：import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.T 阅读全文
posted @ 2024-11-05 21:49 w我自横刀向天笑 阅读(18) 评论(0) 推荐(0)
mapreduce案例_词频统计
摘要：统计文件中英文单词出现的次数 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.LongWritable; import org.apa 阅读全文
posted @ 2024-11-05 21:47 w我自横刀向天笑 阅读(39) 评论(0) 推荐(0)
Hadoop高可用搭建
摘要：最终每个节点上的进程 ZK NN DN JN ZKFC master １ １ １ １ ｎｏｄｅ1 １ １ １ １ １ ｎｏｄｅ２ １ １ １ １、防火墙 service firewalld stop ２、时间同步 yum install ntp ntpdate -u s2c.time.edu.cn 阅读全文
posted @ 2024-11-04 19:57 w我自横刀向天笑 阅读(34) 评论(0) 推荐(0)
hadoop-3.1.2分布式搭建
摘要：一、准备工作 三台虚拟机： master、node1、node2 时间同步 关闭防火墙： systemctl stop firewalld 查看防火墙状态： systemctl status firewalld 取消防火墙自启： systemctl disable firewalld 修改主机名 三 阅读全文
posted @ 2024-11-01 22:31 w我自横刀向天笑 阅读(39) 评论(0) 推荐(0)
Hadoop3.13概述与分而治之思想
摘要：一、Hadoop的发展史 图解 Hadoop三大开源发行版本：Apache、Cloudera（CDH）、Hortonworks（HDP）。Apache版本最原始（最基础）的版本，对于入门学习最好。Cloudera在大型互联网企业中用的较多。Hortonworks文档较好。 Apache Hadoop 阅读全文
posted @ 2024-10-31 21:31 w我自横刀向天笑 阅读(64) 评论(0) 推荐(0)