摘要：
把大象装冰箱，总共分三步：第一步：停掉网络服务# sudo service NetworkManager stop第二步：清理网络状态文件# sudo rm /var/lib/NetworkManager/NetworkManager.state第三步：开启网络服务# sudo s... 阅读全文
摘要：
1.上传zk安装包2.解压3.配置（先在一台节点上配置）3.1添加一个zoo.cfg配置文件$ZOOKEEPER/confmv zoo_sample.cfg zoo.cfg3.2修改配置文件（zoo.cfg） dataDir=/itcast/zookeeper-3.4.5/d... 阅读全文
摘要：
克隆虚拟机后需要做的事情1. 修改网络主机名[root@user]#：vim /etc/sysconfig/network NETWORKING = yes HOSTNAME = host02 ###(要修改的内容，值视自己需求决定)2.修改主机名和IP地址的映... 阅读全文
摘要：
Partitioner是partitioner的基类，如果需要定制partitioner也需要继承该类。HashPartitioner是mapreduce的默认partitioner。计算方法是 which reducer=(key.hashCode() & Integer.MAX... 阅读全文
摘要：
Linux下搭建eclipse环境： 1. 将eclipse安装包使用FileZilla传至虚拟机itcast01，解压到 /usr/local 2. 在桌面上创建快捷方式，更新图标 3. 打开eclipse，新建一个maven工程 参数设置：Group Id：cn.itca... 阅读全文
摘要：
数据原型： 行数据原型格式释义：(访问日期)(手机号)(mac地址)(ip地址)(网站名称)(网站类型)(上行流量)(下行流量)(运行状态码)需求： 将以上数据进行抽取统计，统计每个用户一天内上网数据的上行流量、下行流量和总流量（注意：用户一天之内很可能有多条上网记录）1.1 ... 阅读全文
摘要：
序列化（Serialization）是指把结构化对象转化为字节流。 反序列化（Deserialization）是序列化的逆过程。即把字节流转回结构化对象。 hadoop将Java中的序列化接口（java.io.Serializable）进行了改造，已达到高效传输的目的... 阅读全文
摘要：
重点内容！！！ 需要熟记： 80%-90%会问 一个切片split对应一个mapper，mapper将数据写到环形缓冲区，这个环形缓冲区默认是100M，当它达到80%阀值，它会将数据溢写到磁盘。溢写并不是简单的溢写，而是先进行分区，然后... 阅读全文
摘要：
在 hadoop 的 HDFS 操作中，有个非常重要的 api，是 org.apache.hadoop.fs.FileSystem， 这是我们用户代码操作 HDFS 的直接入口，该类含有操作 HDFS 的各种方法，类似于 jdbc 中 操作数据库的直接入口是 Connection ... 阅读全文
摘要：
RPC（Remote Procedure Call）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC**跨越了传输层和应用... 阅读全文