摘要：
CentOS Docker 安装 Docker支持以下的CentOS版本： CentOS 7 (64-bit) CentOS 6.5 (64-bit) 或更高的版本 前提条件 目前，CentOS 仅发行版本中的内核支持 Docker。 Docker 运行在 CentOS 7 上，要求系统为64位、系 阅读全文
摘要：
kafka 阅读全文
摘要：
第一步 在虚拟机上面 扩容(扩展VMWare硬盘空间) 2. 对新增加的硬盘进行分区、格式化 [root@localhost]# fdisk /dev/sda p 查看已分区数量（我看到有两个 /dev/sda1 /dev/sda2） n 新增加一个分区 p 分区类型我们选择为主分区 分区号选3（因 阅读全文
摘要：
map是对每个元素操作, mapPartitions是对其中的每个partition操作 mapPartitionsWithIndex : 把每个partition中的分区号和对应的值拿出来, 看源码 val func = (index: Int, iter: Iterator[(Int)]) => 阅读全文
摘要：
Spark笔记 1. flatMap和map的区别 map函数会对每一条输入进行指定的操作，然后每一条输入返回一个对象； flatMap函数则是两个操作的集合，即先映射再扁平化： i.同map函数一样，对每一条输入进行指定的操作，然后为每一条输入返回一个对象； ii.然后将所有对象合并成一个对象。 阅读全文
摘要：
Windows 确保开启了NAT网络 虚拟机网络网络编辑 centos DEVICE=eth0TYPE=EthernetONBOOT=yesNM_CONTROLLED=yesNETMASK=255.255.255.0IPADDR=192.168.33.110DNS1=192.168.33.1GATE 阅读全文
摘要：
第一步：修改IP vi /etc/sysconfig/network-scripts/ifcfg-eth0 删除UUID 删除MAC地址 修改IP 第二步 删除网卡内容 rm -rf /etc/udev/rules.d/70-persistent-net.rules 第三步 ：mac地址不要和之前虚 阅读全文
摘要：
零：准备 JDK https://download.csdn.net/download/cand_yh/10375789 CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel http://archive.cloudera.com/cdh5/parcels/5.8.0/CDH- 阅读全文
摘要：
当reduce执行完成后的输出，跟map端无reduce时的输出一样。直接输出。 Class < ?extendsShuffleConsumerPlugin > clazz = job.getClass(MRConfig.SHUFFLE_CONSUMER_PLUGIN, Shuffle.class, 阅读全文