摘要：
节点的服役和退役(hdfs) 黑白名单的组合情况 include //dfs.includeexclude //dfs.hosts.include 白名单 黑名单 include exclude Interpretation No No 不能连接No Yes 不能连接Yes No 可以连接Yes Y 阅读全文
摘要：
hadoop 分布式计算框架。 common // hdfs //存储 mapreduce //MR,编程模型. yarn //资源调度. 集群部署 1.standard alone/local nothing. 2.伪分布式 一台机器. NN //目录 DN //DataNode,block（12 阅读全文
摘要：
创建java 项目 hdfs dfs -chmod 777 /usr/local/hadoop/ 完成。。 阅读全文
摘要：
完全分布式 1.配置文件 [core-site.xml] hdfs 地址 fs.defaultFS=hdfs://s129:8020/ [hdfs-site.xml] 副本 replication=1 //伪分布 replication=3 //完全分布 [mapred-site.xml] yarn 阅读全文
摘要：
编写shell脚本就是解决批量处理 1. 在/usr/local/bin 创建脚本 并授权所有用户 chmod a+x xcall.sh xcall.sh 比如：删除/tmp/*所有文件 批量删除4台服务器的/tmp/*所有文件 xcall.sh rm -rf /tmp/* 2 rsync 远程同步 阅读全文
摘要：
克隆 克隆前,先将上面安装好并且设置好的系统关机 (1) 右键centos -->管理->克隆->下一步->下一步->完整克隆 ->克隆名称起名有意义点就行->位置尽量和虚拟机位置放在一起（建个文件夹） 克隆完毕 要是克隆多台 可以重复 (1)操作. 完成后,开启此系统 由于是克隆机器,所以需要修改 阅读全文
摘要：
搭建环境 https://www.cnblogs.com/YuanWeiBlogger/p/11456623.html 修改主机名 1./etc/hostname s129 2./etc/hosts 127.0.0.1 localhost 192.168.248.129 s129 192.168.2 阅读全文
摘要：
1.独立模式(standalone|local) nothing! 本地文件系统。 不需要启用单独进程。 2.pesudo(伪分布模式) 等同于完全分布式，只有一个节点。 SSH: //(Socket), //public + private /server : sshd ps -Af | grep 阅读全文
摘要：
hadoop 开源软件，可靠的、分布式、可伸缩的框架。 分布在不同主机上的进程协同在一起构成的应用。 大数据解决了两个问题 1T = 1024G1P = 1024T1E = 1024P1Z = 1024E1Y = 1024Z1N = 1024Y 1.存储 分布式存储 2.计算 分布式计算分布式 由分 阅读全文
摘要：
介绍 Scala的Actor类似于Java中的多线程编程。但是不同的是，Scala的Actor提供的模型与多线程有所不同。Scala的Actor尽可能地避免锁和共享状态，从而避免多线程并发时出现资源争用的情况，进而提升多线程编程的性能。此外，Scala Actor的这种模型还可以避免死锁等一系列传统 阅读全文