satyrs

摘要： 主要还是为写scripts。Deployment Guide更重要。 file operations hdfs fs -ls hdfs fs -lsr 包括子目录文件 hdfs fs -rmr bin/hadoop fs -put path1 path2 上传hdfs 下path1 到本机 path 阅读全文

摘要： safe mode when delete node: <property> <name>dfs.hosts.exclude</name> <value>conf/nn-excluded-list</value> </property> 阅读全文

摘要： installation: create user, mkdir, download, nano configuration file, nano system config, ssh masternode>all nodes, start-all 程序源文件存放 部署脚本 远程拷贝+本地配置(安装 阅读全文

摘要： root: 创建各工具的各个账号，创/修密码 安装所有用户需要的语言包 管理各工具软件包，并对用户赋予权限 不同用户不同基础目录、临时目录及不同权限 无密码ssh 在开发和测试环境可以用一个帐号全部管理，省去很多麻烦。 hadoop配置 Hadoop权威指南 v3版：只需要Master到Slave单 阅读全文

摘要： 1application->container来管理。NameNode 的mapreduce log在userlogs。System.out 无法看到Mapper和Reducer的部分。 生成log方法： 2log4j 3apache common LogFactory 4MultipleOutpu 阅读全文

摘要： echo $PATH source /etc/environment export JAVA_HOME=${JAVA_HOME} rmp -Uvh tar -xvf ssh ssh-keygen hostname id whoami df -h . ln -s gvfs-tree /etc/init 阅读全文

摘要： this trait User { def name :String } how to implement/achieve dependency injection (DI) in Scala 1 Cake Pattern This pattern is first explained in Mar 阅读全文

摘要： 1Function<n>[A[,B,...],T] :a function that takes parameters of type A[,B...], and returns a value of type T. 2=>() :A function that returns Unit is al 阅读全文

摘要： debug environment http://spark.apache.org/docs/latest/building-spark.html 1spark-shell →spark-submit→(SparkSubmit)spark-class 2open jvm→thread dump→ma 阅读全文

摘要： 首先你需要重用才需要考虑这个问题。If the behavior will not be reused, then make it a concrete class. 优先使用特质。一个类扩展多个特质是很方便的，但却只能扩展一个抽象类。 If you still do not know, after 阅读全文