YARN指令
摘要：
如果是使用了Cloudera来安装到此路径下： /opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/bin 执行： sudo ./yarn application -kill application_XXXX 阅读全文
posted @ 2017-10-01 20:34 下士闻道 阅读(118) 评论(0) 推荐(0) 编辑
spark提交异常日志分析
摘要：
java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.sql(Ljava/lang/String;)Lorg/apache/spark/sql/Dataset; 这是因为代码中调用的是spark2.0的接口，但是提交任务采用的是sp 阅读全文
posted @ 2017-10-01 20:14 下士闻道 阅读(911) 评论(0) 推荐(0) 编辑
Mesos提交任务没有被执行
摘要：
当通过marathon提交了一个任务后，发现一直处于waiting状态； 回到mesos，执行MASTER=$(mesos-resolve `cat /etc/mesos/zk`) & mesos-execute --master=$MASTER --name="cluster-test" --co 阅读全文
posted @ 2017-10-01 20:08 下士闻道 阅读(776) 评论(0) 推荐(0) 编辑
mesos的zookeeper变更
摘要：
采用rpm方式安装你了mesos，碰到zookeeper（采用了cloudera的zookeeper）的IP地址变化了，肿么办？ 在master机器中： /etc/mesos/zk进行编辑修改zk路径改为zookeeper集群地址（注意，开头标志zk://，结尾添加/mesos即可，中间是zooke 阅读全文
posted @ 2017-10-01 19:47 下士闻道 阅读(215) 评论(0) 推荐(0) 编辑
VS Code使用git
摘要：
vs code默认是支持git的，但是如果想要使用git，那么你打开的文件夹一定是包含.git文件夹，换言之已经放入到了现有的git仓库里面的。 阅读全文
posted @ 2017-10-01 19:38 下士闻道 阅读(159) 评论(0) 推荐(0) 编辑
vs code 安装Scala
摘要：
首先本机要安装scala（官网肿么下不了，CSDN上面下的）； 配置scala到环境变量PATH中（Scala的根目录）； VS中安装以下扩展： 1. Scala； 2. Sbt； 3. Code Runner； 代码中右键，选择“Run Code"，即可执行代码 无法Debug，VS Code现在 阅读全文
posted @ 2017-10-01 19:36 下士闻道 阅读(2994) 评论(0) 推荐(0) 编辑
