docker 局域网仓库（registry）
摘要：sudo docker pull daocloud.io/registry 安装仓库（registry） 使用daocloud/aliyun镜像吧，官网仓库真心没法用 sudo docker run --name registry --restart=always -d -p 5000:5000 r
阅读全文
posted @ 2017-10-20 22:13
10 2017 档案
SparkWriteToHFile
摘要：1. HFile的LoadIncrement卡住 原来是因为权限，我一直以为，load函数之后是要删除文件的，但是hdfs://slave1:8020/test/info文件夹所有的是只读权限，而且考出来附加到HFile的时候可能也需要改文件，但是权限不够，所以导致卡在了那个地方。 2.df.rdd
阅读全文
posted @ 2017-10-20 22:06
windows下，CSV文件Excel打开乱码
摘要：在windows下面，csv文件另存为UTF-8，在excel中打开中文是乱码，如果另存为utf-8 Big + BOM，Excel打开则是正常显示
阅读全文
posted @ 2017-10-07 10:22
plsql developer v12.1的使用
摘要：1.下载oracle客户端； 配置安装路径到PATH，我的是首先定义了一个环境变量ORACLE_CLIENT_PATH（这个路径其实就是官网下来的zip包解压缩后的路径）,然后将这个变量附加到PATH后面，好处是以后修改/升级路径简单方便； 还要记得配置TNS_ADMIN，这一点和v11.x是不一样
阅读全文
posted @ 2017-10-07 10:20
YARN指令
摘要：如果是使用了Cloudera来安装到此路径下： /opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/bin 执行： sudo ./yarn application -kill application_XXXX
阅读全文
posted @ 2017-10-01 20:34
spark提交异常日志分析
摘要：java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.sql(Ljava/lang/String;)Lorg/apache/spark/sql/Dataset; 这是因为代码中调用的是spark2.0的接口，但是提交任务采用的是sp
阅读全文
posted @ 2017-10-01 20:14
Mesos提交任务没有被执行
摘要：当通过marathon提交了一个任务后，发现一直处于waiting状态； 回到mesos，执行MASTER=MASTER --name="cluster-test" --co
阅读全文
posted @ 2017-10-01 20:08
mesos的zookeeper变更
摘要：采用rpm方式安装你了mesos，碰到zookeeper（采用了cloudera的zookeeper）的IP地址变化了，肿么办？ 在master机器中： /etc/mesos/zk进行编辑修改zk路径改为zookeeper集群地址（注意，开头标志zk://，结尾添加/mesos即可，中间是zooke
阅读全文
posted @ 2017-10-01 19:47
VS Code使用git
摘要：vs code默认是支持git的，但是如果想要使用git，那么你打开的文件夹一定是包含.git文件夹，换言之已经放入到了现有的git仓库里面的。
阅读全文
posted @ 2017-10-01 19:38
vs code 安装Scala
摘要：首先本机要安装scala（官网肿么下不了，CSDN上面下的）； 配置scala到环境变量PATH中（Scala的根目录）； VS中安装以下扩展： 1. Scala； 2. Sbt； 3. Code Runner； 代码中右键，选择“Run Code"，即可执行代码 无法Debug，VS Code现在
阅读全文
posted @ 2017-10-01 19:36
