下士闻道

摘要： sudo docker pull daocloud.io/registry 安装仓库（registry） 使用daocloud/aliyun镜像吧，官网仓库真心没法用 sudo docker run --name registry --restart=always -d -p 5000:5000 r 阅读全文

摘要： 1. HFile的LoadIncrement卡住 原来是因为权限，我一直以为，load函数之后是要删除文件的，但是hdfs://slave1:8020/test/info文件夹所有的是只读权限，而且考出来附加到HFile的时候可能也需要改文件，但是权限不够，所以导致卡在了那个地方。 2.df.rdd 阅读全文

摘要： 在windows下面，csv文件另存为UTF-8，在excel中打开中文是乱码，如果另存为utf-8 Big + BOM，Excel打开则是正常显示 阅读全文

摘要： 1.下载oracle客户端； 配置安装路径到PATH，我的是首先定义了一个环境变量ORACLE_CLIENT_PATH（这个路径其实就是官网下来的zip包解压缩后的路径）,然后将这个变量附加到PATH后面，好处是以后修改/升级路径简单方便； 还要记得配置TNS_ADMIN，这一点和v11.x是不一样 阅读全文

摘要： 如果是使用了Cloudera来安装到此路径下： /opt/cloudera/parcels/CDH-5.10.2-1.cdh5.10.2.p0.5/bin 执行： sudo ./yarn application -kill application_XXXX 阅读全文

摘要： java.lang.NoSuchMethodError: org.apache.spark.sql.SQLContext.sql(Ljava/lang/String;)Lorg/apache/spark/sql/Dataset; 这是因为代码中调用的是spark2.0的接口，但是提交任务采用的是sp 阅读全文

摘要： 当通过marathon提交了一个任务后，发现一直处于waiting状态； 回到mesos，执行MASTER=$(mesos-resolve `cat /etc/mesos/zk`) & mesos-execute --master=$MASTER --name="cluster-test" --co 阅读全文

摘要： 采用rpm方式安装你了mesos，碰到zookeeper（采用了cloudera的zookeeper）的IP地址变化了，肿么办？ 在master机器中： /etc/mesos/zk进行编辑修改zk路径改为zookeeper集群地址（注意，开头标志zk://，结尾添加/mesos即可，中间是zooke 阅读全文

摘要： vs code默认是支持git的，但是如果想要使用git，那么你打开的文件夹一定是包含.git文件夹，换言之已经放入到了现有的git仓库里面的。 阅读全文

摘要： 首先本机要安装scala（官网肿么下不了，CSDN上面下的）； 配置scala到环境变量PATH中（Scala的根目录）； VS中安装以下扩展： 1. Scala； 2. Sbt； 3. Code Runner； 代码中右键，选择“Run Code"，即可执行代码 无法Debug，VS Code现在 阅读全文