冯博

摘要： 1、org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=EXECUTE spark 建表或者使用hive的jdbc driver的时候出现问题： 解决： 关闭Hdfs的安全检查 阅读全文

摘要： java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT 这个问题我感觉是hive给spark挖的一个大坑。spark版本是2.4.4，hive是3 这个问题，基本发生在远程启动spark客户端，并且访问spark集群，然后再连接hive造成的。因为，无 阅读全文

摘要： http://colah.github.io/posts/2014-03-NN-Manifolds-Topology/ : 理解神经网络 ELU： 梯度下降优化方式： http://sebastianruder.com/optimizing-gradient-descent/:各种优化算法详解 Gr 阅读全文

摘要： 问题描述，spark-submit 用 yarn 模式提交一个python 脚本运行程序，运行到需要分布式的部分，即map/mapPartition等等RDD的时候，或者actor RDD的时候，报错如下 ： 解决方案： 1、在你的map/mapPartition 里面的代码里面加上： 2、在集群的 阅读全文

摘要： 1、安装CUDA，很简单，傻瓜式安装 2、http://caffe.berkeleyvision.org/install_yum.html 按照里面安装 3、遇到的问题： LD -o .build_release/lib/libcaffe.so.1.0.0-rc3 /bin/ld: cannot f 阅读全文

摘要： 1、java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z 这个问题是因为本地库没有加载上。在spark-env.sh中加上：export JAVA_LIBRARY... 阅读全文

摘要： 1、报错：ERROR storage.DiskBlockObjectWriter: Uncaught exception while reverting partial writes to file /hadoop/application_1415632483774_448143/spark-loc... 阅读全文

摘要： 这个问题的原因有几个：1、客户端安装的机器一般是虚拟机，虚拟机的名称可能是随便搞的，然而，yarn-client模式提交任务，是默认把本机当成driver的。所以导致其他的机器无法通过host的name直接访问这台机器。报错就是Failed to connect to driver at x.x.x... 阅读全文

摘要： 1、编程时无法加载hive包，需要在编译好的spark(用spark-shell启动，用spark-sql能够直接访问hive表)的lib目录下，考出assembly包，为其创建一个maven的repository，然后添加到dependency里面。最笨的创建repository的办法就是直接创建... 阅读全文

摘要： hive streaming 报错的解决方案：1、把使用到hive streaming 的sql 分解，例如：select transform a,b,c,d using 'python cc.py' as (e,f) from table,分解成：select a,b,c,d from table... 阅读全文