10 2018 档案

SPARK-18560

摘要：SPARK-18560 阅读全文

posted @ 2018-10-31 11:12 澄轶阅读(350) 评论(0) 推荐(0) 编辑

摘要：大量推送本地文件到hdfs如下 hadoop fs -put

l o c a l_{p} a t h

${local_path}$ {hdfs_path}报错。在hadoop命令下发现：查找JAVA_HEAP_MAX 发现继续查找HADOOP_HEAPSIZE 发现以及调整JVM堆的最大值：阅读全文

posted @ 2018-10-30 18:26 澄轶阅读(460) 评论(0) 推荐(0) 编辑

hdfs 路径不支持‘：’

摘要：hdfs 路径不支持‘：’，但Linux支持。可以查看此文件： /Users/suanec/ksp/yarn/hadoop-2.7.3-src/hadoop-hdfs-project/hadoop-hdfs-client/src/main/java/org/apache/hadoop/hdfs/D 阅读全文

posted @ 2018-10-30 17:55 澄轶阅读(1975) 评论(0) 推荐(0) 编辑

java.io.UTFDataFormatException: encoded string too long:

摘要：按如下修改可避开此问题。阅读全文

posted @ 2018-10-26 16:52 澄轶阅读(3285) 评论(0) 推荐(0) 编辑

scala-maven-plugin excludes

摘要：Hello, every one. I have a problem to add excludes to scala-maven-plugin. There are two scala files:Spark_1.6.1.scala and Spark_2.0.1.scala in src/mai 阅读全文

posted @ 2018-10-18 22:09 澄轶阅读(2713) 评论(0) 推荐(1) 编辑

无网络使用pip安装mxnet

摘要：完成后，在python中import mxnet即可。如果python为自行编译，可能会出现bz2 导入失败。找不到模块。可以参考： missing python bz2 module 按操作解决。阅读全文

posted @ 2018-10-08 14:10 澄轶阅读(2587) 评论(0) 推荐(0) 编辑