摘要：
dataNode 有守护进行，但hdfs web页面上显示没有live node。 错误日志： 由于配置hadoop没有使用host+hostName的配置方式，导致了hadoop无法解析DataNode，对DataNode的注册失败。 解决方案：hdfs-site.xml中添加 阅读全文
摘要：
cd /home mkdir shixi_enzhaocd shixi_enzhaomkdir suaneccd suanecmkdir installsmkdir libsmkdir scriptsmkdir tmpmkdir wspyum install vim-enhancedyum inst 阅读全文
摘要：
# java -version # rpm -qa | grep java rpm -e --nodeps （rpm -qa的结果们） # java -version 阅读全文
摘要：
du 使用方法：hadoop fs -du URI [URI …] 显示目录中所有文件的大小，或者当只指定一个文件时，显示此文件的大小。示例：hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop 阅读全文
摘要：
RDD.union，和SparkContext.union都可以将多个RDD聚合成一个UnionRDD。 但不同的是，RDD.union在每次操作时，会创建一个新的数据集合，生成新的RDD，新的RDD和原有RDD血统不一致。 SparkContext.union可以将所有需要聚合的RDD，直接生成一 阅读全文
摘要：
原文地址 从50多分钟到3分钟的优化 某推荐系统需要基于Spark用ALS算法对近一天的数据进行实时训练, 然后进行推荐. 输入的数据有114G, 但训练时间加上预测的时间需要50多分钟, 而业务的要求是在15分钟左右, 远远达不到实时推荐的要求, 因此, 我们与业务侧一起对Spark应用进行了优化 阅读全文
摘要：
scala -J-Dcom.github.fommil.netlib.NativeSystemBLAS.natives=mkl_rt.dll -cp "D:\betn\Scala\ScalaSpace\breezeLib\breezeLib_2.11-assembly-natives-1.0.jar 阅读全文
摘要：
np.where(condition[, x, y]) 如果是一维，相当于[xv if c else yv for (c,xv,yv) in zip(condition,x,y)] 输入条件，类数组形式，若判断结果成立则返回x，否则为y。 返回为tuple或者array。 当条件对象为一维，返回ar 阅读全文
摘要：
买二送一跟买三免一有区别吗？ 做个选择题，给你五百块，让你做个选择A拿五百块走人B赌一把，赢了，给你一千，输了一分不剩。你选择哪个？ 再做另一个选择，给你一千块，做两个选择A你退500块给我拿着500走人，B赌一把，赢了一千拿走，输了一分不剩。 结果是什么呢？心理学家做过这个实验，第一种情况多数人选 阅读全文
摘要：
原文地址 图像卷积与滤波的一些知识点 zouxy09@qq.com http://blog.csdn.net/zouxy09 之前在学习CNN的时候，有对卷积进行一些学习和整理，后来就烂尾了，现在稍微整理下，先放上来，以提醒和交流。 一、线性滤波与卷积的基本概念 线性滤波可以说是图像处理最基本的方法 阅读全文