12 2015 档案
摘要：今天启动web 项目出现错误提示：java.io.FileNotFoundException: [WEB-INF/spring-servlet.xml] cannot be opened because it does not exist没有找到问题原因：resource目录是存在：spring-s...
阅读全文
摘要：HBase1.0.0 即Hadoop 2.6 采用maven 的方式实现HBase数据简单操作 import java.io.IOException; import java.util.ArrayList; import java.util.List; import java.util.Random
阅读全文
摘要：cm 安装cdh 后添加hive服务，出现错误提示添加服务时候hive 配置如下：错误信息提示：错误日志：xec /opt/cloudera/parcels/CDH-5.4.7-1.cdh5.4.7.p0.3/lib/hadoop/bin/hadoop jar /opt/cloudera/parce...
阅读全文
摘要：已经用cm 安装好了cdh，需要在上面添加HBase，并且做一个HBase故障转移功能，现在需要配置2个HMaster 在不同的机器上。启动出现异常信息：2015-12-23 14:44:38,893 INFO org.apache.zookeeper.ZooKeeper: Session: 0x3...
阅读全文
摘要：用CM装完cdh 版本后，将不同机架的服务器已经认为拆掉网线，但是主机管理那边还是显示已经下载的服务器存在。如图：该怎么配置 node8 和node9会自动消失：DataNode已经显示dead 状态mkdir -p /home/data1mkdir -p /home/data2mkdir -p /...
阅读全文
摘要：在安装CDH的时候出现错误提示： 安装失败。 无法接收 Agent 发出的检测信号。日志提示错误：start >> raise socket.error(msg) ...
阅读全文
摘要：要配置生产环境前，最好严格按照官方文档/说明配置环境。比如，官方说这个安装包用于RETHAT6, CENTOS6，那就要装到6的版本下，不然很容易出现各种各样的错。配置这个CDH5我入了很多坑：CDH暂不官方支持CentOS 7, 查到国外有人是安装成功了,但是会有各种小问题需要息解决. 如7带的是...
阅读全文
摘要：sed是stream editor的简称，也就是流编辑器。它一次处理一行内容，处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 ...
阅读全文
摘要：ps -ef|grep pid ps -aux | grep pid 清除linux 缓存： echo 1 > /proc/sys/vm/drop_caches
阅读全文
摘要：Hadoop 数据是存储在HDFS， Mapreduce 是一种计算框架，负责计算处理。HDFS上的数据存储默认是本地节点数据一份，同一机架不同节点一份，不同机架不同节点一份。默认是存储3份HDFS 存储元数据信息和存储位置信息，metadata。他们之间是通过文件名进行关联的。DataNode 节...
阅读全文
摘要：添加节点：安装完cdh 后jps出现：process information unavailable 解决办法：
阅读全文
摘要：查看服务器上有哪些设备df -hl查询挂载 硬盘后或者插上u盘后sda 的变化，新增的就是我们添加上的。fdisk -ls /dev/sda
阅读全文
摘要：1、基于用户的协同过滤算法步骤： 1.1找到和目标用户兴趣相似的用户集合 1.2 找到这个集合中的用户喜欢的，且目标用户没有听过的物品推荐给目标用户步骤1的关键是计算2用户的兴趣相似度。2、基于物品的协同过滤算法 2.1计算物品之间的相似度 2.2根据物品的相似度和用户的历史行为给用户生成推...
阅读全文
摘要：快速排序def sort(xs: Array[Int]): Array[Int] = if (xs.length )), xs filter (pivot ==), sort(xs filter (pivot <))) }
阅读全文
摘要：想要加强你的编程能力吗？想要提升你的 Java 编程技巧和效率吗？不用担心。本文将会提供快速高效学习 Java 编程的 50 多个网站资源：开始探索吧：1、MKyong：许多开发者在这里可以找到带文字说明和图解的示例代码。这是一个探索各种框架的平台。不管是否用于商业使用，你都可以从这里下载免费的工具...
阅读全文