11 2015 档案

摘要:1. 今天想做一个hdfs的java工具类,但是在连接hdfs的时候,报如下错误: Exception in thread "main" org.apache.hadoop.ipc.RemoteException: Server IPC version 9 cannot communicate with client version 4 at org.apache.hadoop.ipc.Cli... 阅读全文
posted @ 2015-11-30 17:27 农民阿姨 阅读(4307) 评论(0) 推荐(0) 编辑
摘要:K-means的步骤 输入: 含n 个样本的数据集,簇的数据K 输出: K 个簇 算法步骤: 1.初始化K个簇类中心C1,C2,-……Ck (通常随机选择) 2.repeat 步骤3,4 3,将数据集中的每个样本分配到与之最近的中心Ci所在的簇Cj ; 4. 更新聚类中心Ci,即计算各个簇的样本均值; 5.直到样本分配不在改变 上代码: import java.lang.annotation.E... 阅读全文
posted @ 2015-11-30 10:52 农民阿姨 阅读(463) 评论(0) 推荐(0) 编辑
摘要:1. Andrew Weber Single User License EA7E-855605 813A03DD 5E4AD9E6 6C0EEB94 BC99798F 942194A6 02396E98 E62C9979 4BB979FE 91424C9D A45400BF F6747D88 2FB88078 90F5CC94 1CDC92DC 8457107A F151657B ... 阅读全文
posted @ 2015-11-30 10:04 农民阿姨 阅读(223) 评论(0) 推荐(0) 编辑
摘要:1.项目背景 在做交通路线分析的时候,客户需要找出车辆的行车规律,我们将车辆每天的行车路线当做一个数据样本,总共有365天或是更多,从这些数据中通过聚类来获得行车路线规律统计分析。 我首先想到是K-means算法,不过它的算法思想是任选K个中心点,然后不停的迭代,在迭代的过程中需要不停的更新中心点。在我们着这个项目中,此方案不能解决,因为我们是通过编辑距离来计算两条路线的相似度。可以参考(1.交... 阅读全文
posted @ 2015-11-29 21:58 农民阿姨 阅读(1763) 评论(0) 推荐(0) 编辑
摘要:1.最近工作中要实现用户车辆的行驶路线的聚类,由于所给的数据只有用户一天中交通卡口所监视的卡口名称 :即青岛路-威海路-济阳路 。 要通过聚类实现车辆路线的规律分析,首先要解决的是相似度问题,我们知道计算相似度可以用 :空间向量距离(欧式距离,余弦相似度)等算法。可是这些在此要求中都不适应,故需要用编辑距离来解决此问题 2. 编辑距离的思想: a.是指两个字符串之间,由一个转成另一个所需的最... 阅读全文
posted @ 2015-11-29 13:07 农民阿姨 阅读(1708) 评论(0) 推荐(0) 编辑
摘要:1.Hbase 根据rowkey 查询 conf的配置信息如下: conf = new Configuration(); conf.set("hbase.zookeeper.quorum", "192.168.50.253:2181"); conf.set("hbase.rootdir", "hdfs://192.168.50.253:9000... 阅读全文
posted @ 2015-11-29 12:04 农民阿姨 阅读(3070) 评论(0) 推荐(0) 编辑
摘要:java 实现单词计数.top N思路 先统计每个单词出现的个数 利用 TreeSet 的自动排序的功能上代码 wordcount public void wordCount() { String route = "青岛路 青岛路 济阳路口东 济南路 宴坡路 "; Map<String, Integer> map = new HashMap&... 阅读全文
posted @ 2015-11-28 14:03 农民阿姨 阅读(1683) 评论(0) 推荐(0) 编辑
摘要:Mac 上真正替换LiveWriter 的工具 - ecto13年开始使用mac.而后想把 windows 替换到.一直在寻找LiveWriter 的工具,至今终于找到我先感谢这位博主http://www.cnblogs.com/vinceoniphone/archive/2010/06/07/1753076.html看了他得文章后开始自己折腾,确实很好用,特此分享给现在的你,未来的你1. 下载e... 阅读全文
posted @ 2015-11-27 14:47 农民阿姨 阅读(263) 评论(0) 推荐(0) 编辑
摘要:Hbase的基础操作 阅读全文
posted @ 2015-11-27 14:22 农民阿姨 阅读(172) 评论(0) 推荐(0) 编辑
摘要:/** * Created by zzy on 15/11/16. */ /** * 对于一个给定的 source 字符串和一个 target 字符串, * 你应该在 source 字符串中找出 target 字符串出现的第一个位置(从0开始)。 * 如果不存在,则返回 -1。 * * 如果 source = "source" 和 target = "target",返回 -1。 ... 阅读全文
posted @ 2015-11-21 22:28 农民阿姨 阅读(281) 评论(0) 推荐(0) 编辑
摘要:现在非常喜欢IDEA,之前在mac 上用的eclipse 经常出现无缘无故的错误。所以转为IDEA. 不过新工具需要学习成本,手头上的项目就遇到了很多问题,现列举如下: 背景描述 在hadoop 开发时,经常在mr阶段将清洗后的数据入库到Hbase. 在这个过程中,需要编译、打jar包,然后上传到服务器,执行hadoop jar *.jar 命令。每次清洗后需要手动4步操作。农民阿姨天生喜... 阅读全文
posted @ 2015-11-21 19:48 农民阿姨 阅读(1840) 评论(0) 推荐(0) 编辑
摘要:1.注意问题: 1.在开发过程中一定要导入hbase源码中的lib库否则出现如下错误 TableMapReducUtil 找不到什么…… 2.编码: import java.io.IOException; import java.text.ParseException; import java.text.SimpleDateFormat; import java.util.Date; impor... 阅读全文
posted @ 2015-11-18 17:21 农民阿姨 阅读(451) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示