随笔分类 -  学习笔记

maven的安装和eclipse的配置以及构建mahout基本项目
摘要：maven介绍在此略过下载地址：点击打开链接windows下载xxx-bin.zip文件linux下载xxx-bin.tar.gz这里以windows为例下载完成直接解压到一个目录下计算机--右键--属性--高级系统设置--环境变量--在系统变量中新建M2_HOME，值为maven解压的路径在系统变... 阅读全文
posted @ 2015-04-21 20:12 蒋源德 阅读(433) 评论(0) 推荐(0)
数据挖掘算法之聚类分析（三）朴素贝叶斯算法
摘要：贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类对于分类问题，其实谁都不会陌生，每个人生活中无时不刻的在进行着分类。例如，走在大马路上看到女孩子，你会下意识的将她分为漂亮和不漂亮（漂亮当然就多看几眼啦）。在比如，在路上遇到一只狗，你会根据这只狗的毛发脏不脏，然后想到这... 阅读全文
posted @ 2015-04-17 09:29 蒋源德 阅读(3941) 评论(0) 推荐(0)
mahout之canopy算法简单理解
摘要：canopy是聚类算法的一种实现它是一种快速，简单，但是不太准确的聚类算法canopy通过两个人为确定的阈值t1，t2来对数据进行计算，可以达到将一堆混乱的数据分类成有一定规则的n个数据堆由于canopy算法本身的目的只是将混乱的数据划分成大概的几个类别，所以它是不太准确的但是通过canopy计算出... 阅读全文
posted @ 2015-04-15 19:01 蒋源德 阅读(640) 评论(0) 推荐(0)
mahout运行测试与kmeans算法解析
摘要：在使用mahout之前要安装并启动hadoop集群将mahout的包上传至linux中并解压即可mahout下载地址：点击打开链接mahout中的算法大致可以分为三大类：聚类，协同过滤和分类其中常用聚类算法有：canopy聚类，k均值算法（kmeans），模糊k均值，层次聚类，LDA聚类等常用分类算... 阅读全文
posted @ 2015-04-15 19:00 蒋源德 阅读(1671) 评论(0) 推荐(0)
数据挖掘算法之聚类分析（二）canopy算法
摘要：canopy是聚类算法的一种实现它是一种快速，简单，但是不太准确的聚类算法canopy通过两个人为确定的阈值t1，t2来对数据进行计算，可以达到将一堆混乱的数据分类成有一定规则的n个数据堆由于canopy算法本身的目的只是将混乱的数据划分成大概的几个类别，所以它是不太准确的但是通过canopy计算出... 阅读全文
posted @ 2015-04-11 19:18 蒋源德 阅读(875) 评论(0) 推荐(0)
Storm如何保证消息不丢失
摘要：storm保证从spout发出的每个tuple都会被完全处理。这篇文章介绍storm是怎么做到这个保证的，以及我们使用者怎么做才能充分利用storm的可靠性特点。一个tuple被”完全处理”是什么意思？就如同蝴蝶效应一样，从spout发射的一个tuple可以引起其它成千上万个tuple因它而产生， ... 阅读全文
posted @ 2015-04-07 21:53 蒋源德 阅读(454) 评论(0) 推荐(0)
storm简介
摘要：Streams,流流作为storm的核心概念,定义为无限的tuple序列.什么是tuple?命名的value序列,可以理解成Key/value序列,每个value可以是任何类型,动态类型不需要事先声明.Tuple在传输中需要序列化和反序列化,storm集成了普通类型的序列化模块,用户可以自定义特殊类... 阅读全文
posted @ 2015-04-07 21:51 蒋源德 阅读(436) 评论(0) 推荐(0)
storm安装配置
摘要：1.修改主机名：vim /etc/sysconfig/networkNETWORKING=yesHOSTNAME=MASTER2.修改IP：先用ifconfig得到ip信息，将其复制设置ip地址为静态vim /etc/sysconfig/network-scripts/ifcfg-eth0BOOTP... 阅读全文
posted @ 2015-04-06 15:43 蒋源德 阅读(182) 评论(0) 推荐(0)
使用hadoop平台进行小型网站日志分析
摘要：0.上传日志文件到linux中，通过flume将文件收集到hdfs中。执行命令/home/cloud/flume/bin/flume-ng agent -n a4 -c conf -f /home/cloud/flume/conf/a4.conf -Dflume.root.logger=DEBUG,... 阅读全文
posted @ 2015-03-28 00:35 蒋源德 阅读(257) 评论(0) 推荐(0)
flume分布式日志收集系统操作
摘要：1.flume是分布式的日志收集系统，把收集来的数据传送到目的地去。2.flume里面有个核心概念，叫做agent。agent是一个java进程，运行在日志收集节点。3.agent里面包含3个核心组件：source、channel、sink。3.1 source组件是专用于收集日志的，可以处理各种类... 阅读全文
posted @ 2015-03-27 19:40 蒋源德 阅读(845) 评论(0) 推荐(0)
map-reduce任务的执行流程
摘要：(1).客户端提交一个mr的jar包给JobClient(提交方式：hadoop jar ...)(2).JobClient通过RPC和JobTracker进行通信，返回一个存放jar包的地址（HDFS）和jobId(3).client将jar包写入到HDFS当中(path = hdfs上的地址 +... 阅读全文
posted @ 2015-03-26 22:29 蒋源德 阅读(242) 评论(0) 推荐(0)
linux设置定制器自动执行任务
摘要：基本格式 :* * * * * command分 时 日 月 周 命令第1列表示分钟1～59 每分钟用*或者 */1表示第2列表示小时1～23（0表示0点）第3列表示日期1～31第4列表示月份1～12第5列标识号星期0～6（0表示星期天）第6列要运行的命令crontab文件的一些... 阅读全文
posted @ 2015-03-26 22:08 蒋源德 阅读(189) 评论(0) 推荐(0)
pig笔记
摘要：1.安装Pig将pig添加到环境变量当中2.pig使用首先将数据库中的数据导入到HDFS上sqoop import --connect jdbc:mysql://192.168.1.10:3306/cloud --username root --password JChubby123 --table... 阅读全文
posted @ 2015-03-26 22:03 蒋源德 阅读(192) 评论(0) 推荐(0)
hive操作记录
摘要：hive是依赖于hdfs和yarn的一个数据仓库数据库和数据仓库的区别：数据库在存储数据的同时，允许实时的增删改查等操作数据仓库在存储数据的同时还执行着计算和分析数据的工作，但是并不能实时的进行增删改等操作，如果需要对数据进行更新则需要将数据下载下来更新之后再放入数据仓库中，是一次写入多次读取的过程... 阅读全文
posted @ 2015-03-26 18:00 蒋源德 阅读(2128) 评论(0) 推荐(0)
hbase集群安装和shell操作
摘要：1.上传hbase安装包2.解压3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下让hbase节点知道hdfs的映射关系，也可以在hbase-site.xml中配置3.1修改hb... 阅读全文
posted @ 2015-03-24 19:28 蒋源德 阅读(170) 评论(0) 推荐(0)
sqoop操作与使用
摘要：sqoop只要安装到集群中的一台节点就可以了1.上传sqoop到节点中2.安装和配置在添加sqoop到环境变量到/etc/profile中将数据库连接驱动拷贝到$SQOOP_HOME/lib里3.使用第一类：数据库中的数据导入到HDFS上sqoop import --connect jdbc:mys... 阅读全文
posted @ 2015-03-22 22:27 蒋源德 阅读(333) 评论(0) 推荐(0)
hadoop2.2.0集群安装和配置
摘要：hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。注意：apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译集群... 阅读全文
posted @ 2015-03-20 15:35 蒋源德 阅读(197) 评论(0) 推荐(0)
mapreduce实现搜索引擎简单的倒排索引
摘要：使用hadoop版本为2.2.0倒排索引简单的可以理解为全文检索某个词例如：在a.txt 和b.txt两篇文章分别中查找统计hello这个单词出现的次数，出现次数越多，和关键词的吻合度就越高现有a.txt内容如下：hello tomhello jerryhello kittyhello worldh... 阅读全文
posted @ 2015-03-19 15:41 蒋源德 阅读(455) 评论(0) 推荐(0)