摘要: 前言 本节基本上以沾人家ppt为主,很无聊的。安装hadoop,实际部署项目,您必须具备以下条件 hadoop是阿帕奇基金会正式项目,具体历史不举,共分为以下几个子项目,很冷见的只有 一.hadoop架构 二.电信运营商信令分析与检测的应用场景(一切从成本考虑) 三.hdfs架构 具体说来,hdfs有以下设计思想 阅读全文
posted @ 2014-02-09 16:38 老刁 阅读(209) 评论(0) 推荐(0) 编辑
摘要: ubuntu redhat亲测可行,注意jdk一定要安装,只装jre会导致jps不可用,调试错误比较麻烦 一.jre的安装(环境变量配置最好配置root用户的环境变量)1.将jre目录改为可执行,用户改为root2.修改用户环境变量文件vim .bash_profile增加 :/usr/jre/binsource .bash_profileecho $PATH 是否有 刚添加的目录是否java ... 阅读全文
posted @ 2014-02-09 16:21 老刁 阅读(188) 评论(0) 推荐(0) 编辑
摘要: 八、检查是否安装完全 九、hdfs拷贝测试 注意:在执行操作的时候经常会遇到如下错误: org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode 表示命名节点此时处于安全模式 执行:bin/hadoop dfsadmin -saf... 阅读全文
posted @ 2014-02-09 16:14 老刁 阅读(149) 评论(0) 推荐(0) 编辑
摘要: 亲测可在redhat和ubuntu下使用,在开始前请务必核对好版本,准备好相关的安装包一.ssh安装(linux一般安装有客户端,服务端redhat可能有,ubuntu一定没有)1.redhat下(1)测试是否安装了ssh servicessh localhost或者rpm -qa|grep openssh(2)redhat上去光盘里安装rpm -ivh openssh-server-5.3p1-... 阅读全文
posted @ 2014-02-09 16:00 老刁 阅读(114) 评论(0) 推荐(0) 编辑
摘要: 引言hadoop最重要的东西不在于一遍又一遍的安装,而是在于具体项目的应用和源代码的阅读,现在我们就开始来搭建最方便的开发环境,首先选用redhat而不是ubuntu考虑到ubuntu新版本在vmware中的unity效果的支持问题,但是大同小异,可能话比较啰嗦,但是我会在后面给出快速安装方法,而本节夹叙夹议。一.ssh的安装二.jre的安装(环境变量配置最好配置root用户的环境变量)三.hadoop文件的配置四.运行和验证1.格式化hdfs./hadoop namenode -format2.打开hadoop./start-all.sh3.验证网站是否登录http://localhost: 阅读全文
posted @ 2014-02-09 15:55 老刁 阅读(244) 评论(0) 推荐(0) 编辑
摘要: 一. 名词解释 Hbase:Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 Hive:是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。 Pig:Apac... 阅读全文
posted @ 2014-02-09 15:37 老刁 阅读(552) 评论(0) 推荐(0) 编辑
摘要: 本文基于windows环境安装eclipse、myEclipse开发环境,非常方便远程开发与调试。 一. 软件准备 1. hadoop-1.2.0.tar.gz -------------apache官网下载 2. Eclipse 4.2.2 -----------自行百度并安装 3. MyEclipse 8.6 -----------自行百度并安装 二. 在eclipse上安装hadoop插件 ... 阅读全文
posted @ 2014-02-09 15:29 老刁 阅读(329) 评论(0) 推荐(0) 编辑
摘要: 一. 准备软件1. hadoop-1.2.0.tar.gz -------------apache官网下载2. ubuntu-12.04.1-desktop-i386.iso ------网下(ubuntu 9.0以上皆可)3. VMware® Workstation 9.0.0 build-812388 4. UltraISO -----便于向虚拟机内传送文件。5. jre-7u25-linux-i586.gz。二. 安装VMware 9.0(下一步就行)三. 安装ubuntu非常简单的工作,只需要安装一个ubuntu就可以了,注意安装的时候把VMware状态栏的:右击第四选Dis 阅读全文
posted @ 2014-02-09 15:27 老刁 阅读(439) 评论(0) 推荐(0) 编辑
摘要: 一.前言 定义回归分析是通过规定因变量和自变量来确定变量之间的因果关系,建立回归模型,并根据实测数据来求解模型的各个参数,然后评价回归模型是否能够很好的拟合实测数据;如果能够很好的拟合,则可以根据自变量作进一步预测。 房屋价格例子假如有一些房子,其面积和价格如下所示,所对应的曲线入下图 按照回归的定义,可以通过一挑曲线拟合房价和面积之间的规律,划一条红线,那么之后输入的面积就可以得到相... 阅读全文
posted @ 2014-02-09 11:45 老刁 阅读(248) 评论(0) 推荐(0) 编辑
摘要: public class test{ public static void main(String args[]){ } } 阅读全文
posted @ 2014-02-09 11:21 老刁 阅读(83) 评论(0) 推荐(0) 编辑