随笔分类 - Hadoop
摘要：下载http://www-us.apache.org/dist/sqoop/打开以上链接，开始下载sqoop2下载后得到：sqoop-1.99.7-bin-hadoop200.tar.gz文件其中sqoop1和sqoop2区别可以参考以下链接重拾初心——Sqoop1和Sqoop2的刨析对比http://blog.csdn.net/gamer_gyt/article/details/55...
阅读全文
摘要：准备 本示例将实现从MySQL数据库中将数据导入到HDFS中 参考文档： http://sqoop.apache.org/docs/1.99.7/user/Sqoop5MinutesDemo.html http://blog.csdn.net/m_signals/article/details/53
阅读全文
摘要：一、安装前准备设置Linux的静态IP修改VirtualBox的虚拟网卡地址修改主机名把hostname和ip绑定关闭防火墙：service iptables stop二、SSH免密码登陆生成秘钥文件测试免密码登陆是否成功三、安装JDK1. 授予执行权限2. 解压缩3. 配置环境变量4. 测试安装四、安装Hadoop1、解压缩hadoop-1.1.2.tar.gz2、添加到环境变量中3、使设置立即...
阅读全文
摘要：安装JDK卸载已经安装的JDK安装sun公司的JDK安装Hadoop（本地方式）解压并安装启动测试程序 安装JDK 卸载已经安装的JDK rpm -qa|grep jdkrpm -qa|grep gcjyum -y remove java java-1.4.2.......115 安装sun公司的JDK 解压jdk-6u24-linux-i586.bin文件到/opt/modules/...
阅读全文
摘要：1. HDFS中的一些概念1.1 数据块1.2 NameNode和DataNode1.2.1 管理者：Namenode1.2.1 工作者：Datanode1.3 Secondary Namenode1.4 HDFS的优缺点2. HDFS的架构2.1 HDFS架构之NameNode和DataNode2.2 Namenode和Secondary Namenode运行关系3. HDFS文件的读写流程3....
阅读全文
摘要：Hadoop生态系统Hadoop1.x 的各项目介绍1. HDFS2. MapReduce3. Hive4. Pig5. Mahout6. ZooKeeper7. HBase8. Sqoop9. Flume10. Ambari Hadoop生态系统 当今的Hadoop已经成长为一个庞大的体系，只要有和海量数据相关的领域。都有Hadoop的身影。 Hadoop生态系统图谱 大家知道，Ha...
阅读全文
摘要：Hadoop是什么？Hadoop的起源Hadoop发展史Hadoop的四大特性（优点）Hadoop的版本如何选择Hadoop版本 Hadoop是什么？ Hadoop： 适合大数据的分布式存储和计算平台 Hadoop不是指具体一个框架或者组件，它是Apache软件基金会下用Java语言开发的一个开源分布式计算平台。实现在大量计算机组成的集群中对海量数据进行分布式计算。适合大数据的分布式存储...
阅读全文
摘要：一、设置Linux的静态IP 修改桌面图标修改，或者修改配置文件修改 1、先执行ifconfig，得到网络设备的名称eth0 2、编辑/etc/sysconfig/network-scripts/ifcfg-eth0文件 设置静态ip、dns、ip地址、子网掩码、网关等信息 3、重启网卡：service network restart 最后执行ifconfig命令查看是否修改成功 ...
阅读全文