追逐的脚步

摘要： （一）启动hadoop集群时易出现的错误：1.错误现象：java.net.NoRouteToHostException: No route to host. 原因：master服务器上的防火墙没有关闭。 解决方法:在master上关闭防火墙: chkconfig iptables off.2.错误现象：org.apache.hadoop.ipc.RPC: Server at JMN/10.22.1.203:9000 not available yet./* JMN/10.22.1.203是 hadoop集群当中master的主机名/ip */ 原因：/etc/hosts中的文件被自动篡改。 解 阅读全文

摘要： hadoop-env.sh:一般来说在安装hadoop的时候，只需要指定其依赖的jdk即可。后期需指定hadoop的class路径。 export JAVA_HOME=hdfs-site.xml:dfs.replication //表示的是上传到hdfs上的副本数量3dfs.datanode.max.xcievers //Hadoop HDFS Datanode有一个同时处理文件的上限,这个一般最少要4096，这个配置可能会和hbase的集群出现问题有关系。2047dfs.name.dir //表示是将hdfs的元数据保存在什么位置下/data1/hado... 阅读全文

摘要： hive的sql语句对hdfs上的任何的数据操作，其最终的处理都是通过hive的内置功能将这个类sql语句转化成mapreduce的框架进行处理。将hdfs额数据导入到hive 中，首先需要做到以下几步。1.hdfs中必须存在满足其hive格式的数据。（公司是使用oracle数据库作为源数据）2.建立一个hive表3.使用hive的导数据的语句。LOAD DATA INPATH '/' [OVERWRITE] INTO TABLE tablename;4.执行hive语句的分析。得到需要的数据，fangrlinux系统下的一个文件中。 阅读全文

该文被密码保护。 阅读全文

该文被密码保护。 阅读全文

该文被密码保护。 阅读全文

摘要： 1 hadoop集群概要1.1 hadoop优点1>高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。2> 高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。3> 高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点... 阅读全文

摘要： Fastdfs是一个简洁的分布式文件系统，众所周知，大多数网站都需要存储用户上传的文件，如图片、视频、电子文档等。出于降低带宽和存储成本的考虑，网站通常都会限制用户上传的文件大小，例如图片文件不能超过5MB、视频文件不能超过100MB等。我认为，对于互联网应用，文件分块存储没有多大的必要。它既没有带来多大的好处，又增加了系统的复杂性。FastDFS不对文件进行分块存储，与支持文件分块存储的DFS相比，更加简洁高效，并且完全能满足绝大多数互联网应用的实际需要。在FastDFS中，客户端上传文件时，文件ID不是由客户端指定，而是由Storageserver生成后返回给客户端的。文件ID中包含了组名 阅读全文

摘要： 目录1. 简介.... 41.1系统概述.... 41.2适用场合.... 41.3组成部分及其作用.... 42. 系统安装配置步骤.... 42.1环境预约.... 42.2安装libevent. 52.2.1卸载原有的linevent. 52.2.2安装现有的linevent. 52.3安装tracker_server. 52.3.1创建安装目录.... 52.3.2配置文件.... 52.3.3配置tracker_server. 52.3.4启动tracker_server. 62.4安装storage_server. 62.4.1创建安装目录.... 62.4.2配置storage. 阅读全文

摘要： 方法一：下载一个pscp.exe文件，将其放入windows -->system32下即可。 然后上传的时候，打开一个dos界面：例。pscp d:\aa.txt root@192.168.21.102:/apps/表示是将windows系统上的aa.txt文件上传到linux 系统的apps目录下。方法二：使用winscp,可视化的界面传输工具方法三：使用secureCRT,使用rz上传，sz下载 阅读全文