摘要:
1. 安装前资源准备操作系统(我在这里使用的是centos 6.5 64bit)准备jdk的安装包 3.准备Hadoop安装包2. 必要环境搭建2.1 Java环境配置以root用户登录系统我把jdk安装到/opt目录下,进入该目录进行解压,命令如下现在该目录下多了jdk1.7.0_71这个文... 阅读全文
摘要:
Hadoop 2.x 编译编译前准备 (hadoop_src/BUILDING.txt)Requirements:* Unix System* JDK 1.6+* Maven 3.0 or later* Findbugs 1.3.9 (if running findbugs)* ProtocolBu... 阅读全文
摘要:
在docker中共享本地目录docker run -v localFile:dockerFile -ti imageName command例:docker run -v ~/:/root -ti stocsis/hadoop-2.6.0:v1 bash注:路径必须为绝对路径查看最近运行的docke... 阅读全文
摘要:
编辑/etc/network/interface文件auto br0iface br0 inet staticaddress 192.168.7.31netmask 255.255.240.0gateway 192.168.7.254bridge_ports em1bridge_stp offdns... 阅读全文
摘要:
将硬盘挂载到指定目录,如/data在hdfs-site.xml中修改 dfs.datanode.data.dir file://${hadoop.tmp.dir}/dfs/data,/data Determines where on the local filesystem an DFS data ... 阅读全文
摘要:
1.启动hdfs start-dfs.sh (启动后使用jps查看进程是否启动)2.执行hdfs portmap start和hdfs nfs3 start 使用jps查看portmap和nfs3是否启动3.执行mount -t nfs -o vers=3,proto=tcp,nolock 10.... 阅读全文
摘要:
转自http://blog.csdn.net/xia_yu_mao_fa/article/details/37825713hdfs-webdav能讲hdfs映射为本地文件系统。通过实现webDav Http协议。可以如使用本地文件系统一样使用hdfs。部署过程:(hadoop版本为1.2.1,使用高... 阅读全文
摘要:
1.到http://www.apache.org/dyn/closer.cgi/hive/ 上下载hive0.14.0的版本2.使用cp命令拷贝到Linux主机的hadoop用户下我这里使用的hadoop用户为qhg3.使用tar -zxvf 命令进行解压,解压完后由于名字太长,使用mv进行重命名4... 阅读全文
摘要:
Hive 中敲sql语句很不方便而且数据量大了以后显示的表数据可读性非常差。后来在Eclipse marketplace 发现有hive的插件下面给出Toad for Cloud databases的安装并连通到hive的步骤点击下载按钮在这里给出了安装的URL,地址为:http://toaddow... 阅读全文
摘要:
最近在shell中想调用MySQL的语句查询结果,却出现了一个令人诧异的结果这是MySQL中的表数据在这个表中存了一条sql语句,想在shell中分离出这条语句进行执行执行结果不是想象中的和sql查询的结果一致却出现了这个奇怪的结果仔细分析图中的结果,联想表中所存的sql语句为select * fr... 阅读全文