随笔分类 - Hadoop
摘要：GIS开源组件编译系列 (01)CentOS7环境中编译GDAL3.5 其编译的组件有sqlite、libiconv、protobuf、libdeflate、LZMA2、zstd、pcre2、tiff、openssl、curl、Proj、Geos、swig、Hadoop、hdf5、netcdf、po
阅读全文
摘要：参考：http://db.apache.org/derby/releases/release-10.12.1.1.cgihttps://blog.csdn.net/hxl122lcq/article/details/7782940修改 D:\Java\Java8X64\jre1.8.0_181\lib\security\java.policy与D:\Java\Java8X64\jdk1.8.0_1...
阅读全文
摘要：FastDFS是一个开源的轻量级分布式文件系统，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。官方论坛 http://bbs.chinaunix.net/forum-240-1.htmlFastDfs google Code http://code.google.com/p/fastdfs...
阅读全文
摘要：#!/usr/bin/env bashfor year in /root/Downloads/data/all/*doecho -ne `basename year | \awk '{ temp = substr(0, 93, 1); if (temp != 9999 &&...
阅读全文
摘要：1. 参考说明参考文档： https://hbase.apache.org/book.html 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境 主机名 NameNode SecondaryNameNode DataNodes centoshadoop.smartmap.com 192.168.1.8...
阅读全文
摘要：1. 参考说明参考文档： http://sqoop.apache.org/ http://sqoop.apache.org/docs/1.99.7/admin/Installation.html 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境 主机名 NameNode SecondaryNameNode Dat...
阅读全文
摘要：1. 参考说明参考文档： https://cwiki.apache.org/confluence/display/Hive/GettingStarted 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境 主机名 NameNode SecondaryNameNode DataNodes centosh...
阅读全文
摘要：1. 参考说明参考文档： http://pig.apache.org/docs/r0.17.0/start.html#build 2. 安装环境说明2.1. 环境说明 CentOS7.4+ Hadoop2.7.5的伪分布式环境 主机名 NameNode SecondaryNameNode DataNodes centoshadoop.smartmap...
阅读全文
摘要：主控终端 主机名 ubuntuhadoop.smartmap.com IP 192.168.1.60 Subnet mask 255.255.255.0 Gateway 192.168.1.1 DNS 218.30.19.50 61.134.1.5 Search domain...
阅读全文
摘要：1. 规划1.1. 机器列表 NameNode SecondaryNameNode DataNodes 192.168.1.80 192.168.1.80 192.168.1.80 1.2. 机器列表 机器IP 主机名 用户组/用户 192.168.1.80 centosha...
阅读全文
摘要：1. 规划1.1. 机器列表 NameNode SecondaryNameNode DataNodes 192.168.1.121 192.168.1.122 192.168.1.101 192.168.1.102 192.168.1.103 1.2. 机器列表 ...
阅读全文
摘要：1. 参考说明 参考文档： https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-installation/content/ch_Getting_Ready.html 2. 安装环境说明 2.1. 环境说明 主控终端 计
阅读全文
摘要：服务器 主机名 master slave1 slave2 slave3 IP 192.168.1.40 192.168.1.41 192.168.1.42 192.168.1.43 离线包服务器： 192.168.1.50 1.启用root账号 1)sudo passwd root 2)sudo v
阅读全文
摘要：1. 开发环境1.1. 软件包下载1.1.1. JDK下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html安装到 D:\GreenSoftware\Java\Java8X64\jdk1.8.0_91 目录1.1.2. Maven下载地址https://maven.apache....
阅读全文
摘要：参考 https://blog.csdn.net/qiunian144084/article/details/79192819 https://www.cnblogs.com/smail-bao/p/7009633.html 1.下载Zookeeper并解压 下载地址为： http://zookee
阅读全文
摘要：https://docs.spring.io/spring-boot/docs/2.0.1.RELEASE/reference/htmlsingle/pom.xml mysql mysql-connector-java 8.0.11 org.apache.curator curator-framework 2.12.0 org.apache.curator...
阅读全文
摘要：本文的安装只涉及了hadoop-common、hadoop-hdfs、hadoop-mapreduce和hadoop-yarn，并不包含HBase、Hive和Pig等。 http://blog.csdn.net/aquester/article/details/24621005 1. 规划 1.1.
阅读全文
摘要：1、环境安装 gcc、gcc-c++、make、cmake、svn yum install lzo-devel zlib-devel gcc gcc-c++ make cmake autoconf automake libtool ncurses-devel openssl-devel 2、jdk的
阅读全文
摘要：hdfs://192.168.1.30:9000/data/apat /opt/eclipse/workspace/data/out
阅读全文
摘要：package com.smartmap.example; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.ap
阅读全文
