04 2020 档案
摘要：一、pyhdfs.HdfsClient 参数： hosts（list 或str）– NameNode HTTP host：port字符串的列表，可以list是逗号分隔的字符串。如果未指定，则端口默认为50070。请注意，在Hadoop 3中，默认的NameNode HTTP端口已更改为9870。旧版
阅读全文
摘要：一、安装Hbase 安装Hbase需要安装Zookeeper 1.1 下载解压Hbase 1.2 配置环境变量 二、配置Hbase 2.1 修改hbase env.sh 进入到hbase配置环境中 cd conf/ 2.2 修改regionservers（目录在conf下） 2.3 修改hbase
阅读全文
摘要：一、安装zookeeper 1.1 下载解压zookeeper 1.2配置zoo.cfg,进入到conf目录下 1.3 在另外两台上做同样的配置 1.4 Zookeeper 的data/myid配置，使用如下命令，server.1中的数字1为服务器的ID，需要与myid文件中的id一致，下一步将配置
阅读全文
摘要：一、安装Hive 1.1下载并解压Hive 1.2 将hive添加到环境变量 1.3 激活配置 二、配置Hive 2.1配置hive配置文件，hive元数据默认存储到derby数据库中，我们这里使用mysql来存储，hive site.xml配置信息较多建议下载到windows下修改，然后再传上去
阅读全文
摘要：一、Scala安装 1.1下载并解压Scala 1.2 将Scala添加到环境变量 1.3激活配置 二、安装Spark 2.1下载并解压Spark 2.2 修改文件夹名字 2.3配置环境变量 三、配置Spark 需要修改的配置文件有两个 Spark env.sh, spark defaults.co
阅读全文
摘要：1、使用crontab编辑一个定时任务 每分钟执行一次，把“hello world!”写入到/root/test.txt 命令 ：crontab -e 或者 vim /etc/crontab # 也可以直接修改 /etc/crontab */1 * * * * echo “hello world!”
阅读全文
摘要：一、Liunx环境准备 VMware+CentOS 7.6， 1.1下面是VMware和Centos的资源地址，也可以自己从网上下载相应的版本 百度网盘地址：链接：https://pan.baidu.com/s/1m_qvasgybY5rfJNHNjkqpw 提取码：9xka 1.2安装Linux
阅读全文
摘要：防火墙 systemctl stop firewalld 关闭防火墙 systemctl start firewalld 开启防火墙 systemctl disable firewalld 禁止开机启动 systemctl status firewalld 查看防火墙状态 重启网络服务 servic
阅读全文
摘要：一、Liunx环境准备 VMware+CentOS 7.6， 1.1下面是VMware和Centos的资源地址，也可以自己从网上下载相应的版本 百度网盘地址：链接：https://pan.baidu.com/s/1m_qvasgybY5rfJNHNjkqpw 提取码：9xka 1.2安装Linux
阅读全文
摘要：资源下载 一、VMware+CentOS 7.6， 下面是VMware和Centos的资源地址，也可以自己从网上下载相应的版本 百度网盘地址：链接：https://pan.baidu.com/s/1m_qvasgybY5rfJNHNjkqpw 提取码：9xka 安装VMware 下载完成后，直接双击
阅读全文
摘要：1.Hadoop的整体框架 Hadoop是由许多元素构成的，最核心的是HDFS（分布式文件系统），它存储了Hadoop集群中所有DataNode文件，HDFS的上一层是MapReduce引擎，MapReduce是一种计算模型，用以进行大数据量的计算。 HDFS HDFS是Hadoop项目的核心子项目
阅读全文
摘要：下载Fillder工具 百度网盘地址链接：https://pan.baidu.com/s/1s kkSEzys9ldYgWH87EP8Q 提取码：pgfc 下载好之后直接安装，安装完成后打开如下图所示： 设置Fillder抓取https包 1.选中Tools下的Options 2.进入到Option
阅读全文
