摘要：
显示文件列表命令 -a 显示指定目录下所有子目录与文件，包括隐藏文件 -l 以列表的方式显示文件的详细信息 -h 配合-l 以人性化的方式显示文件大小 ls 查看当前目录内容 隐藏文件看不到 ls -a 查看当前目录内容 包括隐藏文件 ls -al 查看目录内的详细信息 包括文件大小 类型 权限 l 阅读全文
摘要：
什么是算子 在英文中被成为“Operation”，在数学上可以解释为一个函数空间到函数空间上的映射O：X->X，其实就是一个处理单元，往往是指一个函数，在使用算子时往往会有输入和输出，算子则完成相应数据的转化，比如：Group、Sort等都是算子。 流数据 在自然环境中，数据的产生原本就是流式的。但 阅读全文
摘要：
1. Hive 表关联查询，如何解决数据倾斜的问题 1） 倾斜原因： map 输出数据按key Hash 的分配到reduce 中，由于key 分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。 （1） key 分布不均匀; （2） 业务数据本身的特性; （ 阅读全文
摘要：
阅读全文
摘要：
-- 开窗 分组排序 -- row_number() over(partition by ... order by ...) 组内的排名序号 1 2 3 4 5 6 7 -- rank() over(partition by userid order by pv desc) 组内的排名序号 1 2 阅读全文
摘要：
1.在目录：/export/server/hadoop-3.1.4/etc/hadoop 下修改文件：hadoop-env.sh export HADOOP_CLIENT_OPTS="-Xmx2048m $HADOOP_CLIENT_OPTS" 分发给各个主机：scp hadoop-env.sh n 阅读全文
摘要：
Hadoop的key和value的传递序列化需要涉及两个重要的接口Writable和WritableComparable1.Writable: 重写write 和 readFields方法，负责读和写 2.WritableComparable 重写write、readFields 和 compare 阅读全文
摘要：
在Linux下输入ifconfig显示如下图： 解决方法如下： 1.输入 ifconfig ens33 up 执行之后输入ifconfig查看如下图： 2.执行如下命令： systemctl stop NetworkManager systemctl disable NetworkManager 3 阅读全文
摘要：
Znode有四种形式的目录节点（默认是persistent ） （1）持久化节点（PERSISTENT） 默认 create /node1 aaa 客户端与zookeeper断开连接后，该节点依旧存在 （2）持久化顺序节点（PERSISTENT_SEQUENTIAL） 创建zookeeper时会在路 阅读全文
摘要：
上传文件：zookeeper-3.4.8.tar.gz文件到安装目录下 /usr/local/tmp 解压文件： tar zxvf /usr/local/tmp/zookeeper-3.4.8.tar.gz 将解压文件复制到 /usr/local 下 cp -r zookeeper-3.4.8 .. 阅读全文
摘要：
请求：请求行 请求头 请求空行 请求体 请求方式：GET POST 只有POST请求有请求体（用来存放参数） 请求行：请求方式 提交路径（提交参数）HTTP/版本号 请求头： 请求空行：普通换行，用于区分请求头和请求体 请求体：只有POST提交方式才有请求体，用于显示提交参数 响应：响应行 响应头 阅读全文