12 2020 档案
发表于 2020-12-24 10:23阅读：139评论：0推荐：0
摘要：安全模式 为什么集群会进入安全模式？ NameNode启动 NN启动时，首先将映像文（Fsimage）载入内存，并编辑日志（Edits）中的各项操作.一旦在内存中成功建立元数据的映像，则创建一个新的Fsimage文件和一个空的编辑日志。此时，NameNode开始监听DataNode的请求。这个过程期
阅读全文 »
发表于 2020-12-21 21:08阅读：758评论：0推荐：0
摘要：Phoenix SQL总结 建表语句 --建表 create table if not exists "student"( id varchar primary key, name varchar ) --插入数据 upsert into "student"(id,name) values("100
阅读全文 »
发表于 2020-12-15 18:05阅读：75评论：0推荐：0
摘要：#awk基本用法 awk是一个强大的文本分析工具 ##基本语法 awk '{pattern + action}' {filenames} ##简单参数设置 场景1：按照一定规则切分这个字段 -F 代表切分规则 默认是空格 $1 表示切分后的第一个字段 $2 awk -F '\t' '{/file/}
阅读全文 »
发表于 2020-12-14 21:22阅读：677评论：0推荐：0
摘要：1：HDFS存储多目录 只针对DN进行多目录配置 1）生产环境服务器磁盘情况 2）在hdfs-site.xml文件中配置多目录，注意新挂载磁盘的访问权限问题。 HDFS的DataNode节点保存数据的路径由dfs.datanode.data.dir参数决定，其默认值为file://$/dfs/dat
阅读全文 »
发表于 2020-12-14 19:27阅读：308评论：0推荐：0
摘要：集群基准性能测试 问题引入：输入端有2T的数据，问多长时间能把数据上传到集群？ 假如说1个小时，那么双11时瞬间产生100T数据，服务器能顶住吗？ 因此，我们需要对服务器进行压力测试，对服务器整体性能有精准把控 1）测试HDFS写性能 测试内容，向集群上传10个128M的文件 [root@hadoo
阅读全文 »
发表于 2020-12-14 00:09阅读：346评论：0推荐：0
摘要：搭建Linux虚拟机流程 以下教程使用linux版本为Centos7.5 1.配置网络 1）修改虚拟机的静态IP 进入 sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33 修改如下几项配置 BOOTPROTO=static --改成静态IP ONB
阅读全文 »
发表于 2020-12-08 19:29阅读：1631评论：0推荐：0
摘要：1)创建Topic kafka-topics.sh --create --bootstrap-server hadoop102:9092 --topic second --partitions 2 --replication-factor 3 kafka-topics.sh --create --z
阅读全文 »
发表于 2020-12-07 21:19阅读：166评论：0推荐：0
摘要：从端口读数据读取到本地文件 #1.给三个组件命名 a3.sources = r1 a3.channels = c1 a3.sinks = k1 #2.给source组件属性赋值 a3.sources.r1.type = avro a3.sources.r1.bind = hadoop102 a3.s
阅读全文 »
发表于 2020-12-07 17:15阅读：3486评论：0推荐：0
摘要：问题：可以连局域网，但是不能连外网 经过检查，发现DNSClient服务没有启动 解决方案 关闭方法：1.按Windows + R ，输入regedit 进入注册表 2.在左侧找到一下路径，或者复制路径到注册表上方的路径位置，按回车。中文版Windows :计算机\HKEY_LOCAL_MACHIN
阅读全文 »
发表于 2020-12-04 19:45阅读：140评论：0推荐：0
摘要：函数总结 date_format：将日期进行格式化 date_add：对当前日期增加天数 next_day：取当前日期的下一个周几 last_day：当前日期的最后一天 regexp_replace: 使用正则表达式匹配目标字符串，匹配成功后替换！ case when：类似于java里的switch
阅读全文 »
发表于 2020-12-02 18:18阅读：138评论：0推荐：0
摘要：数据库的DDL 建库语法 CREATE DATABASE [IF NOT EXISTS] database_name [IF NOT EXISTS] --增强代码的健壮性 [COMMENT database_comment] --这个库是干嘛的 [LOCATION hdfs_path] --你当前的
阅读全文 »
发表于 2020-12-02 16:48阅读：687评论：0推荐：0
摘要：基本数据类型 HIVE MySQL JAVA 长度 例子 TINYINT TINYINT byte 1byte有符号整数 2 SMALINT SMALINT short 2byte有符号整数 20 INT INT int 4byte有符号整数 20 BIGINT BIGINT long 8byte有
阅读全文 »
发表于 2020-12-02 16:43阅读：208评论：0推荐：0
摘要：hadoop压缩配置 MR支持的压缩编码 压缩格式 算法 文件扩展名 是否可切分 DEFLATE DEFLATE .deflate 否 Gzip DEFLATE .gz 否 bzip2 bzip2 .bz2 是 LZO LZO .lzo 是 Snappy Snappy .snappy 否 为了支持多
阅读全文 »
发表于 2020-12-01 19:50阅读：790评论：0推荐：0
摘要：排序 全局排序（Order by） 对整个输出结果集进行排序，只会产生一个Reduce 每个Reduce内部排序（Sort by） Sort By：对于大规模的数据集order by的效率非常低。在很多情况下，并不需要全局排序，此时可以使用sort by。 Sort by为每个reducer产生一个
阅读全文 »
