zfyolo

摘要： nginx 日志格式 log_format 有个默认的日志格式： log_format combined '$remote_addr $remote_user [$time_local]' ' "$request" $status $body_bytes_sent ' ' "$http_refere 阅读全文

摘要： nginx 学习笔记 nginx 安装 登陆 "nginx官网" 可以看到官网一般会维护两个版本一个是文档版本（偶数）,一个是测试不稳定版(基数) 下载稳定版nginx 解压进入nginx目录 目录结构 ├── auto ├── CHANGES ├── CHANGES.ru ├── conf ├── 阅读全文

摘要： 两个hadoop集群之间同步数据 实例为dws的 store_wt_d表 一 文件拷贝 hadoop distcp -update -skipcrccheck hdfs://10.8.31.14:8020/user/hive/warehouse/dws.db/store_wt_d/ hdfs://1 阅读全文

摘要： 安装插件 重启grafna 到grafna页面上配置数据源 这里的url需要注意 4.X和3.X不一样 出现zabbix版本 即配置成功 阅读全文

摘要： 早上看CDH发现有一个nodemanager挂掉 然后查看对应的日志。 发现在日志里面并没有错误。，然然后发现服务器的磁盘满了，赶紧清理磁盘空间 清理磁盘的时候发现主要是/tmp目录下面生成了很多 类似这种的日志。 清理完空间之后 重启nodemanager。发现还是启不来 到这里之后发现就停住了。 阅读全文

摘要： https://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-name-node/index.html namenode选举（Journalnode zkfc） https://matt33.com/2018/09/01/yarn-arc 阅读全文

摘要： – dfs.name.dir – NameNode 元数据存放位置 – 默认值：使用core-site.xml中的hadoop.tmp.dir/dfs/name – dfs.block.size – 对于新文件切分的大小，单位byte。默认是64M,建议是128M。每一个节点都要指定，包括客户端。 阅读全文

摘要： HDFS是以NameNode和DataNode管理者和工作者模式运行的。 NameNode管理着整个HDFS文件系统的元数据。从架构设计上看，元数据大致分成两个层次：Namespace管理层，负责管理文件系统中的树状目录结构以及文件与数据块的映射关系；块管理层，负责管理文件系统中文件的物理块与实际存 阅读全文

摘要： 在hive2.1.1 里面一共有59张表 表1 VERSION version表存hive的版本信息，该表中数据只有一条，如果存在多条，会造成hive启动不起来。 表2 DBS DB_ID:数据库ID，DESC:数据库描述，DB_LOCATION_URI:数据HDFS路径，NAME:数据库名，OWN 阅读全文

摘要： Server端需要打开端口 7180 7182 选址正确的版本，cdh版本不要高于cm版本 CM下载地址 http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.3_x86_64.tar.gz CDH下载地址 http 阅读全文