摘要： quota分为两种： 1. 目录下的文件数限制 2. 目录下的空间大小 列对应：QUOTA REMAINING_QUOTA SPACE_QUOTA REMAINING_SPACE_QUOTA DIR_COUNT FILE_COUNT 计算公式： QUOTA – (DIR_COUNT + FILE_C 阅读全文

摘要： 1. 下载 官网下载地址刷不出来： https://www.mongodb.com/download-center 打开网页源码能找到下载地址：https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-3.5.13.tgz 2. 解压安装 3. 设置 阅读全文

摘要： 1. yum安装 yum install httpd yum install httpd-devel yum install httpd-manual 2. 配置 vim /etc/httpd/conf/httpd.conf 配置说明： ServerRoot”/etc/httpd” 默认配置文件的存 阅读全文

摘要： 第一步：ssh: user@xxx.xxx.xxx 第二步：开启VNC 开启VNC共享桌面： sudo /System/Library/CoreServices/RemoteManagement/ARDAgent.app/Contents/Resources/kickstart -activate 阅读全文

摘要： spark客户端提交任务至yarn，后台抛错，FinalStatus:UNDEFINED. ./spark-submit --class org.apache.spark.examples.SparkPi --conf spark.eventLog.dir=hdfs://jenkintest/tmp 阅读全文

摘要： 配置container-executor.cfg 注意：这个配置文件是通过C语言解析的，编码格式等很敏感。曾踩在坑里很久才出来。提示“yarn.nodemanager.linux-container-executor.group”配置找不到。 配置文件是否正确、和权限是否正确，可通过 ./bin/c 阅读全文

摘要： 在 hadoop1生成ca并拷贝至hadoop2,hadoop2。 （密码随便设置，大于6位即可。如adminadmin） 在每一条机器上生成　keystore，和trustores 将最终keystore,trustores放入合适的目录，并机上后缀 hdfs-site.xml 配置ssl-cli 阅读全文

摘要： 前提：完成hadoop + kerberos安全环境搭建。 安装配置spark client： 1. wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz 2. 配置 指定hadoop路径 配置环境变量： 分 阅读全文

摘要： 10.112.28.240 prestocli 10.183.225.158 perstoser hive-site.xml useUnicode=true&characterEncoding=UTF-8&autoReconnect=true 启动协调者： 查看hdfs文件： presto-cli查 阅读全文

摘要： 机器规划： 前置条建： kerberos部署：http://www.cnblogs.com/kisf/p/7473193.html Hadoop HA + kerberos部署：http://www.cnblogs.com/kisf/p/7477440.html mysql安装：略 添加hive用户 阅读全文