摘要：
一、spark的命令行模式 1.第一种进入方式：执行 pyspark进入，执行exit()退出 注意报错信息：java.lang.IllegalArgumentException: Required executor memory (1024+384 MB) is above the (最大阈值)m 阅读全文
摘要：
1、HDFS的高可用配置 dfs.namenode.edits.dir (NameNode 编辑目录) : 写入 NameNode 编辑的本地文件系统上的目录。未指定将存放在namenode数据目录中。 dfs.journalnode.edits.dir (JournalNode 编辑目录):用于存 阅读全文
摘要：
每个节点执行ntpstat 和 timedatectl 都显示同步并且时间相同，那么CDH才能正常使用。每次ntp服务同步到外部授时中心都要一段时间(5~10分钟)，只有当NTP server(node1)节点和其他的NTP client(node2、node3)节点都显示同步成功之后，CM页面中的每台机器才不会报错。可通过timedatectl查看到当前节点是否同步成功：如果显示... 阅读全文
摘要：
通过改善IFile阅读器的性能 IFile Reader，进而可改善随机处理程序并减少储备空间，达到MapReduce的配置最佳实践要求。而MapReduce shuffle的处理程序和IFile阅读器的使用通常调用本机Linux的Hadoop本机库。 首先改善IFile阅读器的性能要求启用IFile预读可提高合并操作的性能。要为MRv1或YARN启用此功能，请设置map... 阅读全文
摘要：
将mysql 安装在单个Linux系统主机，并配置本地或远程(此处可仅单指局域状态下的环境)的无主机登录。谨记的是：操作完mysql 设置时，需以flush privileges进行权限刷新。小编亲测在mysql 数据库变成“砖头”而无法登录时，此法有效！1.安装MySQLyum install mysql-server 安装mysql-server服务端service mysq... 阅读全文
摘要：
在进行MySQL与CM+CHD之间的应用配置时，发现此前对于MySQL的配置含义过于模糊，所以将CM+CHD集群所涉及MySQL方面的配置含义进行抽取并加以注释，方便此后的配置和使用。一、客户端设置，即客户端默认的连接参数port = 3306#默认连接端口socket = /usr/local/mysql/data/mysql.sock#用于本地连接的socket套接字default... 阅读全文