摘要： 在大数据领域，安全永远是一个绕不开的话题。 对于一个简单安装的hadoop集群，我们认为有如下安全隐患： 1、可以人为添加一个客户端节点，并以此假冒的客户来获取集群数据。 对于一个假冒的客户端节点，成功加入集群就能够伪装 datanode 让得到 namenode 指派的任务和数据。 2、创建hdf 阅读全文

摘要： 1、纠删码存储技术 CDH6主要集成打包了Hadoop3，包括Hadoop3的一些新特性的官方支持，比如纠删码等。纠删码可以将HDFS的存储开销降低约50%，同时与三份副本策略一样，还可以保证数据的可用性。 副本方式： 默认情况下，HDFS的数据块都会保存三个副本。副本方式是一种容忍磁盘故障简单而有 阅读全文

摘要： 在运行spark代码时，执行过半报出了如题的异常： org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 460.0 failed 4 times, most recent failure 阅读全文

摘要： 分析指标体系： 在BI开发过程中只有20%指标是最重要的，设计可视化页面和梳理业务分析逻辑的时候，深入了解我们的业务、数据背后的逻辑，到底能反映出什么样的业务和管理问题。 BI开发能力： 1、基本的数据处理能力。sql查询、性能调优，存储过程开发、ETL工具使用和架构能力。 2、数据仓库建模能力。业 阅读全文

摘要： https://www.cnblogs.com/my-first-blog-lgz/p/16215453.html 阅读全文

摘要： import org.slf4j.LoggerFactory; import java.io.Serializable; import java.sql.Connection; import java.sql.DriverManager; import java.sql.SQLException; 阅读全文

摘要： 在视图中写sql时有一些字段值是直接用中文来代替的，比如select '数据' as A ........ 这样当时写完是没问题的，但是当视图中用到的表数据变更时，就会出现乱码情况，登录hvie元数据mysql运行以下命令更改字符集 ALTER TABLE TBLS modify COLUMN VI 阅读全文

摘要： 在Hive元数据存储的Mysql数据库中，执行以下SQL： #修改字段注释字符集 alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8; #修改表注释字符集 alter table TABLE_PAR 阅读全文

摘要： CDH集群第三个DataNode节点故障，显示此角色的主机的运行状态为不良。图标上有小叹号。 发现节点3的ntpd已经失效。 1. 查看ntp服务命令： [root@node1 ~]# systemctl status ntpd * ntpd.service - Network Time Servi 阅读全文

摘要： 1.问题梳理： CDH集群中，数据文件位置默认在 /dfs/dn 中，这个目录所属的盘符是 /，但是 ‘/’只有50G大小，还有其他各种文件的日志什么的，空间很紧张。今天启动脚本上传文件到hive，因为空间问题一直报错。查阅了资料，需要将CDH集群 HDFS数据存储 更换目录。 通过命令查看各个盘符 阅读全文