上一页 1 ··· 4 5 6 7 8 9 10 11 12 ··· 19 下一页
摘要: 无论在哪个行业,数据安全永远都是摆在首要地位。尤其是在大数据行业上,谁掌握了数据,谁就有可能成为下个亿万富豪的环境中,数据安全更为重要。大数据的安全可以从哪些地方入手,首先可以在身份验证上面入手。在大数据的集群设备上做好身份验证,可以使用openldap来做。 唯有通过openldap管理的账号才能 阅读全文
posted @ 2017-12-13 18:00 RZ_Lee 阅读(160) 评论(0) 推荐(0) 编辑
摘要: 数据安全很重要,所以日常中需要对数据库进行备份。 阅读全文
posted @ 2017-12-13 15:46 RZ_Lee 阅读(174) 评论(0) 推荐(0) 编辑
摘要: Linux运维遇到需要使用命令 查看Linux系统有多少用户 cat /etc/passwd | wc -l 查看用户占用的uid,默认情况下,ldap新增的用户和系统本地的用户uid是混在一起。在新建用户时就可以先用一下命令查看哪些uid已经被占用,可以提前做一些计划,不至于创建后发现已经占用,要 阅读全文
posted @ 2017-11-28 14:35 RZ_Lee 阅读(290) 评论(0) 推荐(0) 编辑
摘要: 删除自带的java yum remove java java -version发现还有java,因为电脑上安装了多个版本的java,这时我们可以用 yum groupremove java 通过组的这种方式,把它彻底删除掉 阅读全文
posted @ 2017-11-19 00:40 RZ_Lee 阅读(261) 评论(0) 推荐(0) 编辑
摘要: 首先pom文件导入依赖,Hadoop和hive的依赖导入自己机器的版本,hive记得导jdbc 新建UDF的Java类 打jar包,上传到Linux, 阅读全文
posted @ 2017-11-16 16:23 RZ_Lee 阅读(238) 评论(0) 推荐(0) 编辑
摘要: NameNode启动过程详解 第一次启动:HDFS格式化后,生成fsimage文件 hdf 阅读全文
posted @ 2017-11-15 18:36 RZ_Lee 阅读(213) 评论(0) 推荐(0) 编辑
摘要: 如果是新添加一个节点,需要执行以下步骤: 首先,把新节点的 IP或主机名 加入主节点(master)的 conf/slaves 文件。 然后登录新的从节点,执行以下命令: 然后就可以在master机器上运行balancer,执行负载均衡 查看hadoop使用情况 查看Hadoop的hdfs目录下面文 阅读全文
posted @ 2017-11-15 17:27 RZ_Lee 阅读(220) 评论(0) 推荐(0) 编辑
摘要: 日志生成 算出每个用户的上行流量总和 和下行流量的总和 阅读全文
posted @ 2017-11-12 21:28 RZ_Lee 阅读(1081) 评论(0) 推荐(0) 编辑
摘要: 日志类型 计算每个学科最受欢迎的老师 另种角度来实现,过滤多次提交 使用自定义分区器将每个学科的数据shuffle到独自的分区,在分区内进行排序取topN 上面的方式会有多次shuffle,reduceByKey聚合数据的时候shuffle一次,使用自定义分区器重新对数据进行分析又shuffle了一 阅读全文
posted @ 2017-11-12 21:25 RZ_Lee 阅读(822) 评论(0) 推荐(0) 编辑
摘要: Producer SparkStreamingDemo 注意必须设置checkpoint 阅读全文
posted @ 2017-11-12 19:36 RZ_Lee 阅读(778) 评论(0) 推荐(0) 编辑
上一页 1 ··· 4 5 6 7 8 9 10 11 12 ··· 19 下一页