会员
周边
众包
新闻
博问
闪存
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
RZ_Lee
积累点滴,终成大器
博客园
首页
新随笔
联系
订阅
管理
上一页
1
···
4
5
6
7
8
9
10
11
12
···
19
下一页
2017年12月13日
Openldap- 大机群身份验证服务
摘要: 无论在哪个行业,数据安全永远都是摆在首要地位。尤其是在大数据行业上,谁掌握了数据,谁就有可能成为下个亿万富豪的环境中,数据安全更为重要。大数据的安全可以从哪些地方入手,首先可以在身份验证上面入手。在大数据的集群设备上做好身份验证,可以使用openldap来做。 唯有通过openldap管理的账号才能
阅读全文
posted @ 2017-12-13 18:00 RZ_Lee
阅读(160)
评论(0)
推荐(0)
编辑
Linux- 自动备份MySQL数据库脚本
摘要: 数据安全很重要,所以日常中需要对数据库进行备份。
阅读全文
posted @ 2017-12-13 15:46 RZ_Lee
阅读(174)
评论(0)
推荐(0)
编辑
2017年11月28日
Linux- 运维
摘要: Linux运维遇到需要使用命令 查看Linux系统有多少用户 cat /etc/passwd | wc -l 查看用户占用的uid,默认情况下,ldap新增的用户和系统本地的用户uid是混在一起。在新建用户时就可以先用一下命令查看哪些uid已经被占用,可以提前做一些计划,不至于创建后发现已经占用,要
阅读全文
posted @ 2017-11-28 14:35 RZ_Lee
阅读(290)
评论(0)
推荐(0)
编辑
2017年11月19日
JAVA- 切换默认的Java
摘要: 删除自带的java yum remove java java -version发现还有java,因为电脑上安装了多个版本的java,这时我们可以用 yum groupremove java 通过组的这种方式,把它彻底删除掉
阅读全文
posted @ 2017-11-19 00:40 RZ_Lee
阅读(261)
评论(0)
推荐(0)
编辑
2017年11月16日
HIVE- 新建UDF范例
摘要: 首先pom文件导入依赖,Hadoop和hive的依赖导入自己机器的版本,hive记得导jdbc 新建UDF的Java类 打jar包,上传到Linux,
阅读全文
posted @ 2017-11-16 16:23 RZ_Lee
阅读(238)
评论(0)
推荐(0)
编辑
2017年11月15日
Hadoop- 集群启动详解
摘要: NameNode启动过程详解 第一次启动:HDFS格式化后,生成fsimage文件 hdf
阅读全文
posted @ 2017-11-15 18:36 RZ_Lee
阅读(213)
评论(0)
推荐(0)
编辑
Hadoop- Hadoop运维小计
摘要: 如果是新添加一个节点,需要执行以下步骤: 首先,把新节点的 IP或主机名 加入主节点(master)的 conf/slaves 文件。 然后登录新的从节点,执行以下命令: 然后就可以在master机器上运行balancer,执行负载均衡 查看hadoop使用情况 查看Hadoop的hdfs目录下面文
阅读全文
posted @ 2017-11-15 17:27 RZ_Lee
阅读(220)
评论(0)
推荐(0)
编辑
2017年11月12日
Spark- 流量日志分析
摘要: 日志生成 算出每个用户的上行流量总和 和下行流量的总和
阅读全文
posted @ 2017-11-12 21:28 RZ_Lee
阅读(1081)
评论(0)
推荐(0)
编辑
Spark- 计算每个学科最受欢迎的老师
摘要: 日志类型 计算每个学科最受欢迎的老师 另种角度来实现,过滤多次提交 使用自定义分区器将每个学科的数据shuffle到独自的分区,在分区内进行排序取topN 上面的方式会有多次shuffle,reduceByKey聚合数据的时候shuffle一次,使用自定义分区器重新对数据进行分析又shuffle了一
阅读全文
posted @ 2017-11-12 21:25 RZ_Lee
阅读(822)
评论(0)
推荐(0)
编辑
Spark- SparkStreaming可更新状态的实例
摘要: Producer SparkStreamingDemo 注意必须设置checkpoint
阅读全文
posted @ 2017-11-12 19:36 RZ_Lee
阅读(778)
评论(0)
推荐(0)
编辑
上一页
1
···
4
5
6
7
8
9
10
11
12
···
19
下一页
公告