04 2020 档案
摘要:升级之Spark升级 在CDH5.12.1集群中,默认安装的Spark是1.6版本,这里需要将其升级为Spark2.1版本。经查阅官方文档,发现Spark1.6和2.x是可以并行安装的,也就是说可以不用删除默认的1.6版本,可以直接安装2.x版本,它们各自用的端口也是不一样的。 Cloudera发布
阅读全文
摘要:1 Kerberos概述 1 什么是Kerberos Kerberos是一种计算机网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构,并且能够进行相互认证,即客户端和服务器端均可对对方进行身份认
阅读全文
摘要:测试之集群性能测试 1 DFSIO测试 在Hadoop中包含很多的基准测试,用来验证集群的HDFS是不是设置合理,性能是不是达到预期,DFSIO是Hadoop的一个基准测试工具,被用来分析集群HDFS的I/O性能。 DFSIO后台执行MapReduce框架,其中Map任务以并行方式读写文件,Redu
阅读全文
摘要:Sentry概述 cdh版本的hadoop在对数据安全上的处理通常采用Kerberos+Sentry的结构。 kerberos主要负责平台用户的权限管理,sentry则负责数据的权限管理。 Sentry是什么 Apache Sentry是Cloudera公司发布的一个Hadoop开源组件,它提供了细
阅读全文
摘要:日志采集Flume配置 1)Flume配置分析 Flume直接读log日志的数据,log日志的格式是app-yyyy-mm-dd.log。 2)Flume的具体配置如下: 在CM管理页面上点击Flume, 在实例页面选择hadoop101上的Agent 3)在CM管理页面hadoop101上Flum
阅读全文
摘要:一. 添加Hive服务 将 Hive 服务添加到 Cluster 1 配置hive元数据 测试通过后继续 自动启动Hive进程 修改Hive配置 /opt/cloudera/parcels/HADOOP_LZO-0.4.15-1.gplextras.p0.123/lib/hadoop/lib 更新H
阅读全文
摘要:一. HDFS的参数配着 1. 修改HDFS的权限检查配置 关闭HDFS中的权限检查:dfs.permissions。 2. 配置Hadoop支持LZO 点击主机,在下拉菜单中点击Parcel 点击配置 找到远程Parcel存储库URL,点击最后一栏的加号,增加一栏,输入 http://archiv
阅读全文
摘要:期货:风险高收益高;期货相当于现货(大件商品价格有个市场波动,比如20元买的,10元卖了叫炒现货,30元卖了也是炒现货;) 期货就是比如卖煤的基于当前市场价格10元/ T判断未来5个月会跌,买煤的基于当前市场价判断未来会涨,双方对未来的判断不同,签订期货合约。 黄金: 相当于股票价格比较稳定,需要保
阅读全文
摘要:用户行为分析 统计分析 点击、浏览; 热门商品、近期热门商品、分类热门商品,流量统计; 偏好统计 收藏、喜欢、评分、打标签; 用户画像、推荐列表(结合特征工程和机器学习算法) 风险控制 下订单、支付、登录 刷单监控,订单实效监控,恶意登录(短时间内频繁登录失败)监控 1. 实时流量统计 1.1. 实
阅读全文