04 2020 档案
摘要：升级之Spark升级 在CDH5.12.1集群中，默认安装的Spark是1.6版本，这里需要将其升级为Spark2.1版本。经查阅官方文档，发现Spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。 Cloudera发布
阅读全文
摘要：1 Kerberos概述 1 什么是Kerberos Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。这个词又指麻省理工学院为这个协议开发的一套计算机软件。软件设计上采用客户端/服务器结构，并且能够进行相互认证，即客户端和服务器端均可对对方进行身份认
阅读全文
摘要：测试之集群性能测试 1 DFSIO测试 在Hadoop中包含很多的基准测试，用来验证集群的HDFS是不是设置合理，性能是不是达到预期，DFSIO是Hadoop的一个基准测试工具，被用来分析集群HDFS的I/O性能。 DFSIO后台执行MapReduce框架，其中Map任务以并行方式读写文件，Redu
阅读全文
摘要：Sentry概述 cdh版本的hadoop在对数据安全上的处理通常采用Kerberos+Sentry的结构。 kerberos主要负责平台用户的权限管理，sentry则负责数据的权限管理。 Sentry是什么 Apache Sentry是Cloudera公司发布的一个Hadoop开源组件，它提供了细
阅读全文
摘要：日志采集Flume配置 1）Flume配置分析 Flume直接读log日志的数据，log日志的格式是app-yyyy-mm-dd.log。 2）Flume的具体配置如下： 在CM管理页面上点击Flume， 在实例页面选择hadoop101上的Agent 3）在CM管理页面hadoop101上Flum
阅读全文
摘要：一. 添加Hive服务 将 Hive 服务添加到 Cluster 1 配置hive元数据 测试通过后继续 自动启动Hive进程 修改Hive配置 /opt/cloudera/parcels/HADOOP_LZO-0.4.15-1.gplextras.p0.123/lib/hadoop/lib 更新H
阅读全文
摘要：一. HDFS的参数配着 1. 修改HDFS的权限检查配置 关闭HDFS中的权限检查：dfs.permissions。 2. 配置Hadoop支持LZO 点击主机，在下拉菜单中点击Parcel 点击配置 找到远程Parcel存储库URL，点击最后一栏的加号，增加一栏，输入 http://archiv
阅读全文
摘要：期货：风险高收益高；期货相当于现货（大件商品价格有个市场波动，比如20元买的，10元卖了叫炒现货，30元卖了也是炒现货；） 期货就是比如卖煤的基于当前市场价格10元/ T判断未来5个月会跌，买煤的基于当前市场价判断未来会涨，双方对未来的判断不同，签订期货合约。 黄金： 相当于股票价格比较稳定，需要保
阅读全文
摘要：用户行为分析 统计分析 点击、浏览； 热门商品、近期热门商品、分类热门商品，流量统计； 偏好统计 收藏、喜欢、评分、打标签； 用户画像、推荐列表（结合特征工程和机器学习算法） 风险控制 下订单、支付、登录 刷单监控，订单实效监控，恶意登录（短时间内频繁登录失败）监控 1. 实时流量统计 1.1. 实
阅读全文
