望穿秋水 - 博客园

2019年4月12日

CentOS7+CDH5.14.0安装全流程记录，图文详解全程实测-6CM安装前环境检查

摘要：检查环境在正式开始安装CDH之前最好先检查一下能不能相互免密ssh，以及防火墙是否关闭，集群中的时间是否统一，java版本是否是oracle的版本，主节点mysql是否安装正确等。 ssh测试例如在cm0中ssh cm1exitssh cm2exit例如在cm1中ssh cm0exitssh c 阅读全文

posted @ 2019-04-12 17:18 望穿秋水阅读(417) 评论(0) 推荐(0) 编辑

CentOS7+CDH5.14.0安装全流程记录，图文详解全程实测-5安装JDK及安装mysql数据库

摘要： 1、安装JDK 可以不用卸载自带的openjdk，配好环境变量即可。下载文件：jdk-8u151-linux-x64.tar.gz 附：JDK各版本下载地址：https://www.oracle.com/technetwork/java/javase/archive-139210.html 在里面阅读全文

posted @ 2019-04-12 17:13 望穿秋水阅读(487) 评论(0) 推荐(0) 编辑

CentOS7+CDH5.14.0安装全流程记录，图文详解全程实测-4配置NTP服务

摘要：配置NTP服务。标准的做法是配置NTP服务器，但是这里为了方便就用简化的方式配置了。这个在安装初期，不是必须的，只要保证各机器的时间同步就行，使用如下命令可以查看时间是否同步：时间差1-2秒钟就没事。确保每台机器的ntpd服务都是启动状态，否则后面CDH安装完成后，主机状态会是错误状态。 sy 阅读全文

posted @ 2019-04-12 16:21 望穿秋水阅读(437) 评论(0) 推荐(0) 编辑

CentOS7+CDH5.14.0安装全流程记录，图文详解全程实测-3禁止交换和禁用大页面

摘要： 1、禁止交换（每台机器都要做）：执行命令：vim /etc/sysctl.conf 增加一行：vm.swappiness=0 执行命令：sudo sysctl vm.swappiness=0 2、禁用大页面（每台机器都要做）：执行命令： echo never > /sys/kernel/mm/t 阅读全文

posted @ 2019-04-12 16:16 望穿秋水阅读(402) 评论(0) 推荐(0) 编辑

CentOS7+CDH5.14.0安装全流程记录，图文详解全程实测-1虚拟机安装及环境初始化

摘要： 1、软件准备： VMware-workstation-full-14.1.2-8497320.exe CentOS-7-x86_64-DVD-1804.iso 2、VMare激活码： AU5WA-0EF9M-0811P-REP5X-ZFK9A ZV382-6VX96-H81LP-1ZZG9-PVKF 阅读全文

posted @ 2019-04-12 16:02 望穿秋水阅读(597) 评论(0) 推荐(0) 编辑

2019年3月2日

sql转百分比并保留两位小数

摘要： --转百分比并保留两位小数 select ProfitRate =Convert(nvarchar(20), (Convert(decimal(18,2),((DayPrice -MyPrice)*100/MyPrice))))+'%' from [Stock] where MyPrice>0 up 阅读全文

posted @ 2019-03-02 14:43 望穿秋水阅读(2761) 评论(0) 推荐(0) 编辑

2019年1月26日

[转]Cloudera Manager和CDH5.8离线安装

摘要： https://blog.csdn.net/zzq900503/article/details/52982828 https://www.cnblogs.com/felixzh/p/9082344.html 简介我们在上篇文章中已经了解了CDH，为了后续的学习，我们本章就来安装CDH5.8。CDH 阅读全文

posted @ 2019-01-26 10:53 望穿秋水阅读(655) 评论(0) 推荐(0) 编辑

CentOS7+CDH5.14.0安装全流程记录，图文详解全程实测-2设置SSH免密登录

摘要：因为hadoop集群在安装的时候需要集群中所有机器的权限。所以我们需要打通所有节点的ssh无密码登陆，思路是生成每台机子的密钥，集中在一个文件中，再分发到每台机子上。为了确保下面的命令能顺利执行，请先重启所有节点并且保证所有节点能够通过主机名ping通。配置免密登录有两种方式，一种简单的： 1 阅读全文

posted @ 2019-01-26 10:11 望穿秋水阅读(635) 评论(0) 推荐(0) 编辑

CentOS7+CDH5.14.0安装全流程记录，图文详解全程实测-总目录

摘要： CentOS7+CDH5.14.0安装全流程记录，图文详解全程实测-总目录： 0、Windows 10本机下载Xshell,以方便往Linux主机上上传大文件 1、CentOS7+CDH5.14.0安装全流程记录，图文详解全程实测-1虚拟机安装及环境初始化 2、CentOS7+CDH5.14.0安装阅读全文

posted @ 2019-01-26 09:29 望穿秋水阅读(453) 评论(0) 推荐(0) 编辑

2019年1月5日

Linux服务器文件和windows本机文件互传方法(本地文件上传Linux,Linux文件下载到本机）

摘要： 1、windows系统中下载XShell安装文件。下载地址：https://www.newasp.net/soft/384562.html 2、安装之后，新建会话输入远程linux的账号和密码。 3、上传文件：在shell终端仿真器中输入命令rz，即可从本机选择文件利用Zmodem上传到服务器当前路阅读全文

posted @ 2019-01-05 17:27 望穿秋水阅读(4307) 评论(0) 推荐(0) 编辑

2018年12月28日

sqlserver2017 SSAS配置远程访问不成功的问题

摘要： sqlserver2017 SSAS通过IIS配置远程访问一直访问不成功的解决办法：出现这个问题的原因从微软给出的更新包中说的就是：从 SQL Server 2017 开始，Analysis Services 内部版本号和 SQL Server 数据库引擎内部版本号不匹配。尽管 Analysi 阅读全文

posted @ 2018-12-28 14:31 望穿秋水阅读(1648) 评论(0) 推荐(0) 编辑

2018年12月12日

一文看懂大数据的技术生态Hadoop， hive，spark都有了[转]

摘要：大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合也能工作阅读全文

posted @ 2018-12-12 11:18 望穿秋水阅读(214) 评论(0) 推荐(0) 编辑

2018年11月19日

大数据OLAP引擎对比

摘要： Presto：内存计算，mpp架构 PB级别数据 presto适合pb级的海量数据查询分析，不是说把pb的数据放进内存，比如一张pb表，查询count，vag这种有个特点，虽然数据很多，但是最终的查询结果很小，这种就不会把数据都放到内存里面，只是在运算的过程中，拿出一些数据放内存，然后计算，在抛出，阅读全文

posted @ 2018-11-19 09:53 望穿秋水阅读(367) 评论(0) 推荐(0) 编辑

2018年11月9日

http 连接 analysis service (ssas)

摘要：当数据仓库搭建好后，我们就可以通过sqlserver的管理工具查看服务器上的数据集了。但是这样挺不方便的，如果要远程访问，那么就可以通过http来连接数据仓库。要配置数据仓库http连接非常的简单。如果是sqlserver 2000的版本，那么可以找到Msolap.asp这个文件，通过配置到IIS站阅读全文

posted @ 2018-11-09 14:39 望穿秋水阅读(547) 评论(0) 推荐(0) 编辑

2018年11月8日

数据挖掘九律

摘要：有位挖掘专家tom khabaza提出了挖掘九律，挺好的东西，特别是九这个数字，深得中华文化精髓，有点独孤九剑的意思：第一，目标律。数据挖掘是一个业务过程，必须得有业务目标。无目的，无过程。第二，知识律。业务知识贯穿在挖掘这个业务过程的各环节。第三，准备律。数据获取、数据准备等数据处理耗时占整个挖掘阅读全文

posted @ 2018-11-08 10:02 望穿秋水阅读(188) 评论(0) 推荐(0) 编辑

数据分析能力的8个等级

摘要：并非所有的分析方法作用都相同。和大多数软件解决方案一样，你会发现分析方法的能力也存在差异，从简单明了的到高级复杂。下面我们按照不同分析方法所能给人带来的智能程度，把分析能力划分为8个等级。回答: 发生了什么？什么时候发生的？示例：月度或季度财务报表我们都见过报表，它们一般是定期生成，用来回答在阅读全文

posted @ 2018-11-08 10:00 望穿秋水阅读(582) 评论(0) 推荐(0) 编辑

2018年11月6日

Windows Server 2016离线安装.NET Framework 3.5

摘要： windows server 2016默认是不安装.netframework3.5的，可以在添加删除程序中单独添加。但是有时候系统安装文件不在的时候，找不到安装程序就不能安装成功。这时候单独下载dotnetfx35直接安装是安装不上的，需要用一下方法进行单独安装：通过 NetFx3.cab 文件阅读全文

posted @ 2018-11-06 13:25 望穿秋水阅读(33930) 评论(1) 推荐(4) 编辑

2018年11月5日

VMware虚拟机配置端口转发（端口映射），实现远程访问【转】

摘要：前言本文所写的远程为各个电脑在同一个网段内本文主要详细介绍如何远程访问虚拟机里面的项目！机器：虚拟机（装在电脑1里）、电脑1（宿主机）、电脑2、电脑3、电脑4、电脑n... 操作步骤： step1：打开虚拟机，选择编辑--虚拟网络编辑器 step2：选择VMnet8，点击NAT设置，弹出一个设置阅读全文

posted @ 2018-11-05 19:30 望穿秋水阅读(1568) 评论(0) 推荐(0) 编辑

2018年10月30日

VS打开SSAS或SSIS报错的解决办法

摘要： Microsoft Visual Studio 无法加载类型为“Microsoft.AnalysisServices.Database, Microsoft.AnalysisServices.AppLocal, Version=14.0.0.0, Culture=neutral, PublicKey 阅读全文

posted @ 2018-10-30 13:46 望穿秋水阅读(1101) 评论(0) 推荐(0) 编辑

2018年8月17日

数据仓库事实表分类[转]

摘要： 1）在数据仓库领域有一个概念叫Transaction fact table，中文一般翻译为“事务事实表”。事务事实表是维度建模的数据仓库中三种基本类型事实表中的一种，另外两种分别是周期快照事实表和累积快照事实表。事务事实表与周期快照事实表、累积快照事实表使用相同的一致性维度，但是它们在描述业务事阅读全文

posted @ 2018-08-17 09:08 望穿秋水阅读(816) 评论(0) 推荐(0) 编辑