Smart_Data

导航

 

摘要: Hive本身是建立在Hadoop之上的用于处理结构化数据的数据仓库基础工具。它提供一系列的工具用于数据提取、转化、分析、加载。其提供类SQL语言HQL用于处理存储在Hadoop上的海量数据。所以,数据是在HDFS上,计算是MR/Spark,Hive自身并没有承担过多的压力。Hive不需要做集群。 1 阅读全文
posted @ 2018-02-05 18:38 Smart_Data 阅读(1302) 评论(0) 推荐(0) 编辑
 

摘要: 1、启动Hbase整个集群:$HBASE_HOME/bin/start-hbase.shbin/start-hbase.sh前者在服务器任意位置执行都ok,后者必须在安装路径下执行才有效,其实$HBASE_HOME的作用就是调用Hbase的安装路径 2、停止Hbase整个集群:$HBASE_HOME 阅读全文
posted @ 2018-01-30 16:44 Smart_Data 阅读(491) 评论(0) 推荐(0) 编辑
 

摘要: 一、硬件条件1、64位的操作系统大于4G的内存2、为了充分利用HDFS,建议把Hbase和Hadoop安装在一起(可以减少I/O的需求,加快处理速度)3、保证一定量的内存、磁盘和cpu资源4、给系统一定的空闲资源,不建议把内存全都给java进程二、服务器1、Hadoop和Hbase有两种类型的机器: 阅读全文
posted @ 2018-01-25 13:25 Smart_Data 阅读(376) 评论(0) 推荐(0) 编辑
 
摘要: 1、Hbase的数据存储在存储文件(store file)中,称为Hfile。 2、Hfile中存储的是经过排序的键值映射结构。文件内部由连续的块组成,块的索引信息存储在文件的尾部。 3、打开Hfile并加载到内存中时,索引的信息会优先加载到内存中,每个块的默认大小是64kb,可根据其需求配置不同的 阅读全文
posted @ 2018-01-25 13:22 Smart_Data 阅读(179) 评论(0) 推荐(0) 编辑
 
摘要: 一、HBase有哪些基本的特征HBase是类似于google的bigtable的开源实现,拥有以下特征:(1)、在HDFS之上(2)、 基于列存储的分布式数据库(3)、用于实时地读、写大规模数据集其他HBase的特性: (1)、没有真正的索引,行顺序存储,也没有所谓的索引膨胀问题。(2)、自动分区, 阅读全文
posted @ 2018-01-25 13:20 Smart_Data 阅读(551) 评论(0) 推荐(0) 编辑
 

摘要: Hadoop2.7.5+Hbase1.4.0完全分布式集群搭建一、在介绍完全分布式之前先给初学者推荐两本书:《Hbase权威指南》偏理论《Hbase实战》实战多一些 二、在安装完全分布式之前应该对他们的概念有个简单的认知:1、Hadoop擅长存储任意的、半结构化的,甚至是结构化的数据,几乎是现在所有 阅读全文
posted @ 2018-01-23 13:23 Smart_Data 阅读(419) 评论(0) 推荐(1) 编辑
 

摘要: 尬聊...... 在干活之前先尬聊一会儿 丸子我在10月下旬左右就开始弄power BI连接SSAS进行权限控制的问题,中间也是历经波折,看了网上很多资料,可是都是SSAS怎么进行权限控制,没有SSAS过度到Power BI的,那期间叫一个惨啊!客户领导催我们领导,我们领导就拼命地催我,连续加一周的 阅读全文
posted @ 2017-11-17 17:14 Smart_Data 阅读(4369) 评论(4) 推荐(0) 编辑
 

摘要: Power BI安装环境要求 Windows 7/Windows Server 2008 R2 或更高版本 .NET 4.5 或更高版本 Internet Explorer 9 或更高版本 内存 (RAM):可用量至少为 1 GB,建议量为 1.5 GB 或以上。 显示:建议分辨率至少为 1440x 阅读全文
posted @ 2017-11-16 09:22 Smart_Data 阅读(11012) 评论(8) 推荐(0) 编辑
 

2018年6月12日

摘要: xgboost安装教程 注意:由于xgboost最新版本已经不支持 visual stdio build的方法了,所以网上很多教程都很鸡肋;还有很多教程里面让安装GCC,要是你是Win10的话就不用安装GCC,因为win10已经有了c++编译器 安装流程: 1、下载安装包,千万不要下载csdn里面的 阅读全文
posted @ 2018-06-12 15:02 Smart_Data 阅读(1048) 评论(0) 推荐(0) 编辑