摘要：
在安装完hive之后（hadoop-2.10.0安装hive-2.3.6），已经迫不及待的想尝试一下hive的一些用法，我们最常用的就是直接输入hive回车，使用的是cli（Command Line Interface ）模式，下面介绍一下hive的使用以及一些常用的命令 1.首先查看hive帮助， 阅读全文
摘要：
公司建立数仓，hive是必不可少的，hive是建立在hadoop基础上的数据库，前面已经搭建起了hadoop高可用，要学习hive，先从搭建开始，下面梳理一下hive搭建过程 1.下载hive安装包 ，下载地址：https://hive.apache.org/downloads.html 找到自己h 阅读全文
摘要：
mysql是我们最常用的开源的关系型数据库，mysql不同版本有时候安装的方式也不尽相同，下面以mysql5.7.28版本为例梳理一下安装细节： 1.下载mysql-5.7.28，URL：https://downloads.mysql.com/archives/community/ 我这里下载的是6 阅读全文
摘要：
mysql是我们最常用的开源的关系型数据库，mysql不同版本有时候安装的方式也不尽相同，mysql-5.5和mysql-5.6安装大致相同，下面以mysql5.5.62版本为例梳理一下安装细节： 1.下载mysql5.5.62，URL：https://downloads.mysql.com/arc 阅读全文
摘要：
本篇介绍在centos7中搭建hadoop2.10高可用集群，首先准备6台机器：2台nn(namenode);4台dn(datanode)；3台jn(journalnode)；3台zk(zookeeper) IP hostname 进程 192.168.30.141 s141 nn1（namenod 阅读全文
摘要：
本篇介绍在centos7中大家hadoop2.10完全分布式，首先准备4台机器：1台nn(namenode);3台dn(datanode) IP hostname 进程 192.168.30.141 s141 nn（namenode） 192.168.30.142 s142 dn（datanode） 阅读全文
摘要：
作为开发人员，我们在选择一个框架或者工具时，我们都需要考虑些什么，我们不是头脑发热，一拍脑袋就它了，我们首先要认清这个框架或工具的作用是什么，能给我们带来什么样的好处，同时也要考虑带来什么样的负面结果，我们在使用时才能更好的扬其长避其短，kafka大家可能都不陌生，到底我们为什么选择kafka呢？ 阅读全文
摘要：
1.准备一台Vmware虚拟机，添加hdfs用户及用户组，配置网络见 https://www.cnblogs.com/qixing/p/11396835.html 在root用户下 添加hdfs用户，并设置密码： 将hdfs用户添加到hdfs用户组中 前面一个hdfs是组名，后面一个hdfs是用户名 阅读全文
摘要：
在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具，可以说是一款很强大的http命令行工具。它支持文件的上传和下载，是综合传输工具，但按传统，习惯称url为下载工具。然而在使用crul下载https方式的文件时报错： 在访问https方式的URL时，一般需要证书才能访问，我们可以 阅读全文
摘要：
刚安装的centos7一般只有vi可以用，vim是没有安装的，如果我们想使用的话，需要我们自己去安装，可以使用如下命令进行安装： 安装之后就可以正常使用 阅读全文
摘要：
在Java开发是我们大多都使用集成开发环境，像idea和eclipse用的都比较多，在使用idea maven构建项目时，在修改pom.xml文件时，我们的项目jdk版本都会回退，还得每次去设置中修改jdk版本，如下： settings设置jdk版本： project structure设置jdk版 阅读全文
摘要：
在使用git提交项目时，有时候会误提交一下文件，比如：*.iml，*.project，*.settings，.idea/*等文件，有时候这些不需要提交的文件可以加入到.gitignore，在提交的时候可以忽略这些文件，但是有时候我们忘记，就会出现误提交一些文件，这时就需要我们删除误提交的文件，下面是 阅读全文
摘要：
在java中使用https访问数据时报异常： 需要使用keytool工具，将对应域名的证书导入到jdk的cacerts中，这个证书可以是*.crt，*.cer等证书 cacerts包含了很多CA证书，位置在Java的安装目录： Java\jdk1.8.0_181\jre\lib\security\c 阅读全文
摘要：
1.安装Nginx编译所依赖的包 正常centos中可以使用yum安装一下依赖包： 依赖包说明： 1、编译依赖 gcc 环境，所以需要：gcc gcc-c++; 2、PCRE(Perl Compatible Regular Expressions) 是一个Perl库，包括 perl 兼容的正则表达式 阅读全文
摘要：
在使用parquet-hadoop.jar包解析parquet文件时，遇到decimal类型的数据为乱码，具体解决方法如下： 使用parquet-Hadoop.jar解析httpfs服务提供的parquet文件，代码如下： parquet文件timestamp类型实际为INT96类型，decimal 阅读全文