摘要:
Hive是数据库文件管理组件 Hive中存储的数据是以文件的形式存储,当使用Hive语法时(非常类似与SQL),Hive会呗转换成可执行的MapReduce作业,自动去执行 Hive的内容例子: 1,张三,男 2,李四,女 其中,“,”字段分割规则,在建表时定义,其他的“1”,“张三”,“男”都是字 阅读全文
摘要:
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456' WITH GRANT OPTION; 再执行下面的语句,方可立即生效(修改的权限即时生效)。mysql> FLUSH PRIVILEGES; 上面的语句表示 阅读全文
摘要:
Hive 语法和SQL的类似,但不完全一样,这里给出一个官方文档地址和转载一个优秀的教程(要问我为什么不写?要写完实在是太多了。。。) 官方DDL地址:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL 下面是转载的 阅读全文
摘要:
1.什么是hive Hive是基于Hadoop的数据仓库解决方案。由于Hadoop本身在数据存储和计算方面有很好的可扩展性和高容错性,因此使用Hive构建的数据仓库也秉承了这些特性。 简单来说,Hive就是在Hadoop上架了一层SQL接口,可以将SQL翻译成MapReduce去Hadoop上执行, 阅读全文
摘要:
1. 为什么集成mysql来替换Derby 默认情况下,Hive元数据保存在内嵌的Derby数据库中,只能允许一个会话连接,只适合简单的测试。实际生产环境中不使用,为了支持多用户会话, 则需要一个独立的元数据库,使用MySQL作为元数据库,Hive内部对MySQL提供了很好的支持。 2.在Ubunt 阅读全文
摘要:
1。首先将mysql的bind-address = 0.0.0.0这个配置改成0.0.0.0 我的mysql配置文件在/etc/mysql/my.cnf这个里面。大家可以根据自己的情况。 2。com.mysql.cj.core.exceptions.CJCommunicationsException 阅读全文
摘要:
日志部分内容: 解决: 修改 hive-site.xml 中所有包含 ${system:Java.io.tmpdir} 字段的 value 即路径(vim下 / 表示搜索,后面跟你的关键词,比如搜索 hello,则为 /hello , 再回车即可),你可以自己新建一个目录来替换它,例如 /app/h 阅读全文
摘要:
浏览HDFS网页时,404,然后去服务器看下果然发现没有datanode进程,然后去看下日志 日志部分内容: java.io.EOFException: End of File Exception between local host is: "ubuntu/127.0.1.1"; destinat 阅读全文
摘要:
虚拟主机的概念虚拟主机,就是把一台物理服务器划分成多个“虚拟”的服务器,每一个虚拟主机都可以有独立的域名和独立的目录nginx虚拟主机的配置nginx的虚拟主机就是通过nginx.conf中server节点指定的,想要设置多个虚拟主机,配置多个server节点即可先看一个最简单的虚拟主机配置示例se 阅读全文
摘要:
企业在解决高并发问题时,一般有两个方向的处理策略,软件、硬件,硬件上添加负载均衡器分发大量请求,软件上可在高并发瓶颈处:数据库+web服务器两处添加解决方案,其中web服务器前面一层最常用的的添加负载方案就是使用nginx实现负载均衡。 一、负载均衡的作用 1、转发功能 按照一定的算法【权重、轮询】 阅读全文