03 2017 档案
摘要：问题的由来 我这里，是因为，拿这个Ambari Metrics服务在做试验！所以先删除它，再添加它，出现了安装被挂起的问题.... Am bari里如何删除某指定的服务（图文详解） 问题详细描述如下： Metrics Collector的解决办法 正在重新安装 Metrics Monitor的解决办
阅读全文
摘要：不多说，直接干货！ Ambari 借鉴了很多成熟分布式软件的 API 设计。Rest API 就是一个很好地体现。通过 Ambari 的 Rest API，可以在脚本中通过 curl 维护整个集群。并且，我们可以用 Rest API 实现一些无法在 Ambari GUI 上面做的操作。 目前 Amb
阅读全文
摘要：首先，我的问题是如下: 我这里采取的是先删除，再添加服务的方式。 Ambari里如何删除某指定的服务（图文详解） 解决办法 https://community.hortonworks.com/questions/15818/ambari-metrics-collector-now-starting.
阅读全文
摘要：无论用YARN cluster和YARN client来跑，均会出现如下问题。 解决思路 第一种解决版本：首先想到是集群中内存资源不足，可以检查下每台机器是否有足够剩余内存( free -g)；也可能是其他已经提交的Spark应用占了大部分资源； 第二种解决办法：如果1>正常，我们可以看看YARN集
阅读全文
摘要：REPL Read-Eval-Print-Loop，即交互式shell，以交互式方式来编程 Spark REPL $SPARK_HOME/bin/spark-shell(scala) $SPARK_HOME/bin/pyspark(python) 其他 Spark shell Spark的scala
阅读全文
摘要：摘要 在Spark中，有Yarn-Client和Yarn-Cluster两种模式可以运行在Yarn上，通常Yarn-cluster适用于生产环境，而Yarn-Cluster更适用于交互，调试模式，以下是它们的区别 Spark插拨式资源管理 Spark支持Yarn,Mesos,Standalone三种
阅读全文
摘要：不多说，直接上干货！ Spark Standalone的几种提交方式 别忘了先启动spark集群！！！ spark-shell用于调试，spark-submit用于生产。 1.spark-shell client 2.spark-submit cluster Spark on YARN的几种提交方式
阅读全文
摘要：前期博客 Spark on YARN模式的安装（spark-1.6.1-bin-hadoop2.6.tgz + hadoop-2.6.0.tar.gz）（master、slave1和slave2）（博主推荐） Spark运行模式概述 Spark On YARN模式 这是一种很有前景的部署模式。但限于
阅读全文
摘要：说白了 Spark on YARN模式的安装，它是非常的简单，只需要下载编译好Spark安装包，在一台带有Hadoop YARN客户端的的机器上运行即可。 Spark on YARN简介与运行wordcount（master、slave1和slave2）（博主推荐） Spark on YARN分为两
阅读全文
摘要：前期博客 Spark运行模式概述 Spark standalone简介与运行wordcount（master、slave1和slave2） 开篇要明白 （1）spark-env.sh 是环境变量配置文件 （2）spark-defaults.conf （3）slaves 是从节点机器配置文件 （4）m
阅读全文
摘要：第一步： Ambari安装之Ambari安装前准备(CentOS6.5）（一） 第二步： Ambari安装之部署本地库（镜像服务器）（二） 第三步： Ambari安装之安装并配置Ambari-server（三） 第四步： Ambari安装之部署hdp单节点集群 第五步： Ambari安装之部署3个节
阅读全文
摘要：前期博客 大数据领域两大最主流集群管理工具Ambari和Cloudera Manger Ambari架构原理 Ambari安装之Ambari安装前准备(CentOS6.5）（一） Ambari安装之部署本地库（镜像服务器）（二） 部署hdp单节点集群 （1）部署Agent 1) 注册并安装agent
阅读全文
摘要：前期博客 Ambari安装之部署单节点集群 其实，按照这个步骤是一样的。只是按照好3个节点后，再做下HA即可。 部署3个节点的HA分布式集群 （1）添加机器 和添加服务的操作类似，如下图 之后的添加ambari03、ambari04操作就和部署ambari02类似，可以参照前面的步骤。这里不多赘述。
阅读全文
摘要：部署本地库（镜像服务器） （1）下载HortWorks官网上的3个库到本地（也可以在线下载，但是速度会很慢） 我们先把hortworks官网上需要下载的3个库下载到本地（这个还是需要很长时间的，当然你也可以在线下载，通过wget但是由于文件比较大，所以下载会非常慢）然后把他上传到我们的镜像服务器上。
阅读全文
摘要：不多说，直接上干货！ 前期博客 Ambari安装之部署本地库（镜像服务器）（二） 安装并配置Ambari-server （1）检查仓库是否可用 （2）安装Ambari-server （3）配置Ambari-server 注意： 如果你是root用户，则这里就写root （推荐） 好比我这里是hado
阅读全文
摘要：优秀博客 《Ambari——大数据平台的搭建利器》 Ambari安装前准备 （一）机器准备 192.168.80.144 ambari01 （部署Ambari-server和Mirror server） （分配1G，我这里只是体验过程，当然你可以分配更多或更小) 192.168.80.145 amb
阅读全文
摘要：不多说，直接上干货！ Ambari 架构原理图 通过三张图来说明： 第一张架构图告诉我们：Ambari是Hortonworks贡献给社区的、完全开源的、Hadoop生态的集群管理、监控、部署的工具： 第二张架构图告诉我们： 第三张架构图是第二张图的简化： 欢迎大家，加入我的微信公众号：大数据躺过的坑
阅读全文
摘要：前期博客 Spark standalone模式的安装（spark-1.6.1-bin-hadoop2.6.tgz）（master、slave1和slave2） Spark运行模式概述 1. Standalone模式 即独立模式，自带完整的服务，可单独部署到一个集群中，无需依赖任何其他资源管理系统。从
阅读全文
摘要：不多说，直接上干货！ 目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN，其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来发展的趋势，部分容错性和资源管理交由统
阅读全文
摘要：1：启动Elasticsearch2：bin/logstash -e 'input { stdin { } } output { elasticsearch { host => localhost } }'3：访问url验证http://localhost:9200/ 继续
阅读全文
摘要：前期博客 Logstash安装和设置（图文详解）（多节点的ELK集群安装在一个节点就好） Filebeat啊，根据input来监控数据，根据output来使用数据！！！ 请移步， Filebeat之input和output（包含Elasticsearch Output 、Logstash Outpu
阅读全文
摘要：对于Kibana ，我们知道，是Elasticsearch/Logstash/Kibana的必不可少成员。 第一步:进入Elasticsearch的官网 https://www.elastic.co/ 第二步：点击downloads https://www.elastic.co/downloads
阅读全文
摘要：第一步:进入Elasticsearch的官网 https://www.elastic.co/ 第二步：点击downloads https://www.elastic.co/downloads 第三步：选择Logstash https://www.elastic.co/downloads/logsta
阅读全文
摘要：前提博客 https://i.cnblogs.com/posts?categoryid=972313 Filebeat啊，根据input来监控数据，根据output来使用数据！！！ Filebeat的input 通过paths属性指定要监控的数据 Filebeat的output 1、Elastics
阅读全文
摘要：filebeat.yml，是在filebeat安装目录。 filebeat.yml（中文配置详解）
阅读全文
摘要：前期博客 Filebeat的下载（图文讲解） 前提 Elasticsearch-2.4.3的下载（图文详解） Elasticsearch-2.4.3的单节点安装（多种方式图文详解） Elasticsearch-2.4.3的3节点安装（多种方式图文详解） Logstash安装（图文详解）（多节点的EL
阅读全文
摘要：第一步:进入Elasticsearch的官网 https://www.elastic.co/ 第二步：点击downloads https://www.elastic.co/downloads 第三步：选择Filebeat https://www.elastic.co/downloads/beats
阅读全文
摘要：项目由来 （1）开发人员不能登录线上服务器查看详细日志，经过运维周转费时费力 （2）日志数据分散在多个系统，难以查找与整合 （3）日志数据量巨大，查询速度太慢，无法满足需求 （4）无法全局掌控项目运行状况 （5）日志数据查询不够实时 （6）数据分析人员不会写代码，无法分析统计数据 （7）......
阅读全文
摘要：1：es集群脑裂问题(不要用外网ip，节点角色不要混用) 原因1：阿里云服务器，外网有时候不稳定。 解决方案：单独采购服务器，内网安装 原因2：master和node节点没有分开 解决方案： 分角色：master节点(三台)，data节点(随着数据增加而增加)，client(随着查询压力而增加)节点
阅读全文
摘要：其实，elasticsearch5.x 和 elasticsearch2.x 并不区别很大。 是因为，ELK里之前版本各种很混乱，直接升级到5.0了。 其实，elasticsearch5.x 按理来说是elasticsearch3.x，只是为了跟随ELK整体版本的统一。 下面给大家介绍一下 5.0
阅读全文
摘要：Elasticsearch之插件介绍及安装 Elasticsearch之head插件安装之后的浏览详解 Elasticsearch之kopf插件安装之后的浏览详解 Elasticsearch-2.4.3的3节点安装（多种方式图文详解）（含 head、kopf和marvel插件安装） Elastics
阅读全文
摘要：后续更新
阅读全文
摘要：前期博客 Elasticsearch-2.4.3的3节点安装（多种方式图文详解）（含 head、kopf、marvel、shield和watcher插件安装和使用） 访问es：-u es_admin 表示使用用户es_admin进行访问 访问的会提示输入刚才设置的密码。（我刚才输入的密码是12345
阅读全文
摘要：前期博客是 Elasticsearch之源码编译 Elasticsearch之源码编译 （1）elasticsearch在建立索引时，根据id或(id,类型)进行hash，得到hash值之后再与该索引的分片数量取模，取模的值即为存入的分片编号。源码：org.elasticsearch.cluster
阅读全文
摘要：前期博客 Elasticsearch之下载源码 步骤 （1）首先去git下载源码 https://github.com/elastic/elasticsearch/tree/v2.4.3 下载下来，得到 解压 （2）使用mvn编译打包 我一般，用maven 3.3.9版本，这里不多说。 如果，mav
阅读全文
摘要：（1）在使用java代码操作es集群的时候 要保证本地使用的es的版本和集群上es的版本保持一致。 （2）保证集群中每个节点的JDK版本和es基本配置一致 这个很简单，不多说。 （3）es集群中jdk版本不一致 可能会导致这个问题：org.elasticsearch.transport.Remote
阅读全文
摘要：最近因为，科研需要，接触上了Nagios，这里，我将安装笔记做个详解。为自己后续需要和博友们学习！ VMware workstation 11 的下载 VMWare Workstation 11的安装 CentOS 6.5的安装详解 CentOS下的防火墙关闭 CentOS 6.5静态IP的设置（N
阅读全文
摘要：REST 简介-定义 REST (REpresentation State Transfer)描述了一个架构样式的网络系统，比如 web 应用程序。它首次出现在 2000 年 Roy Fielding 的博士论文中，他是 HTTP 规范的主要编写者之一。REST 指的是一组架构约束条件和原则。满足这
阅读全文
摘要：前提 Elasticsearch-2.4.3的下载（图文详解） Elasticsearch-2.4.3的单节点安装（多种方式图文详解） Elasticsearch-2.4.3的3节点安装（多种方式图文详解） Logstash-2.4.1的下载（图文详解） Logstash是一个管理日志和事件的工具。
阅读全文
摘要：问题一： [2016-11-06T16:27:21,712][WARN ][o.e.b.JNANatives ] unable to install syscall filter: Java.lang.UnsupportedOperationException: seccomp unavailabl
阅读全文
摘要：ElasticSearch的Web管理 或者 其他两台，自行去演示。不多赘述。 Kibana的Web管理 或者 比如我这里， http://192.168.80.145:5601/app/marvel
阅读全文
摘要：前提： Elasticsearch-2.4.3的下载（图文详解） Elasticsearch-2.4.3的单节点安装（多种方式图文详解） Elasticsearch-2.4.3的3节点安装（多种方式图文详解） Kibana安装（图文详解）（多节点的ELK集群安装在一个节点就好） 或者 kibana-
阅读全文
摘要：对于Kibana ，我们知道，是Elasticsearch/Logstash/Kibana的必不可少成员。 前提： Elasticsearch-2.4.3的下载（图文详解） Elasticsearch-2.4.3的单节点安装（多种方式图文详解） Elasticsearch-2.4.3的3节点安装（多
阅读全文
摘要：前提 Elasticsearch之插件介绍及安装 https://i.cnblogs.com/posts?categoryid=950999&page=2 （强烈建议，从头开始看） 比如，我的这里是 1、概览 若大家，在这一步，出现了。 则， Kibana里No Marvel Data Found问
阅读全文
摘要：ElasticSearch vs Lucene的关系，简单一句话就是，成品与半成品的关系。 （1）Lucene专注于搜索底层的建设，而ElasticSearch专注于企业应用。 （2）Luncene是单节点的API，ElasticSearch是分布式的。 （3）Luncene需要二次开发，才能使用。
阅读全文
摘要：主要分为如下几点： 1.站内搜索：主要和 Solr 竞争，属于后起之秀。 2.NoSQL Json文档数据库：主要抢占 Mongo 的市场，它在读写性能上优于 Mongo ，同时也支持地理位置查询，还方便地理位置和文本混合查询。 3.监控：统计、日志类时间序的数据存储和分析、可视化，这方面是引领者。
阅读全文
摘要：它的位置非常清晰，直接贴图。 更详细点，见
阅读全文
摘要：ElasticSearch 工作原理图 文字说明，以后更新
阅读全文
摘要：它们之间的关系，如下图所示。
阅读全文
摘要：ElasticSearch 架构图 从下往上来分析ElasticSearch 架构图 Gateway代表ElasticSearch索引的持久化存储方式。 在Gateway中，ElasticSearch默认先把索引存储在内存中，然后当内存满的时候，再持久化到Gateway里。当ES集群关闭或重启的时候
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege ElasticSearc
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege Solr （1）是Apa
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege lucene （1）是一
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege ElasticSearc
阅读全文
摘要：不多说，直接上干货！ 福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 官
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 不多说，直接上干货！ 从
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 为什么，我要在这里提出要
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 其实啊，将spark的压
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 前言 本人呕心沥血所写，
阅读全文
摘要：遇到这个其实不难解决！ 福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 分桶是细粒度的，分桶是不
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 无论是hadoop、sp
阅读全文
摘要：福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 欢迎大家，加入我的4个微
阅读全文
摘要：不多说，直接上干货！ 福利 => 每天都推送 欢迎大家，关注微信扫码并加入我的4个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 Java全栈大联盟 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 首
阅读全文
摘要：这个很简单。 前期博客，请移步： Eclipse下Maven新建项目、自动打依赖jar包（包含普通项目和Web项目） 截图示范：
阅读全文
摘要：为什么会提出这个问题呢？ 答：因为啊，比如我们在大数据集群搭建的时候，经常会需要配置环境变量，如/etc/profile。那么，问题来了，每次必须得都切换到root用户才能，但是呢，如何可以在普通用户比如，在hadoop用户或spark用户，就可以了呢？ 解决办法 方式一：得先配置visudo 进入
阅读全文
摘要：补充 其实啊，我们知道，sqoop在运行的时候，最终会去转换成mapreduce作业，这个很简单，不多赘述。直接贴出来。 具体这些怎么运行的，见我如下这篇博客。这里只做一个引子。 Sqoop Import HDFS 和 Sqoop Export HDFS（五） 因为，我一般是在/usr/local/
阅读全文
摘要：Sqoop 可以与HBase系统结合，实现数据的导入和导出，用户需要在 sqoop-env.sh 中添加HBASE_HOME的环境变量。 具体，见我的如下博客： hadoop2.6.0（单节点）下Sqoop-1.4.6安装与配置（数据读取涉及hadoop、hbase和hive） hadoop2.2.
阅读全文
摘要：Sqoop 可以与Hive系统结合，实现数据的导入和导出，用户需要在 sqoop-env.sh 中添加HIVE_HOME的环境变量。 具体，见我的如下博客： hadoop2.6.0（单节点）下Sqoop-1.4.6安装与配置（数据读取涉及hadoop、hbase和hive） hadoop2.2.0（
阅读全文
摘要：本博文的主要内容有 .SQLyog的下载 .SQLyog的安装 .SQLyog的使用 1、SQLyog_Enterprise的下载 比如，我这里，是放在D:\SoftWare 继续
阅读全文
摘要：这里，为什么要写这篇博客呢？ 对于SQLyog普通版而言，只能复制到不同的数据库里，这样显得麻烦，当然，你也可以用语句来操作达到实现目的。 具体做法： MySQL复制旧表的结构及数据到新表 CREATE TABLE 新表 SELECT * FROM 旧表,实例如下： 比如，我的这里的旧表是在hive
阅读全文
摘要：问题详情如下： 解决办法 这个是由于mysql-connector-java的bug造成的，出错时我用的是mysql-connector-java-5.1.10-bin.jar，更新成mysql-connector-java-5.1.32-bin.jar就可以了。 mysql-connector-j
阅读全文
摘要：问题详情： 无法插入中文？ 解决办法： 需要修改编码格式，由默认的latin1改为utf8。 改成， 成功！
阅读全文
摘要：不多说，直接上干货！ 1、Sqoop Import （进入官网） 因为，sqoop的使用方式是： sqoop COMMAND ARGS。 以下是 sqoop COMMAND ARGS 以下是 sqoop COMMAND ARGS 所以，sqoop COMMAND ARGS 是 2、Sqoop Exp
阅读全文
摘要：Sqoop Export原理 Sqoop Export详细流程讲解
阅读全文
摘要：Sqoop Import原理 Sqoop Import详细流程讲解 Sqoop在import时，需要指定split-by参数。Sqoop根据不同的split-by参数值来进行切分，然后将切分出来的区域分配到不同map中。 每个map中再处理数据库中获取的一行一行的值，写入到HDFS中(由此也可知，导
阅读全文
摘要：不多说，直接上干货！ Sqoop 的基本架构图 注意： Sqoop，只需map task就可以了，因为，它只是做数据传输，不需做数据处理。
阅读全文
摘要：1）大部分企业还在使用sqoop1版本 2）sqoop1能满足公司的基本需求 3）sqoop2 功能还不是很成熟和完善 4）sqoop只是一个工具而已，相对比较简单
阅读全文
摘要：1、sqoop1和sqoop2是两个不同的版本，它们是完全不兼容的。 2、版本划分方式：Apache 1.4.x 之后的版本属于sqoop1,1.99.x之上的版本属于sqoop2。 3、与sqoop1相比，sqoop2的优势: 1）它引入的sqoop Server，便于集中化的管理Connecto
阅读全文
摘要：1、sqoop可以高效的可控的利用资源，比如它可以通过调整任务数，来控制任务的并发度，另外还可以配置数据库的访问时间等等 2、sqoop能自动的完成数据类型的映射与转换 3、它支持多种数据库，比如mysql oracle，postgresql
阅读全文
摘要：如下，是用maven构建项目，本篇博文重点不是这个。初学者（小白）变成小鸟后，建议开始用maven啦！ Eclipse下Maven新建项目、自动打依赖jar包（包含普通项目和Web项目） HBase 开发环境搭建（Eclipse\MyEclipse + Maven） MapReduce 开发环境搭建
阅读全文
摘要：问题详细如下： 解决办法： 注意：不要出现，如下的拼写错误！ 成功！ 请移步，见 Hadoop概念学习系列之搭建（windows）Eclipse/MyEclipse远程操作（Linux上）hadoop2.2.0/hadoop2.6.0 出错集（三十五）
阅读全文
摘要：问题描述如下： 出现此问题可能是zookeeper不稳定造成的，采用的是虚拟机，经常挂起的状态，使用hbase的list命令出现下面错误，这个可能是hbase的稳定性造成的，解决办法有两种。这里使用第一种办法就解决了。 解决方法：1.重启hbase stop-hbase.sh stop-hbase.
阅读全文
摘要：Hive不在主节点上搭建，我这里是在HadoopSlave1上。
阅读全文
摘要：前言 大家在搭建hadoop集群时，第一次格式化后，一路要做好快照。别随便动不动缺少什么进程，就来个格式化。 问题描述：启动hadoop时报namenode未初始化：java.io.IOException: NameNode is not formatted. 同时，若单独启动namenode，则出
阅读全文
摘要：伪分布模式下,如(weekend110)hbase-env.sh配置文档中的HBASE_MANAGES_ZK的默认值是true，它表示HBase使用自身自带的Zookeeper实例。但是，该实例只能为单机或伪分布模式下的HBase提供服务。 若是分布式模式，则需要配置自己的Zookeeper集群。如
阅读全文
摘要：HBase的多节点集群详细启动步骤（3或5节点）分为： 1、HBASE_MANAGES_ZK的默认值是false（zookeeper外装）（推荐） 2、HBASE_MANAGES_ZK的默认值是true（zookeeper自带） 1、HBASE_MANAGES_ZK的默认值是false（推荐） 伪分
阅读全文
摘要：见，如下博客 hadoop-2.2.0.tar.gz的伪分布集群环境搭建(单节点) 很简单，不多赘述。
阅读全文
摘要：版本1 利用自己写的脚本来启动，见如下博客 hadoop-2.6.0-cdh5.4.5.tar.gz(CDH)的3节点集群搭建 hadoop-2.6.0.tar.gz的集群搭建（3节点） hadoop-2.6.0.tar.gz的集群搭建（5节点） 版本2 第一步：见zookeeper启动 Zooke
阅读全文
摘要：说在前面的话， 在这里，推荐大家，一定要先去看这篇博客，如下 再谈hive-1.0.0与hive-1.2.1到JDBC编程忽略细节问题 Hadoop Hive概念学习系列之hive三种方式区别和搭建、HiveServer2环境搭建、HWI环境搭建和beeline环境搭建（五） 版本1 先启动hado
阅读全文
摘要：这个很简单，见如下博客。 1 week110的zookeeper的安装 + zookeeper提供少量数据的存储 [hadoop@weekend110 zookeeper-3.4.6]$ pwd/home/hadoop/app/zookeeper-3.4.6[hadoop@weekend110 zo
阅读全文
摘要：分为 （1）分别去3或5节点上去启动Zookeeper进程 （2）自己写个脚本，直接在主节点上去启动Zookeeper进程。 （1）分别去3或5节点上去启动Zookeeper进程 第一步： [hadoop@HadoopMaster zookeeper-3.4.6]$ pwd/home/hadoop/
阅读全文
摘要：不多说，直接上干货，这个问题一直迷惑已久，今天得到亲身醒悟。 所以，建议hadoop-2.6.0.tar.gz的用户与hive-1.0.0搭配使用。当然，也可以去用高版本去覆盖它。 log4j:WARN No appenders could be found for logger (org.apac
阅读全文
摘要：创建带有IN类型参数的存储过程 我们经常要从数据表中删除记录，一般情况我们删除记录都是根据id来删除的，比如我们通常要输入DELETE FROM 表名 WHERE 后面跟上我们的条件，因为我们要经常写这个语句，那么我们就可以将这个语句封装成一个存储过程，比如我们以users表为例，我们先来看一下us
阅读全文
摘要：创建无参的存储过程 这节我们主要来学习Mysql数据库的存储过程，我们知道我们要经常的对数据表进行增删改查的操作，或者叫CURD，实际上，当我们成功的输入SQL命令时，mysql引擎会对输入的命令进行语法分析，来检查一下我们的sql命令是否正确，如果正确的话，将会进行编译，编译成mysql引擎能够识
阅读全文
摘要：MySQL自定义函数 一、什么是MYSQL自定义函数？ mysql当中的自定义函数，我们简称为UDF，它实际上是一种对MySQL扩展的途径，其用法与内置函数相同。 二、自定义函数应该具备哪些条件？ 我们先来回想一下内置函数是怎么使用的，首先函数一定要有一个名字，还有每个函数后面都有一个小括号，小括号
阅读全文
摘要：聚合函数 下面我们来简单学习一下聚合函数。 聚合函数有一个很明显的特点，就是只有一个返回值。 下面我们一一的做一下演示。 1、AVG()函数 比如我们求一下3，4,5的平均值，我们输入SELECT AVG(3，4，5); 它的意思就是这个函数应该用在某张数据表的一些信息，比如我们计算一下test表中
阅读全文
摘要：加密函数 下面我们来看一下最后一类函数，加密函数，这里我们只罗列了两个。 1、MD5()函数 实际上MD5不能叫加密函数，更确切应该是摘要算法，那么具体什么是摘要算法，什么是加密，大家感兴趣的可以自己了解一下。 下面我们简单的演示一下，比如我们输入SELECT MD5('admin')；我们对adm
阅读全文
摘要：信息函数 下面我们来看一下信息函数，在信息函数当中，有下面几个比较常见的 下面我们一个一个来给大家简单演示一下。 1、CONNECTION_ID()函数 比如我们输入select CONNECTION_ID(); 当然不同的用户连接ID肯定是不一样的，因为肯定是多线程的。 2、DATABASE()函
阅读全文
摘要：日期时间函数 下面我们来看一下日期时间类的函数，日期时间函数比较多，这里给大家讲解几个比较重要，比较常用的函数。 1、NOW()函数 它的作用就是打印当前的日期和时间，比如我们输入select now();就会显示当前的日期和时间。 分别表示当前日期和当前时间，我们直接输入select curdat
阅读全文
摘要：下面我们来看一下比较运算符和函数 1、[NOT] BETWEEN…AND… [不]在范围之内 比如我们输入select 2 between 1 and 3; 结果是1，也就是表示是，我们再输入select 1 between 2 and 3; 返回的是0，就表示不在里边。 我们再输入select 2
阅读全文
摘要：这一节我们来看一下常见的数值运算符和函数。 数值运算符就是我们常见的加减乘除，都属于典型的数值运算符，比如我们输入select 1+2；结果显示3，这些都是比较简单的，大家自己练习一下就行。 下面我们详细的看一下表中的几个函数。 1、 ceil（）函数 它指的是向上取整，也叫进一取整，我们举个例子，
阅读全文
摘要：这章我们主要来学习Mysql数据库当中的运算符和函数，根据功能的不同，可以划分为 以下几种： （1）字符函数 （2）数值运算符与函数 （3）比较运算符与函数 （4）日期时间函数 （5）信息函数 （6）聚合函数 （7）加密函数 首先我们来看一下字符函数 我们先来看前两个，concat和concat_w
阅读全文
摘要：多表删除的语法结构 DELETE tbl_name[.*] [,tbl_name[.*]]… FROM table_references [WHERE where_condition] 我们还以商品表为例，我们再来查看一下表里的记录，我们输入SELECT * FROM tdb_goods\G; 那么
阅读全文
摘要：无限级分类表设计 实际上我们在开发过程中，就拿商品类别来说，它还可以有更多的延伸，我们先来举一个简单的例子，比如图书，他的下面还可以分小说、文学等，在小说下面还可以分为言情小说、科幻小说等，还可以再往下一级一级继续分，那么这种分类就属于无限极分类，那么无限极分类表该如何去设计，理论上说我们可以设计很
阅读全文
摘要：多表连接 前面我们演示的是两张表的连接，那么可不可以3张表或更多的表进行连接呢？当然是可以的。实际上他和两张表的连接是基本相同的。 下面我们就以商品表、商品类别表、商品品牌表为例来给大家做一下演示。操作命令及部分结果如下。 a、b和c都是别名。 我们发现是这样一个结果，跟我们最初查看商品表的信息基本
阅读全文
摘要：外连接OUTER JOIN 1 LEFT [OUTER] JOIN,左外连接 显示左表的全部记录及右表符合连接条件的记录 下面我们来演示一下，操作命令及部分结果如下： 现在我们发现一共得到了23条记录，我们来看一下第23条记录，我们发现他的商品分类为NULL，所以说左外连接就是左表的全部和右表中符合
阅读全文
摘要：内连接INNER JOIN 一、连接 MySQL的SELECT语句、多表更新、多表删除语句中支持JOIN操作。 语法结构 二、数据表参照 table_reference tbl_name [[AS] alias] | table_subquery [AS] alias 数据表可以使用tbl_name
阅读全文
摘要：一、多表更新的语法结构 UPDATE table_references SET col_name1={expr1 | DEFAULT} [,col_name2={expr2 | DEFAULT}] … [WHERE where_condition] 二、表的参照关系的语法结构 table_refer
阅读全文
摘要：前面，我们在谈INSERT语句时，使用两种语句：INSERT…SELECT 和 INSERT…VALUES。 INSERT…SELECT可以使用子查询。因为在写SELECT时。 *** = ***，这就是子查询。 我们还以tdb_goods这张表为例，这张表目前一共有22条数据，但是这22条数据中有
阅读全文
摘要：一、什么是子查询？ （1）子查询（Subquery）是指出现在其他SQL语句内的SELECT子句 例如:SELECT * FROM t1 WHERE col1=(SELECT col2 FROM t2);其中SELECT * FROM t1,称为Outer Query/Outer Statement
阅读全文
摘要：前提 具体该怎么创建表，该如何插入数据，数据在哪里？请如下。 1.子查询是指在另一个查询语句中的SELECT子句。 例句： SELECT * FROM t1 WHERE column1 = (SELECT column1 FROM t2); 其中，SELECT * FROM t1 ...称为Oute
阅读全文
摘要：一、LIMIT 限制查询结果返回的数量 [LIMIT {[offset,] row_count | row_count OFFSET offset}] 除了可以对记录进行排序，还可以限制记录返回的数量，我们使用limit关键词，比如我们要查找user表中的前3条记录。操作命令及结果如下： 3表示我们
阅读全文
摘要：之前啊，我们提及到，对于update和delete，若不带where条件，则对所有记录都有效。 一、WHERE条件表达式 （1）对记录进行过滤，如果没有指定WHERE子句，则显示所有记录。 （2）在WHERE表达式中，可以使用MYSQL支持的函数或运算符。 比如update语句和delete语句都可
阅读全文
摘要：我们常常听说，数据表中的select占到SQL语句的80%，一点都不夸张。 一、什么是查询表达式？ （1）查询表达式表示你想要的某一列，必须至少有一列 （2）多个列之间用英文逗号分割 （3）星号（*）表示所有列，tbl_name.*可以表示命名表的所有列 （4）查询表达式可以使用[AS] alias
阅读全文
摘要：当把记录写成功之后，也许我们还会如下操作。比如，记录在书写的过程中字段是错误的。或者，我们想改下字段值。那么，我们需要update关键字。 update分为单表更新和多表更新。 一、UPDATE语句 UPDATE语句其实有两种方式，分别是单表更新和多表更新，多表更新等到后面我们学完连接以后再去学习，
阅读全文
摘要：插入记录INSERT 我们先来看第一个操作：INSERT 实际上在mysql当中一共存在着3种不同的insert语句，我们先来看第一种。它的语法结构如下： 一、插入记录 INSERT [INTO] tbl_name [(col_name,…)] {VALUES | VALUE} ({expr | D
阅读全文
摘要：一、修改列定义的语法结构 ALTER TABLE tbl_name MODIFY [COLUMN] col_name col_definition [FIRST | AFTER col_name] 比如我们修改user2表中id字段的数据类型为tinyint。 二、修改列名称的语法结构 ALTER
阅读全文
摘要：一、删除主键约束的语法结构 ALTER TABLE tbl_name DROP PRIMARY KEY 比如我们删除user2表中id字段上的主键约束 alter table user2 drop primary key; show columns from user2; 所以不需去指定，因为数据表
阅读全文
摘要：比如，原来数据表根本就没有约束，或者说，约束不够。那么如何来添加约束呢？ 添加约束 1、添加主键约束（只能一个） 2、添加唯一约束（可以多个） 3、添加外键约束（） 4、添加默认约束（） 现在，先创建 一、添加主键约束的语法结构 ALTER TABLE tbl_name ADD [CONSTRAIN
阅读全文
摘要：修改数据表的操作，无非就是列的增加、列的删除、约束的增加和约束的删除。 修改数据表 一、添加单列的语法结构 ALTER TABLE tbl_name ADD [COLUMN] col_name column_definition [FIRST|AFTER col_name] 例如：在users表中添
阅读全文
摘要：表级约束与列级约束 列级约束：指对一个数据列建立的约束 （用的多）。 表级约束：指对多个数据列建立的约束。 （1）列级约束既可以在列定义时声明，也可以在列定义后声明 （2）表级约束只能在列定义后声明 有些资料上，说，还有一个检测约束。
阅读全文
摘要：表级约束与列级约束 列级约束：指对一个数据列建立的约束 （用的多）。 表级约束：指对多个数据列建立的约束。 （1）列级约束既可以在列定义时声明，也可以在列定义后声明 （2）表级约束只能在列定义后声明 有些资料上，说，还有一个检测约束。
阅读全文
摘要：外键约束的参照操作 1 ▶ CASCADE：从父表删除或更新且自动删除或更新子表中匹配的行。 2 ▶ SET NULL:从父表删除或更新行，并设置子表中的外键列为NULL。如果使用该选项，必须保证子表列没有指定NOT NULL。 3 ▶ RESTRICT:拒绝对父表的删除或更新操作。 4 ▶ NO
阅读全文
摘要：一、约束 1 约束是保证数据的完整性和一致性 2 ▶ 约束分为表级约束和列级约束 （1）是根据约束所针对的字段的数目多少决定的。 （2）表级约束是针对两个或两个以上的字段。 （3）列级约束是针对某一个字段。 3 ▶ 约束类型包括（按功能来划分）： （1）主键约束（PRIMARY KEY） 主键约束（
阅读全文
摘要：默认值DEFAULT 当插入记录时，如果没有明确为字段赋值，则自动赋予默认值。 我们这里，假设，1表示的是男，2表示的女，3表示的是保密。 上面我们定义的默认值是3。 那么下面我们来插入一条数据来验证一下 这里，我们只插入username这个字段的值 则，说明，当插入记录时，如果没有明确为字段赋值，
阅读全文
摘要：那么，我们想哈。除了主键能保证记录的唯一性，那么，还有没有其他能保证主键的唯一性呢？答：还有唯一约束。 唯一约束 （1）唯一约束UNIQUE KEY （2）唯一约束可以保证记录的唯一性 （3）唯一约束的字段可以为空值（NULL） （4）每张数据表可以存在多个唯一约束 唯一约束的字段可以为空值（NUL
阅读全文
摘要：不多说，直接上干货！ （1）主键约束PRIMARY KEY （2）每张数据表只能存在一个主键 （3）主键保证记录的唯一性 （4）主键自动为NOT NULL （1）主键约束PRIMARY KEY （4）主键自动为NOT NULL 可以看出，主键id，自动是NOT NULL 注意：auto_increm
阅读全文
摘要：不多说，直接上干货！ （1）自动编号AUTO_INCREMENT （2）自动编号，且必须和主键组合使用 （3）默认情况下，起始值为1，每次增量为1 由于自动编号的字段必须设置为主键（primary key）,所以这个表在设计的时候就是有问题的，所以会报以上错误。
阅读全文
摘要：不多说，直接上干货！ NULL:表示字段可以为空 NOT NULL:表示字段不允许为空 注意：NULL和NOT NULL不可以同时用于一个字段上。 如果为用户名赋予了空值则会报如下错误： 这也就说，若是NOT NULL字段，必须要赋值。
阅读全文
摘要：一、插入记录的语法结构 INSERT [INTO] tbl_name [(col_name,…)] VALUES(val,…) test数据库里的tb1数据表，目前是username,age,salary三个字段。 列的名称和值不匹配。所以说，当你省略列名称时（），你要为所有的字段都要赋值。 下面为
阅读全文
摘要：我们创建好了数据表，那么我们该怎么去查看数据表列表呢？ 一、查看数据表列表的语法结构 SHOW TABLES [FROM db_name] [LIKE ‘pattern’ | WHERE expr] FROM db_name表示，我们不仅可以查看当前数据库里的数据表，还可以查看别的数据库里的数据表
阅读全文
摘要：一、什么是数据表？ 数据表（或称表）是数据库最重要的组成部分之一，是其他对象的基础。 行成为记录，列成为字段。如果涉及数据，必须要在数据库里创建数据表。 二、如何创建MYSQL数据表？ 1、在创建数据表之前，我们需要先打开数据库。我们使用“USE 数据库名称”命令来打开。验证用户打开的是哪个数据库，
阅读全文
摘要：不多说，直接上干货! MySQL常见的数据类型 一、数据类型是什么？ 数据类型是指列、存储过程参数、表达式和局部变量的数据特征，它决定了数据的存储格式，代表了不同的信息类型。 有一些数据是要存储为数字的，数字当中有些是要存储为整数、小数、日期型等... 二、MYSQL常见数据类型 MySQL支持多种
阅读全文
摘要：MySQL数据库的常见操作 1、创建数据库 2、创建重名的数据库以及如何查看警告信息 3、设置数据库的编码方式（默认为utf8） 4、修改和查看数据库的编码方式 5、删除数据库 6、6、删除已经删除了的数据库 1、创建数据库 花括号代表必须是要有的，中括号代表是可有可不有，竖线是代表选择，即是从花括
阅读全文
摘要：在windosw里清屏，是输入cls，再回车即可。 1、常见的两种方法： （1）连接客户端时通过参数修改 C:\Users\Administrator>mysql -u root -p --prompt \hEnter password: ********Welcome to the MySQL m
阅读全文
摘要：如何使用MySQL？ 如何实现MySQL的登录/退出 如何修改MySQL的提示符 如何实现MySQL的常用命令 如何规范MySQL语句 如何操作数据库 1、MYSQL常用参数及功能 mysql -V C:\Users\Administrator>mysql -Vmysql Ver 14.12 Dis
阅读全文
摘要：分为： 图形化 命令行 方法一：在“计算机”的图标上右键，然后选择“管理”，双击“服务和应用程序”，然后选择“服务”，找到“MySQL”这个服务，然后点击“右键”，就可以进行“停止”和“重新启动”的操作了。 方法二：点击“开始”按钮，选择“运行”，输入“cmd”,点击“确定”。我们可以输入“net
阅读全文
摘要：要进行mysql配置，首先要找到mysql的配置向导文件，这个配置向导文件就在我们安装目录下的一个bin的子目录下。 刚才我们是选择典型安装MySQL，一般windows是默认存储在C:\Program Files\MySQL 1、我们就双击这个文件。 然后在该目录下找到MySQLInstanceC
阅读全文
摘要：MYSQL的两种安装方式 MSI安装 ZIP安装 第一步： 第二步： 第三步： 这里我选择下载到桌面吧！ 第四步： 第五步： 第六步： 第七步： 典型安装：除了安装MySQL的服务器，还安装MySQL的客户端。（初学者来说，推荐） 自定义安装：需要用户自己去选择，这里我不多赘述了。（初学者来说，不建
阅读全文
摘要：课程大纲 第一章：初识MySQL 1.1什么是MySQL? 1.2如何安装MySQL? 1.3如何配置MySQL? 1.4如何启动和关闭MySQL? 1.5MySQL的登录和退出 1.6如何修改提示符 1.7MySQL数据库的常见操作 第二章：数据类型以及操作数据库表 2.1MySQL常见的数据类型
阅读全文
摘要：不多说，直接上干货！ 如何在Maven官网下载历史版本 Eclipse下Maven新建项目、自动打依赖jar包（包含普通项目和Web项目） Eclipse下Maven新建Web项目index.jsp报错完美解决（war包） HBase 开发环境搭建（Eclipse\MyEclipse + Maven
阅读全文
摘要：关于IDEA里如何多种方式打jar包，然后上传到集群的问题？ 前期准备，就是在，IDEA里，maven来创建项目。这里不多赘述。 1）用maven项目来打包，我推荐这个。 （强烈推荐，简单又快速） Spark编程环境搭建（基于Intellij IDEA的Ultimate版本） 而且，还可以改名。比如
阅读全文
摘要：不多说，直接上干货！ IntelliJ IDEA号称当前Java开发效率最高的IDE工具。IntelliJ IDEA有两个版本：社区版(Community)和旗舰版(Ultimate)。社区版时免费的、开源的，但功能较少，旗舰版提供了较多的功能，是收费的，可以试用30天。 强烈推荐，新手刚入门，可以
阅读全文
摘要：不多说，直接上干货！ IntelliJ IDEA的黑白色背景切换 File -> Setting -> Editor -> Colors & Fonts 即，默认是白色的，那么，点击yes，则默认变成黑色了。 变成 想说的是，当然，这背景版本给出的是黑色和白色这两种选择，其实，自己可以将图片上传作为
阅读全文
摘要：不多说，直接上干货！ 前言 相信很多人，跟我一样，一开始，接触spark，肯定会首选IntelliJ IDEA的社区版Community。 IntelliJ IDEA号称当前Java开发效率最高的IDE工具。IntelliJ IDEA有两个版本：社区版(Community)和旗舰版(Ultimate
阅读全文
摘要：不多说，直接上干货！ 最近，在帮导师，干此项目。其中需要 现在，我带你来一步一步地画出来。 第一步：插入 -> 图表 第二步： 第三步：弹出，默认的数据和图表。 第四步： 第五步： 第六步： 第七步：显示出数据 第八步:做最后的修改
阅读全文
摘要：下载ZoomIt后，打开即可使用；打开时，你讲看到如下的几个页面，这几个页面是为了介绍每个功能的使用，还可以去设定你觉得比较舒服的快捷键， 默认的是Ctrl+1屏幕放大、Ctrl+2屏幕标注，Ctrl+3计时器； Ctrl+1屏幕放大，系统默认的是放大2，你可以使用鼠标自己决定放大的倍数，非常便捷；
阅读全文
摘要：不多说，最近，无意中，留意到这款软件。 前言 1、这是免注册版本 （推荐，这个是别人开发做出来的，放心！） 2、这是需注册版本 （这个是去官网） EverEdit是专门为国人设计的一流文本编辑器，它身躯小巧，性能卓越，可自定义功能完善，支持丰富的主题和脚本，同时它还完美支持各种中文编码、大字符集字符
阅读全文
