10 2017 档案

摘要:#spark2.2.0源码编译 #组件:mvn-3.3.9 jdk-1.8 #wget http://mirror.bit.edu.cn/apache/spark/spark-2.2.0/spark-2.2.0.tgz 下载源码 (如果是Hive on spark hive2.1.1对应spark1 阅读全文
posted @ 2017-10-31 19:47 信方 编辑
摘要:集群运行故障分析(空间不足、时钟误差、状态不良) 调整空间、同步时间、重启 修复后: 各个数据节点容量分布情况 阅读全文
posted @ 2017-10-30 15:43 信方 编辑
摘要:1.准备LIINX软件包 操作系统:centos7 虚拟机:VMware 12 JDK:1.8 数据库:oracle 12c 2.配置基础环境 2.1 部署虚拟机VM(过程略) 2.2 部署操作系统Centos(过程略) 2.3 配置NAT网络环境 #网络适配器为NAT模式 #VM虚拟机-编辑-虚拟 阅读全文
posted @ 2017-10-27 09:31 信方 编辑
摘要:Scala多线程 多线程是同时执行多个线程的过程。 它允许您独立执行多个操作。可以通过使用多线程来实现多任务。线程是轻量级的子进程,占用较少的内存。多线程用于在Scala中开发并发应用程序。 Scala不提供用于创建线程的任何单独的库。如果您熟悉Java的多线程概念,那么将会了解到它与Scala语言 阅读全文
posted @ 2017-10-25 15:01 信方 编辑
摘要:Scala try-catch语句 Scala提供try和catch块来处理异常。try块用于包含可疑代码。catch块用于处理try块中发生的异常。可以根据需要在程序中有任意数量的try...catch块。 Scala try catch示例1 在下面的程序中,我们将可疑代码封装在try块中。 在 阅读全文
posted @ 2017-10-25 14:59 信方 编辑
摘要:本章将介绍如何在Scala编程中使用类和对象。类是对象的蓝图(或叫模板)。定义一个类后,可以使用关键字new来创建一个类的对象。 通过对象可以使用定义的类的所有功能。 下面的图通过一个包含成员变量(name 和 rollNo)和成员方法(setName()和setRollNo())的Student类 阅读全文
posted @ 2017-10-25 14:54 信方 编辑
摘要:Scala的异常处理类似许多其他语言(如Java)。它不是以正常方式返回值,方法可以通过抛出异常来终止。 但是,Scala实际上并没有检查异常。 当您想要处理异常时,要像Java一样使用try {...} catch {...}块,除了catch块使用匹配来识别和处理异常。 引发异常 抛出异常看起来 阅读全文
posted @ 2017-10-25 14:11 信方 编辑
摘要:Scala模式匹配 模式匹配是Scala函数值和闭包后第二大应用功能。Scala为模式匹配提供了极大的支持,处理消息。 模式匹配包括一系列备选项,每个替代项以关键字大小写为单位。每个替代方案包括一个模式和一个或多个表达式,如果模式匹配,将会进行评估计算。箭头符号=>将模式与表达式分离。 尝试以下示例 阅读全文
posted @ 2017-10-25 14:09 信方 编辑
摘要:Scala列表 Scala列表与数组非常相似,列表的所有元素都具有相同的类型,但有两个重要的区别。 首先,列表是不可变的,列表的元素不能通过赋值来更改。 其次,列表表示一个链表,而数组是平的。 具有类型T的元素的列表的类型被写为List[T]。 尝试以下示例,这里列出了为各种数据类型定义的列表。 S 阅读全文
posted @ 2017-10-25 14:02 信方 编辑
摘要:Scala提供了一种数据结构叫作数组,数组是一种存储了相同类型元素的固定大小顺序集合。数组用于存储数据集合,但将数组视为相同类型变量的集合通常更为有用。 可以声明一个数组变量,例如:numbers,使用numbers[0],numbers[1]和...,numbers[99]来表示单个变量,而不是分 阅读全文
posted @ 2017-10-25 13:51 信方 编辑
摘要:Scala字符串 在Scala中的字符串和Java中的一样,字符串是一个不可变的对象,也就是一个不能修改的对象。可以修改的对象,如数组,称为可变对象。字符串是非常有用的对象,在本节的最后部分,我们将介绍java.lang.String类的一些重要方法。 1.创建一个字符串 以下是创建一个字符串的代码 阅读全文
posted @ 2017-10-25 13:42 信方 编辑
摘要:函数声明 Scala函数声明具有以下形式 - Scala Scala 如果不使用等号和方法体,则隐式声明抽象(abstract)方法。 函数定义 Scala函数定义具有以下形式 - 语法 Scala Scala 这里,返回类型可以是任何有效的Scala数据类型,参数列表将是由逗号分隔的变量列表,参数 阅读全文
posted @ 2017-10-25 11:25 信方 编辑
摘要:Scala while循环语句 当给定条件为真时,while循环重复一个语句或一组语句。它在执行循环体之前测试条件状态。 只要给定的条件为真,while循环语句重复执行目标语句。 Scala do...while循环语句 与在循环顶部测试循环条件的while循环语句不同,do...while循环检查 阅读全文
posted @ 2017-10-25 11:11 信方 编辑
摘要:变量是保存存储值的内存位置的名称。这意味着当创建变量时,可以在内存中保留一些空间。 根据变量的数据类型,编译器分配内存并决定可以存储在预留内存中的内容。因此,通过为变量分配不同的数据类型,可以在这些变量中存储整数,小数或字符。 变量声明 Scala具有用于声明变量的不同语法。它们可以被定义为值,即常 阅读全文
posted @ 2017-10-25 10:50 信方 编辑
摘要:Scala与Java具有相同的数据类型,具有相同的内存占用和精度。以下是提供Scala中可用的所有数据类型的详细信息的表格: 上面列出的所有数据类型都是对象。Scala中没有类似Java中那样的原始类型。 这意味着您可以调用Int,Long等方法。 Scala基本文字 Scala用于文字的规则是简单 阅读全文
posted @ 2017-10-25 09:46 信方 编辑
摘要:如果您熟悉Java语言语法和编程,那么学习Scala将会很容易。Scala和Java之间最大的句法差异在于行结束字符的分号(;) 是可选的。 当编写Scala程序时,它可以被定义为通过调用彼此的方法进行通信的对象的集合。现在我们简单地看一下类,对象,方法和实例变量的含义。 对象 - 对象有状态和行为 阅读全文
posted @ 2017-10-25 09:44 信方 编辑
摘要:Scala是可扩展语言的缩写,是一种混合功能编程语言。 它由Martin Odersky创建。 Scala顺利整合面向对象和函数式语言的功能。 Scala被编译后在Java虚拟机上运行。 许多现有公司依靠Java进行关键业务应用转向或正在转向Scala,以提高其开发生产力,应用程序可扩展性和整体可靠 阅读全文
posted @ 2017-10-25 09:28 信方 编辑
摘要:top命令是Linux下常用的性能分析工具,能够实时显示系统中各个进程的资源占用状况,类似于Windows的任务管理器。 .命令格式 Shell Shell 2.命令功能 显示当前系统正在执行的进程的相关信息,包括进程ID、内存占用率、CPU占用率等 3.命令参数 -b 批处理 -c 显示完整的治命 阅读全文
posted @ 2017-10-24 17:34 信方 编辑
摘要:inux中df命令的功能是用来检查linux服务器的文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少空间,目前还剩下多少空间等信息。 1.命令格式 Shell Shell 2.命令功能 显示指定磁盘文件的可用空间。如果没有文件名被指定,则所有当前被挂载的文件系统的可用空间将被显示。默 阅读全文
posted @ 2017-10-24 17:22 信方 编辑
摘要:chmod命令用于改变linux系统文件或目录的访问权限。用它控制文件或目录的访问权限。该命令有两种用法。一种是包含字母和操作符表达式的文字设定法;另一种是包含数字的数字设定法。 1. 命令格式 chmod [-cfvR] [—help] [—version] mode file 2. 命令功能 用 阅读全文
posted @ 2017-10-24 17:16 信方 编辑
摘要:Linux中的find命令在目录结构中搜索文件,并执行指定的操作。Linux下find命令提供了相当多的查找条件,功能很强大。由于find具有强大的功能,所以它的选项也很多,其中大部分选项都值得我们花时间来了解一下。即使系统中含有网络文件系统( NFS),find命令在该文件系统中同样有效,只你具有 阅读全文
posted @ 2017-10-24 17:07 信方 编辑
摘要:常见解压/压缩命令 tar文件格式解包:tar xvf FileName.tar打包:tar cvf FileName.tar DirName(注:tar是打包,不是压缩!) .gz文件格式解压1:gunzip FileName.gz解压2:gzip -d FileName.gz压缩:gzip Fi 阅读全文
posted @ 2017-10-24 16:50 信方 编辑
摘要:在Linux系统中, at 命令是针对仅运行一次的任务,循环运行的例行性计划任务,linux系统则是由 cron(crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作,因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务,所以, Linux 系统也提供 阅读全文
posted @ 2017-10-24 16:45 信方 编辑
摘要:watch是一个非常实用的命令,基本所有的Linux发行版都带有这个小工具,如同名字一样,watch可以帮你监测一个命令的运行结果,省得你一遍遍的手动运行。 1.命令格式 watch[参数][命令] 2.命令功能 可以将命令的输出结果输出到标准输出设备,多用于周期性执行命令/定时执行命令 3.命令参 阅读全文
posted @ 2017-10-24 16:43 信方 编辑
摘要:Linux中的ps命令是Process Status的缩写。ps命令用来列出系统中当前运行的那些进程。ps命令列出的是当前那些进程的快照,就是执行ps命令的那个时刻的那些进程,如果想要动态的显示进程信息,就可以使用top命令。要对进程进行监测和控制,首先必须要了解当前进程的情况,也就是需要查看当前进 阅读全文
posted @ 2017-10-24 16:38 信方 编辑
摘要:while循环,使您能够重复执行一组命令,直到某些条件发生。它通常用于当你需要反复操纵的变量值。 语法 这里Shell命令进行计算。如果结果值是 true,给定语句被执行。如果命令为 false,那么没有语句将不执行,程序将跳转到done语句后的下一行。 例子: 下面是一个简单的例子,使用while 阅读全文
posted @ 2017-10-24 16:29 信方 编辑
摘要:if...fi 语句的基本控制语句,它允许Shell有条件作出决定并执行语句。 语法 Shell expression求值。如果结果值是true,给定statement被执行。如果 expression 为false ,则没有语句将不会被执行。大部分的时候,会使用比较操作符决策。 关注对括号和表达之 阅读全文
posted @ 2017-10-24 16:21 信方 编辑
摘要:Shell 基本运算符 算术运算符: 这是非常重要的,这里要注意,所有的条件式将放在方括号内,他们身边有一个空格,例如 [ $a == $b ]是正确的,为[$a==$b] 是不正确的。 所有的算术计算,使用长整数。 关系运算符: Bourne Shell的支持,关系运算符的具体数值。这些运算符不能 阅读全文
posted @ 2017-10-24 16:17 信方 编辑
摘要:Shell 注释: 你可以把注释,在你的脚本如下: 现在保存上面的内容,使此脚本可执行如下: 现在,你的shell脚本,可随时执行如下: 变量是一个字符串,我们分配一个值。分配的值可以是一个数字,文本,文件名,设备,或任何其他类型的数据。 变量是没有超过实际数据的指针。 shell,可以创建,分配和 阅读全文
posted @ 2017-10-24 16:09 信方 编辑
摘要:1. 启动,停止和重新加载Nginx配置 要启动nginx,请运行可执行文件。 当nginx启动后,可以通过使用-s参数调用可执行文件来控制它。 使用以下语法: 信号(signal)的值可能是以下之一: stop - 快速关闭服务 quit - 正常关闭服务 reload - 重新加载配置文件 re 阅读全文
posted @ 2017-10-24 15:47 信方 编辑
摘要:Nginx 是一个高性能的 Web 和反向代理服务器, 它具有有很多非常优越的特性: 作为 Web 服务器:相比 Apache,Nginx 使用更少的资源,支持更多的并发连接,体现更高的效率,这点使 Nginx 尤其受到虚拟主机提供商的欢迎。能够支持高达 50,000 个并发连接数的响应,感谢 Ng 阅读全文
posted @ 2017-10-24 15:42 信方 编辑
摘要:git config命令用于获取并设置存储库或全局选项。这些变量可以控制Git的外观和操作的各个方面。 如果在使用Git时需要帮助,有三种方法可以获得任何git命令的手册页(manpage)帮助信息: git help命令显示有关Git的帮助信息。 git help [-a|--all] [-g|- 阅读全文
posted @ 2017-10-24 15:37 信方 编辑
摘要:JSP隐式对象 在本章中,我们将讨论和学习JSP中的隐式对象。这些对象是JSP容器为每个页面中的开发人员提供的Java对象,开发人员可以直接调用它们而不用显式地声明它们再调用。 JSP隐式对象也称为预定义变量。 下表列出了JSP支持的九个隐式对象 - 1. request对象 request对象是j 阅读全文
posted @ 2017-10-24 15:07 信方 编辑
摘要:动作元素基本上是预定义的功能。下表列出了可用的JSP动作 - 共同属性 所有动作元素共有两个属性:id属性和scope属性。 id属性 id属性唯一标识动作元素,并允许在JSP页面内引用该操作。 如果动作创建了一个对象的实例,则id值可以用于通过隐式对象PageContext引用它。 scope属性 阅读全文
posted @ 2017-10-24 15:03 信方 编辑
摘要:JSP中有三种类型的指令标签 - JSP中的page指令用于向容器提供与当前JSP页面相关的指令。可以在JSP页面的任何位置使用page指令进行编码。 按照惯例,page指令被编码在JSP页面的顶部。 以下是page指令的基本语法 - HTML HTML 可以使用XML编写上述语法,如下所示: XM 阅读全文
posted @ 2017-10-24 15:01 信方 编辑
摘要:JSP(JavaServer Pages )是什么? JavaServer Pages(JSP)是一种支持动态内容开发的网页技术它可以帮助开发人员通过利用特殊的JSP标签,其中大部分以<%开始并以%>作为结束标志插入Java代码到HTML页面。 JavaServer Pages组件是一个Java s 阅读全文
posted @ 2017-10-24 14:51 信方 编辑
摘要:会话只是指一段指定的时间间隔。 会话跟踪是维护用户状态(数据)的一种方式。它也被称为servlet中的会话管理。 Http协议是一个无状态的,所以我们需要使用会话跟踪技术来维护用户状态。 每次用户请求服务器时,服务器将请求视为新请求。 所以需要保持一个用户的状态来识别特定的用户。 HTTP是无状态的 阅读全文
posted @ 2017-10-24 14:43 信方 编辑
摘要:Servlet重定向 HttpServletResponse接口的sendRedirect()方法可以用于将响应重定向到另一个资源,资源可能是servlet,jsp或html文件。 它接受相对和绝对URL。 它在客户端工作,因为它使用浏览器的URL栏来发出另一个请求。 所以,它可以在服务器内部和外部 阅读全文
posted @ 2017-10-24 14:35 信方 编辑
摘要:RequestDispatcher接口提供将请求转发送到另一个资源的功能,它可能是html,servlet或jsp等。 此接口也可用于包括另一资源的内容。它是servlet协作的一种方式。 在RequestDispatcher接口中定义了两种方法。它们分别是 - 如上图所示,第一个servlet转发 阅读全文
posted @ 2017-10-24 14:24 信方 编辑
摘要:1、Redis和Memcache都是将数据存放在内存中,都是内存数据库。不过memcache还可用于缓存其他东西,例如图片、视频等等; 2、Redis不仅仅支持简单的k/v类型的数据,同时还提供list,set,hash等数据结构的存储; 3、虚拟内存--Redis当物理内存用完时,可以将一些很久没 阅读全文
posted @ 2017-10-24 14:02 信方 编辑
摘要:在Java程序中使用Redis之前,需要确保在机器上安装了Redis的Java驱动程序和Java环境。可以先在将Java电脑上并配置好环境。 安装 现在,让我们看看如何设置Redis Java驱动程序。 下载jedis.jar - http://repo1.maven.org/maven2/redi 阅读全文
posted @ 2017-10-24 13:58 信方 编辑
摘要:Redis数据库可以使用安全的方案,使得进行连接的任何客户端在执行命令之前都需要进行身份验证。要保护Redis安全,需要在配置文件中设置密码。 示例 下面的示例显示了保护Redis实例的步骤。 Shell Shell 默认情况下,此属性为空,这表示还没有为此实例设置密码。您可以通过执行以下命令更改此 阅读全文
posted @ 2017-10-24 13:56 信方 编辑
摘要:Redis命令是用于在Redis服务器上执行一些操作。要在Redis服务器上运行命令,需要一个Redis客户端。Redis客户端在Redis包中有提供,这个包在我们前面的安装教程中就有安装过了。 语法以下是Redis客户端的基本语法。 Shell Shell 示例以下示例说明了如何启动Redis客户 阅读全文
posted @ 2017-10-24 13:43 信方 编辑
摘要:Redis是一个开源,高级的键值存储和一个适用的解决方案,用于构建高性能,可扩展的Web应用程序。 Redis有三个主要特点,使它优越于其它键值数据存储系统 - Redis将其数据库完全保存在内存中,仅使用磁盘进行持久化。 与其它键值数据存储相比,Redis有一组相对丰富的数据类型。 Redis可以 阅读全文
posted @ 2017-10-24 11:35 信方 编辑
摘要:按照REST架构,一个RESTful Web服务不应该继续服务器的客户端的状态。这种限制被称为无状态。它负责客户以它的上下文传递给服务器,然后服务器可以存储这样的上下文,以处理客户端的进一步请求。例如,通过会话服务器维护标识由客户端传递会话标识符。 RESTful Web服务应遵守此限制。我们已经看 阅读全文
posted @ 2017-10-24 11:22 信方 编辑
摘要:什么是资源? REST架构对待每一个内容都作为一种资源。这些资源可以是文本文件,HTML网页,图片,视频或动态业务数据。 REST服务器只是提供资源,REST客户端可访问和修改的资源。这里每个资源由URI标识/全局标识。 REST采用各种交涉代表的资源如文本,JSON,XML。 XML和JSON是资 阅读全文
posted @ 2017-10-24 11:20 信方 编辑
摘要:RESTful Web服务是基于REST架构的Web服务。在REST架构一切都是一种资源。 RESTful Web服务是轻量级的,高度可扩展性和可维护性,并且非常常用于创建基于API的Web应用程序。 REST是什么 ? REST表示代表性状态传输。REST是一种基于Web标准的架构,并使用HTTP 阅读全文
posted @ 2017-10-24 11:12 信方 编辑
摘要:超文本传输协议 (HTTP-Hypertext transfer protocol) 是一种详细规定了浏览器和万维网服务器之间互相通信的规则,通过因特网传送万维网文档的数据传送协议。是一个应用程序级的基于TCP / IP协议,分布式,协作,超媒体信息系统(互联网)。 HTTP代表超文本传输协议。 H 阅读全文
posted @ 2017-10-24 11:02 信方 编辑
摘要:Solr检索数据 在本章中,我们将讨论如何使用Java Client API检索数据。假设有一个名为sample.csv的.csv文档,其中包含以下内容。 可以使用post命令在核心-solr_sample下对此数据编制索引。 R R 以下是向Apache Solr索引添加文档的Java程序代码。将 阅读全文
posted @ 2017-10-24 10:43 信方 编辑
摘要:Solr添加文档(XML) 在上一章中,我们学习解释了如何向Solr中添加JSON和.CSV文件格式的数据。在本章中,将演示如何使用XML文档格式在Apache Solr索引中添加数据。 示例数据 假设我们需要使用XML文件格式将以下数据添加到Solr索引。 使用XML添加文档 要将上述数据添加到S 阅读全文
posted @ 2017-10-24 10:39 信方 编辑
摘要:Solr核心(内核) Solr核心(Core)是Lucene索引的运行实例,包含使用它所需的所有Solr配置文件。我们需要创建一个Solr Core来执行索引和分析等操作。 Solr应用程序可以包含一个或多个核心。 如果需要,Solr应用程序中的两个核心可以相互通信。 创建一个核心 安装和启动Sol 阅读全文
posted @ 2017-10-24 10:31 信方 编辑
摘要:Solr架构(体系结构) 在本章中,我们将讨论Apache Solr的架构。 下图显示了Apache Solr的体系结构的框图。 Solr架构 - 构件块以下是Apache Solr的主要构建块(组件) 请求处理程序 - 发送到Apache Solr的请求由这些请求处理程序处理。请求可以是查询请求或 阅读全文
posted @ 2017-10-24 10:27 信方 编辑
摘要:Solr是一个开源搜索平台,用于构建搜索应用程序。 它建立在Lucene(全文搜索引擎)之上。 Solr是企业级的,快速的和高度可扩展的。 使用Solr构建的应用程序非常复杂,可提供高性能。 为了在CNET网络的公司网站上添加搜索功能,Yonik Seely于2004年创建了Solr。并在2006年 阅读全文
posted @ 2017-10-24 10:23 信方 编辑
摘要:Spark核心编程 Spark 核心是整个项目的基础。它提供了分布式任务调度,调度和基本的 I/O 功能。Spark 使用一种称为RDD(弹性分布式数据集)一个专门的基础数据结构,是整个机器分区数据的逻辑集合。RDDS可以用两种方法来创建的;一个是在外部存储系统引用的数据集,第二个是通过应用转换(如 阅读全文
posted @ 2017-10-24 10:06 信方 编辑
摘要:Apache Spark是一个集群计算设计的快速计算。它是建立在Hadoop MapReduce之上,它扩展了 MapReduce 模式,有效地使用更多类型的计算,其中包括交互式查询和流处理。这是一个简单的Spark教程,介绍了Spark核心编程的基础知识。 工业公司广泛的使用 Hadoop 来分析 阅读全文
posted @ 2017-10-24 09:59 信方 编辑
摘要:PL/SQL面向对象 PL/SQL允许定义一个对象类型,这有助于在Oracle的数据库中设计的面向对象。对象类型可以包装复合类型。使用对象允许实现数据的具体结构现实世界中的对象和方法操作它。对象有属性和方法。属性是一个对象的属性,并用于存储对象的状态;和方法被用于模拟其行为。 使用CREATE[OR 阅读全文
posted @ 2017-10-24 09:53 信方 编辑
摘要:PL/SQL DBMS输出 DBMS_OUTPUT是一个内置的软件包,能够显示输出显示调试信息,并从PL/ SQL块,子程序,包和触发器发送消息。我们已经使用这个包在我们所有的教程中。 让我们来看看一个小的代码片段,将显示在数据库中的所有用户表。尝试在数据库列出了所有的表名: BEGIN dbms_ 阅读全文
posted @ 2017-10-24 09:52 信方 编辑
摘要:PL/SQL日期及时间 PL/SQL提供两个日期和时间相关的数据类型: 日期时间(Datetime)数据类型 间隔数据类型 datetime数据类型有: DATE TIMESTAMP TIMESTAMP WITH TIME ZONE TIMESTAMP WITH LOCAL TIME ZONE 间隔 阅读全文
posted @ 2017-10-24 09:51 信方 编辑
摘要:PL/SQL事务 数据库事务是一个工作的原子单元,其可以由一个或多个相关的SQL语句组成。所谓的原子性就是数据库的修改所带来的构成事务的SQL语句可以集体被提交,即永久到数据库或从数据库中(撤消)回滚。 一个成功执行的SQL语句和提交的事务不一样。即使一个SQL语句执行成功,除非包含该语句的事务被提 阅读全文
posted @ 2017-10-24 09:49 信方 编辑
摘要:PL/SQL集合 集合是一个有序组具有相同的数据类型的元素。每个元素进行标识的唯一标表示其在集合中的位置。 PL/SQL提供了三种集合类型: 索引表或关联数组 嵌套表 可变大小的数组或变长数组 Oracle文档提供了每种类型的集合的以下特征: 集合类型元素数量下标类型密集或稀疏在哪里创建可以是对象类 阅读全文
posted @ 2017-10-24 09:48 信方 编辑
摘要:PL/SQL包 PL/SQL包是组逻辑相关的PL/SQL类型,变量和子程序模式对象。 程序包将有两个强制性的部分: 包装规范定义 包体或定义 包装规范定义 规范是接口到包。它只是声明的类型,变量,常量,异常,游标和子程序可从封装外部引用。换句话说,它包含关于包的内容的所有信息,但不包括用于子程序的代 阅读全文
posted @ 2017-10-24 09:46 信方 编辑
摘要:PL/SQL触发器 触发器是存储程序,它会自动执行或发射当一些事件发生。触发器,事实上,写入响应于以下任一事件将被执行: 数据库操作(DML)语句(DELETE,INSERT,UPDATE或) 数据库定义(DDL)语句(CREATE,ALTER或DROP) 数据库操作(SERVERERROR,登录, 阅读全文
posted @ 2017-10-24 09:44 信方 编辑
摘要:PL/SQL异常 程序执行过程中出现错误情况被称为在PL/SQL异常。 PL/SQL支持程序员在程序中使用异常块捕获这样的条件并采取适当的动作应对错误情况。有两种类型的异常: 系统定义的异常 用户定义的异常 异常处理语法 一般异常处理的语法如下。在这里可以列出下来很多,要处理异常。默认的异常将使用W 阅读全文
posted @ 2017-10-24 09:43 信方 编辑
摘要:PL/SQL记录 PL/SQL记录就是可以容纳不同类型的数据项的数据结构。记录由不同字段,类似于数据库表的行。 例如,要保留跟踪图书馆中的书籍。可能要跟踪有关每本书下面的属性类似:标题,作者,主题,图书ID。包含一个字段为每个这些项目记录允许进行处理书籍作为一个逻辑单元信息。 PL/SQL可以处理记 阅读全文
posted @ 2017-10-24 09:41 信方 编辑
摘要:PL/SQL游标 Oracle会创建一个存储区域,被称为上下文区域,用于处理SQL语句,其中包含需要处理的语句,例如所有的信息,行数处理,等等。 游标是指向这一上下文的区域。 PL/SQL通过控制光标在上下文区域。游标持有的行(一个或多个)由SQL语句返回。行集合光标保持的被称为活动集合。 可以命名 阅读全文
posted @ 2017-10-24 09:40 信方 编辑
摘要:PL/SQL函数 PL/SQL函数与过程相同,不同之处在于函数有一个返回值。因此,前面的章节中的所有讨论都适用于函数。 创建函数 建立一个独立函数可以使用CREATE FUNCTION语句创建。CREATE OR REPLACE PROCEDURE语句简化语法如下: CREATE [OR REPLA 阅读全文
posted @ 2017-10-24 09:38 信方 编辑
摘要:PL/SQL过程 子程序是一个程序单元/模块执行特定的任务。这些子程序被组合以形成更大的程序。这基本上是被称为“模块化设计”。子程序可以调用由另一个子程序或程序被称为调用程序。 子程序可以创建: 在模式层面 在包里面 在一个PL/SQL块内 模式级子程序是一个独立的子程序。它使用CREATE PRO 阅读全文
posted @ 2017-10-24 09:37 信方 编辑
摘要:PL/SQL数组 PL/SQL程序设计语言提供叫一种叫做VARRAY的数据结构,其可存储相同类型元素的一个固定大小的连续集合。VARRAY用于存储数据的有序集合,但它往往是更加有用认为数组作为相同类型的变量的集合。 所有可变数组由连续的存储位置。最低的地址对应于第一元素和最高地址的最后一个元素。 数 阅读全文
posted @ 2017-10-24 09:36 信方 编辑
摘要:PL/SQL字符串 PL/SQL字符串实际上是一个可选的尺寸规格字符序列。字符可以是数字,字母,空白,特殊字符或全部的组合。 PL/SQL提供了三种类型的字符串: 固定长度字符串:在这样的字符串,程序员指定的长度,同时声明该字符串。该字符串是右填充空格以达到指定的长度。 变长字符串:在这样的字符串, 阅读全文
posted @ 2017-10-24 09:33 信方 编辑
摘要:PL/SQL EXIT语句 在PL/SQL编程语言中,EXIT语句有以下两种用法: 当循环中遇到EXIT语句循环立即终止,程序控制继续下一个循环语句后面。 如果使用嵌套循环(即一个循环内的另一个循环),EXIT指令将停止最内层循环的执行,并开始执行的下一行代码的程序段之后。 语法: 在PL/SQL 阅读全文
posted @ 2017-10-24 09:32 信方 编辑
摘要:PL/SQL循环 可能有一种情况,当需要执行的代码块的几个多次。在一般情况下,语句顺序执行:一个函数的第一条语句,首先执行,然后是第二个...等等。 编程语言提供了各种控制结构,允许更多复杂的执行路径。 循环语句可以让我们执行语句多次或一个组,下面是在大多数编程语言循环语句的一般形式: PL/ SQ 阅读全文
posted @ 2017-10-24 09:28 信方 编辑
摘要:PL/SQL条件控制 决策结构需要程序员指定一个或多个条件要计算,或由程序进行测试,如果条件被确定为真那么一条或多条语句被执行,如果要被执行的其它语句条件被确定为假,则选其它执行块。 以下是从在大多数编程语言中出现的典型的条件(即,决策)结构的一般: PL/SQL编程语言提供了以下几种类型的决策语句 阅读全文
posted @ 2017-10-23 17:44 信方 编辑
摘要:PL/SQL运算符 运算符是一个符号,告诉编译器执行特定的数学或逻辑操作。 PL/SQL语言有丰富的内置运算符,运算符提供的以下几种类型: 算术运算符 关系运算符 比较运算符 逻辑运算符 字符串运算符 本教程将一个接一个介绍算术,关系比较和逻辑运算符。字符串运算符将在下章讨论。 算术运算符 下表列出 阅读全文
posted @ 2017-10-23 17:35 信方 编辑
摘要:PL/SQL变量 变量是只不过是一个给定的存储区域,程序可以操纵的名称。PL/SQL每个变量具有一个特定的数据类型,它决定了大小和变量的存储器的值,可以说存储器和设置操作可以施加到可变内被存储的范围内。 一个PL/SQL变量的名称由一个字母后面可以跟多个字母,数字,美元符号,下划线和数字符号,并不得 阅读全文
posted @ 2017-10-23 17:30 信方 编辑
摘要:PL/SQL基本语法 PL/SQL是一种块结构的语言,这意味着PL/SQL程序被划分和编写代码的逻辑块。每块由三个子部分组成: 每一个PL/SQL语句都以分号(;)结束。可嵌套在使用BEGIN和END等PL/SQL块PL/SQL块。这里是一个PL/SQL块的基本结构: 'Hello World' 示 阅读全文
posted @ 2017-10-23 17:18 信方 编辑
摘要:Zookeeper API ZooKeeper有一个Java和C绑定的官方API。ZooKeeper社区提供了对于大多数语言(.NET,Python等)的非官方API。使用ZooKeeper的API,应用程序可以连接,互动,操作数据,协调,以及从ZooKeeper集成断开。 ZooKeeper AP 阅读全文
posted @ 2017-10-23 16:54 信方 编辑
摘要:ZooKeeper是一个分布式协调服务来管理大量的主机。协调和管理在分布式环境的一个服务是一个复杂的过程。ZooKeeper 简单解决了其结构和API这个问题。ZooKeeper允许开发人员能够专注于核心应用程序逻辑,而无需担心应用程序的分布式特性。 ZooKeeper框架始建于“雅虎”,一个简单而 阅读全文
posted @ 2017-10-23 16:53 信方 编辑
摘要:HBase扫描 scan 命令用于查看HTable数据。使用 scan 命令可以得到表中的数据。它的语法如下: scan ‘<table name>’ 下面的示例演示了如何使用scan命令从表中读取数据。在这里读取的是emp表。 hbase(main):010:0> scan 'emp' ROW C 阅读全文
posted @ 2017-10-23 16:19 信方 编辑
摘要:HBase创建数据 本章将介绍如何在HBase表中创建的数据。要在HBase表中创建的数据,可以下面的命令和方法: put 命令, add() - Put类的方法 put() - HTable 类的方法. 作为一个例子,我们将在HBase中创建下表。 使用put命令,可以插入行到一个表。它的语法如下 阅读全文
posted @ 2017-10-23 16:16 信方 编辑
摘要:本章介绍用于对HBase表上执行CRUD操作的HBase Java客户端API。 HBase是用Java编写的,并具有Java原生API。因此,它提供了编程访问数据操纵语言(DML)。 HBaseConfiguration类 添加 HBase 的配置到配置文件。这个类属于org.apache.had 阅读全文
posted @ 2017-10-23 16:09 信方 编辑
摘要:HBase Exists 可以使用exists命令验证表的存在。下面的示例演示了如何使用这个命令。 hbase(main):024:0> exists 'emp' Table emp does exist 0 row(s) in 0.0750 seconds hbase(main):015:0> e 阅读全文
posted @ 2017-10-23 16:07 信方 编辑
摘要:HBase创建表 可以使用命令创建一个表,在这里必须指定表名和列族名。在HBase shell中创建表的语法如下所示。 create ‘<table name>’,’<column family>’ 示例 下面给出的是一个表名为emp的样本模式。它有两个列族:“personal data”和“pro 阅读全文
posted @ 2017-10-23 15:55 信方 编辑
摘要:HBaseAdmin是一个类表示管理。这个类属于org.apache.hadoop.hbase.client包。使用这个类,可以执行管理员任务。使用Connection.getAdmin()方法来获取管理员的实例。 方法及说明 void createTable(HTableDescriptor de 阅读全文
posted @ 2017-10-23 15:50 信方 编辑
摘要:HBase Shell HBase包含可以与HBase进行通信的Shell。 HBase使用Hadoop文件系统来存储数据。它拥有一个主服务器和区域服务器。数据存储将在区域(表)的形式。这些区域被分割并存储在区域服务器。 主服务器管理这些区域服务器,所有这些任务发生在HDFS。下面给出的是一些由HB 阅读全文
posted @ 2017-10-23 15:48 信方 编辑
摘要:HBase是什么? HBase是建立在Hadoop文件系统之上的分布式面向列的数据库。它是一个开源项目,是横向扩展的。 HBase是一个数据模型,类似于谷歌的大表设计,可以提供快速随机访问海量结构化数据。它利用了Hadoop的文件系统(HDFS)提供的容错能力。 它是Hadoop的生态系统,提供对数 阅读全文
posted @ 2017-10-23 15:21 信方 编辑
摘要:1.redis.properties 2.spring-redis.xml 阅读全文
posted @ 2017-10-20 16:10 信方 编辑
摘要:Redis 数据备份与恢复 Redis SAVE 命令用于创建当前数据库的备份。 语法 redis Save 命令基本语法如下: 实例 该命令将在 redis 安装目录中创建dump.rdb文件。 恢复数据 如果需要恢复数据,只需将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服 阅读全文
posted @ 2017-10-20 16:07 信方 编辑
摘要:Redis 事务 Redis 事务可以一次执行多个命令, 并且带有以下两个重要的保证: 事务是一个单独的隔离操作:事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中,不会被其他客户端发送来的命令请求所打断。 事务是一个原子操作:事务中的命令要么全部被执行,要么全部都不执行。 一个事务从开始 阅读全文
posted @ 2017-10-20 16:01 信方 编辑
摘要:Redis 集合(Set) Redis的Set是string类型的无序集合。集合成员是唯一的,这就意味着集合中不能出现重复的数据。 Redis 中 集合是通过哈希表实现的,所以添加,删除,查找的复杂度都是O(1)。 集合中最大的成员数为 232 - 1 (4294967295, 每个集合可存储40多 阅读全文
posted @ 2017-10-20 15:58 信方 编辑
摘要:1.redis介绍 Redis 简介 Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。 Redis 与其他 key - value 缓存产品有以下三个特点: Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用。 Redis 阅读全文
posted @ 2017-10-20 15:33 信方 编辑
摘要:singleton作用域:当把一个Bean定义设置为singleton作用域是,Spring IoC容器中只会存在一个共享的Bean实例,并且所有对Bean的请求,只要id与该Bean定义相匹配,则只会返回该Bean的同一实例。值得强调的是singleton作用域是Spring中的缺省作用域。pro 阅读全文
posted @ 2017-10-20 14:53 信方 编辑
摘要:JDBC(Java DataBase Connection),java数据库连接,是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问,它由一组用Java语言编写的类和接口组成。JDBC提供了一种基准,据此可以构建更高级的工具和接口,使数据库开发人员能够编写数据库应用程序,同 阅读全文
posted @ 2017-10-20 14:37 信方 编辑
摘要:java代码优化策略 1、生成对象时,合理分配空间和大小:new ArrayList(100); 2、优化for循环: Vector vect = new Vector(1000); For(int i=0; i<vect.size(); i++){} 改写成: int size = vect.si 阅读全文
posted @ 2017-10-20 14:33 信方 编辑
摘要:1.JMS概述 JMS即Java消息服务(Java Message Service)应用程序接口,是一个Java平台中关于面向消息中间件(MOM)的API,用于在两个应用程序之间,或分布式系统中发送消息,进行异步通信。 它主要用于在生产者和消费者之间进行消息传递,生产者负责产生消息,而消费者负责接收 阅读全文
posted @ 2017-10-20 09:26 信方 编辑
摘要:1.==与equals区别 1)==用于基本数据类型的比较,判断引用是否指向堆内存的同一地址。 引用地址 2)equals用于判断两个变量是否是对同一对象的引用,即堆中的内容是否相同,返回值为布尔类型。 内容 2.Int基本类型与Integer包装类的区别 3.String s=new String 阅读全文
posted @ 2017-10-19 16:25 信方 编辑
摘要:1.什么是Servlet Servlet是sun公司提供的一门用于开发动态web资源的技术。Sun公司在其API中提供了一个servlet接口,用户若想用发一个动态web资源(即开发一个Java程序向浏览器输出数据),需要完成以下2个步骤:1、编写一个Java类,实现servlet接口。2、把开发好 阅读全文
posted @ 2017-10-19 15:27 信方 编辑
摘要:1.异常分类 2.错误和异常的区别 3.try-catch-xxx处理方式 Java Exception:1、Error 2、Runtime Exception 运行时异常3、Exception 4、throw 用户自定义异常 算术异常类:ArithmeticExecption空指针异常类:Null 阅读全文
posted @ 2017-10-19 14:11 信方 编辑
摘要:JWS、Axis2、cxf 1.下载axis2.war和axis2.bin.zip 2.将axis2.war包部署到Tomcat下,启动Tomcat测试:http://localhost:8089/axis2 3.新建web project,在src新建一个类编写好代码作为服务端,无需包名,编译生成 阅读全文
posted @ 2017-10-19 14:05 信方 编辑
摘要:方案一:用Eclipse自带的Export功能 步骤1:准备主清单文件 “MANIFEST.MF”, Manifest-Version: 1.0 Class-Path: lib/commons-codec.jar Main-Class: main.KillCheatFans 1、Class-Path: 和Main-Class: 后边都有一个空格,必须加上,否则会打包失败,错误提示为:Inv... 阅读全文
posted @ 2017-10-19 14:02 信方 编辑
摘要:1.pom.xml加入(JDK编译器配置) 2.Eclipse Navigator窗口修改文件 3.maven解决冲突包 打开pom.xml-Dependency Hierarchy就可以看到依赖包的关系了,右键exclude就可以移除冲突包了 4.maven常用命令 阅读全文
posted @ 2017-10-19 13:48 信方 编辑
摘要:1.basePath方式 在url加入<%=basePath%>如:http://192.168.66.66:8089/xinfang/ 2.直接请求服务器路径 其实就是请求到webapp那一层 阅读全文
posted @ 2017-10-19 13:36 信方 编辑
摘要:1.web.xml加入以下配置 2.新建error.jsp 3.测试 http://ip:端口号/项目名/index 阅读全文
posted @ 2017-10-19 10:02 信方 编辑
摘要:1.什么是 MyBatis ? MyBatis 是一款优秀的持久层框架,它支持定制化 SQL、存储过程以及高级映射。MyBatis 避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集。MyBatis 可以使用简单的 XML 或注解来配置和映射原生信息,将接口和 Java 的 POJOs(P 阅读全文
posted @ 2017-10-18 15:02 信方 编辑
摘要:1.IOC控制反转 Ioc—Inversion of Control,即“控制反转”,不是什么技术,而是一种设计思想。在Java开发中,Ioc意味着将你设计好的对象交给容器控制,而不是传统的在你的对象内部直接控制。 IoC 不是一种技术,只是一种思想,一个重要的面向对象编程的法则,它能指导我们如何设 阅读全文
posted @ 2017-10-18 14:03 信方 编辑
摘要:1.spring-mvc.xml加入配置 2.@controller/@RequestMapping/@RequestParam写法 3.@RequestMaping写法 @RequestMapping(value="",method={"",""},headers={},params={"","" 阅读全文
posted @ 2017-10-18 13:50 信方 编辑
摘要:1.DispatcherServlet -- 前置控制器 DispatcherServlet是一个Servlet,所以可以配置多个DispatcherServlet。 DispatcherServlet是前置控制器,配置在web.xml文件中的。拦截匹配的请求,Servlet拦截匹配规则要自已定义, 阅读全文
posted @ 2017-10-18 11:10 信方 编辑
摘要:1.搭建SpringMVC框架,不过多阐述 2.spring-mvc.xml加入以下配置: 3.在resources新建目录messages,然后新建以下两个文件: 4.后台控制器编写 5.jsp页面编写 6.测试 阅读全文
posted @ 2017-10-18 10:42 信方 编辑
摘要:1.get是从服务器上获取数据的一种请求,post是向服务器提交数据的一种请求。 2.get是把参数数据队列加到提交表单的ACTION属性所指的URL中,值和表单内各个字段一一对应,在URL中可以看到。 post是通过HTTP post机制,将表单内各个字段与其内容放置在HTML HEADER内一起 阅读全文
posted @ 2017-10-18 09:23 信方 编辑
摘要:附录参数说明 1.url: 要求为String类型的参数,(默认为当前页地址)发送请求的地址。 2.type: 要求为String类型的参数,请求方式(post或get)默认为get。注意其他http请求方法,例如put和delete也可以使用,但仅部分浏览器支持。 3.timeout: 要求为Nu 阅读全文
posted @ 2017-10-18 09:09 信方 阅读(2323) 评论(0) 推荐(0) 编辑
摘要:1.hadoop是什么? Hadoop 是Apache基金会下一个开源的大数据分布式计算平台,它以分布式文件系统HDFS和MapReduce算法为核心,为用户提供了系统底层细节透明的分布式基础架构。 2.hadoop主要组成部分 1)hdfs分布式存储文件系统 海量数据存储,大文件被分成默认64M一 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(289) 评论(0) 推荐(0) 编辑
摘要:1.hive执行引擎 Hive默认使用MapReduce作为执行引擎,即Hive on mr。实际上,Hive还可以使用Tez和Spark作为其执行引擎,分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘,而Spark是放在内存中,所以总体来讲Sp 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(20792) 评论(1) 推荐(0) 编辑
摘要:1.配置 hive1.2.0(前提要配置hadoop2.7.2,前面文档有介绍) 2.配置Mysql 3.mysql 新建 hive 数据库 4.编译hive war(web接口)#下载hive src源码解压切换到 hive/hwi/web 执行 jar cvf hive-hwi-1.2.0.wa 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(195) 评论(0) 推荐(0) 编辑
摘要:hive.support.concurrency true hive.exec.dynamic.partition.mode nonstrict hive.txn.manager org.apache.hadoop.hiv... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(671) 评论(0) 推荐(0) 编辑
摘要:1.多个tomcat 修改3个端口2.oracle-00054:资源正忙 被锁住了建立索引加online参数1:创建索引时会产生的锁2:dml 语句会产生的锁3:索引创建时加上关键字 online时产生的锁select for updatenowaitcommitrollbacksavepoin... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(315) 评论(0) 推荐(0) 编辑
摘要:创建JOBcreate or replace procedure proc_auto_exec_job as begin declare job number; BEGIN dbms_job.submit(job, '过程名;', sysdate, 'trunc... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(309) 评论(0) 推荐(0) 编辑
摘要:1.搭建eclipse+JDK+Maven+SpringMVC+Spring+Mybatis后台架构,详细就不过多阐述了2.下载百度eharts插件:http://echarts.baidu.com/download.html 下载地图JSON3.后台代码架构3.1 entity层核心关键代码p... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(2018) 评论(0) 推荐(0) 编辑
摘要:1.impala是什么Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(1249) 评论(0) 推荐(0) 编辑
摘要:1.sqoop是什么Sqoop是一款开源的数据迁移工具,主要用于Hadoop(Hive)与传统的关系型数据库(mysql...)相互之间的数据迁移。2.sqoop的特点sqoop的底层实现是mapreduce,所以sqoop依赖于hadoop,数据是并行导入的。3.sqoop常用命令sqoop he... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(1655) 评论(0) 推荐(0) 编辑
摘要:ps -ef |grep hello |awk '{print $2}'|xargs kill -9 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(169) 评论(0) 推荐(0) 编辑
摘要:select * from awhere rowid=(select max(rowid) from a) 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(371) 评论(0) 推荐(0) 编辑
摘要:rename table_1 to table_2 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(351) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(683) 评论(0) 推荐(0) 编辑
摘要:1.先决条件配置了hadoop、hive等2.官网查看版本信息下载相应的安装包http://archive.cloudera.com/cdh5/redhat/5/x86_64/cdh/5.10/RPMS/x86_64/3.安装一些依赖包:mysql-connector-java、bigtop-jsc... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(835) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(170) 评论(0) 推荐(0) 编辑
摘要:Hbase是什么HBase是一种构建在HDFS之上的分布式、面向列的存储系统,适用于实时读写、随机访问超大规模数据的集群。HBase的特点大:一个表可以有上亿行,上百万列。面向列:面向列表(簇)的存储和权限控制,列(簇)独立检索。稀疏:对于为空(NULL)的列,并不占用存储空间,因此,表可以设计的非... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(543) 评论(0) 推荐(0) 编辑
摘要:1.RowCounter工具可以查看某张表有多少行,效率非常高2.count命令在数据量大的时候效率非常差执行./hbase org.apache.hadoop.habse.mapreduce.RowCounter test3.WAL(Write Ahead Log)预写日志HLog,发生的更新操... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(182) 评论(0) 推荐(0) 编辑
摘要:1.进入hbase shell 执行./bin/hbase shell2.进入后,help 帮助信息,如可以使用help 'create'3.创建表:create ‘test’,'cf' 表名-列族4.列出所有表:list 5.查看表的结构信息:describe ‘test’6.插入数据:pu... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(2851) 评论(0) 推荐(0) 编辑
摘要:1.Hmaster的Web接口-端口参数:hbase.master.info.port 默认为16010http://hbase_master_server:16010可查看hbase的版本信息,hbase的基本配置信息,hbase在hdfs中的存储路径、zookeeper的节点、集群的负载信息、... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(3205) 评论(0) 推荐(0) 编辑
摘要:1.自动化运维--cloudera manager2.手动运维a.启动./start.all.sh,停止./stop-all.shb.hdfs启动/停止:./start-dfs.sh ./stop-dfs.shc.启动单个:./hadoop-daemon.sh start/stop nameno... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(357) 评论(0) 推荐(0) 编辑
摘要:1.Join优化a.map joinb.reduce join小表为驱动表,或直接将小表加载到内存,做map端join,它的关键字为/*+MAP JOIN(t1)*/如果想自动开启map端Join,可以通过hive.mapjoin.smalltable.filesize(默认为25000000)来定... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(243) 评论(0) 推荐(0) 编辑
摘要:1.HDFS调优a.设置合理的块大小(dfs.block.size)b.将中间结果目录设置为分布在多个磁盘以提升写入速度(mapred.local.dir)c.设置DataNode处理RPC的线程数(默认为3),大集群可适当加大点(dfs.datanode.handler.count)d.设置Nam... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(1666) 评论(0) 推荐(0) 编辑
摘要:1.堆栈大小2.JVM重用3.GC 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(162) 评论(0) 推荐(0) 编辑
摘要:hadoop的运行环境---hadoop/jvm/os/hw原则1:主节点的可靠性要好于从节点:NameNode(Yarn-ResourceManager)、DataNode(NodeManager)可靠性要好于其他节点原则2:多路多核、高频率CPU、大内存的服务器---NameNode的内存决定了... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(156) 评论(0) 推荐(0) 编辑
摘要:1.避免使用swap分区---将hadoop守护进程的数据交换到磁盘的行为可能会导致操作超时:物理内存(交换)--Swap分区2.调整内存分配策略---操作系统内核根据vm.overcommit_memory(0-表示是否可用的内存,1-表示分配所有的物理内存,2-表示分配所有的物理内存和交换空间的... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(245) 评论(0) 推荐(0) 编辑
摘要:Beeline和其他工具有一些不同,执行查询都是正常的SQL输入,但是如果是一些管理的命令,比如进行连接,中断,退出,执行Beeline命令需要带上“!”,不需要终止符。常用命令介绍:1、!connect url –连接不同的Hive2服务器2、!exit –退出shell3、!help –显示全部... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(40815) 评论(0) 推荐(0) 编辑
摘要:1.hive支持四种数据模型• external table ---外部表:Hive中的外部表和表很类似,但是其数据不是放在自己表所属的目录中,而是存放到别处,这样的好处是如果你要删除这个外部表,该外部表所指向的数据是不会被删除的,它只会删除外部表对应的元数据;而如果你要删除表,该表对应的所有数据包... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(1907) 评论(0) 推荐(0) 编辑
摘要:在使用Hive的元数据配置权限之前必须现在hive-site.xml中配置两个参数,配置参数如下: hive.security.authorization.enabled true hive.security.authorization.createtable.owner.grants ALL h... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(2330) 评论(0) 推荐(0) 编辑
摘要:1.Hive是什么? Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的 SQL 查询功能,将类 SQL 语句转换为 MapReduce 任务执行。2.Hive数据结构-HDFS-Table-Partiton-BucketTable:每个表... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(859) 评论(0) 推荐(0) 编辑
摘要:1.计算机管理下用户组下新建用户2.系统属性下远程控制加入用户,设置允许运行任何远程桌面3.运行->gpedit.msc->计算机配置->管理模板->windows 组件->远程桌面服务->远程桌面会话主机->连接->打开限制连接的数量->勾选已启用->修改允许的 RD 最大连接数为1000->应用... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(302) 评论(0) 推荐(0) 编辑
摘要:Hive可以运行保存在文件里面的一条或多条的语句,只要用-f参数,一般情况下,保存这些Hive查询语句的文件通常用.q或者.hql后缀名,但是这不是必须的,你也可以保存你想要的后缀名。假设test文件里面有一下的Hive查询语句:use siat;select * from test limit 1... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(763) 评论(0) 推荐(0) 编辑
摘要:1.Linux2.ORACLE/MySQL/SQLSERVER3.NOSQL4.环境部署、用户及权限管理、表空间、表、视图、索引、过程、触发器、分区、函数、查询、性能调优、迁移备份、集群、日志分析、体系结构、锁、4大特性等5.windows server6.shell 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(223) 评论(0) 推荐(0) 编辑
摘要:配置客户端远程连接(方便可视化工具操作)-不需要在hive服务器上敲命令了1.安装DBeaver工具:https://dbeaver.com/download/2.准备相关驱动文件(服务器上hive/lib下拷贝)3.打开DBeaver,新建连接->Hadoop->Apache hive->Next... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(1015) 评论(0) 推荐(0) 编辑
摘要:1.LINUX JDK环境配置#set java environmentexport JAVA_HOME=/usr/java/jdk1.7.0_79export JRE_HOME=/usr/java/jdk1.7.0_79/jreexport CLASS_PATH=.:$JAVA_HOME/lib/... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(351) 评论(0) 推荐(0) 编辑
摘要:vim /etc/my.cnf ,在[mysqld]下面加上:skip-name-resolvemax_allowed_packet = 800Mdefault-character-set=utf8wait_timeout=31536000interactive_timeout=31536000lo... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(545) 评论(0) 推荐(0) 编辑
摘要:1.修改配置hive-site.xml hadoop core-site.xml限制---参考Hive记录-部署Hive环境2.启动hadoop #sh /usr/app/hadoop/sbin/start-all.sh3.jps查看五大进程是否齐全:NameNode DataNode N... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(1977) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(136) 评论(0) 推荐(0) 编辑
摘要:1.登录(浏览器输入ip地址:7180,登录用户名和登录密码即可)2.CM主界面(各个组件,监控图表,绿色代表运行正常、黄色代表运行不良,需要关注根据实际情况调整,红色代表故障,需要排查问题)3.点击左边的HDFS进入HDFS管理主页4.查看HDFS运行实例5.查看配置-服务范围-高级(根据实际情况... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(1550) 评论(0) 推荐(0) 编辑
摘要:1.安装插件安装jdk/ant/libtool/protobuf/maven/zlib-devel/openssl-devel/ncurses-devel、gcc、snappy、bzip#set javaexport JAVA_HOME=/usr/app/jdk1.8.0export JRE_HOM... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(201) 评论(0) 推荐(0) 编辑
摘要:package com.net.xinfang.reflect;import java.util.ArrayList;import java.util.Arrays;import java.util.HashMap;import java.util.HashSet;import java.util.... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(1100) 评论(0) 推荐(0) 编辑
摘要:package com.net.xinfang.reflect;import java.util.Comparator;import java.util.HashSet;import java.util.Iterator;import java.util.Set;import java.util.T... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(6804) 评论(0) 推荐(0) 编辑
摘要:package com.net.xinfang.reflect;import java.util.ArrayList;import java.util.Arrays;import java.util.Collections;import java.util.List;import java.util... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(3875) 评论(0) 推荐(0) 编辑
摘要:package com.net.xinfang.reflect;/*** * 8种基本类型(byte,int,short,long,float,double,char,boolean) * 布尔型只允许取true/false * 内置数据类型/引用数据类型---包装类 * @author xinfa... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(919) 评论(0) 推荐(0) 编辑
摘要:package com.net.xinfang.reflect;import java.io.UnsupportedEncodingException;/** * String不属于8种基本数据类型,String是一个对象。 因为对象的默认值是null,所以String的默认值也是null; * 但... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(462) 评论(0) 推荐(0) 编辑
摘要:package com.net.xinfang.reflect;import java.util.ArrayList;import java.util.Arrays;import java.util.HashSet;import java.util.List;import java.util.Sca... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(478) 评论(0) 推荐(0) 编辑
摘要:package com.net.xinfang.reflect;import java.util.ArrayList;import java.util.HashMap;import java.util.Hashtable;import java.util.Iterator;import java.u... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(1017) 评论(0) 推荐(0) 编辑
摘要:package com.net.xinfang.reflect;import java.io.IOException;import java.util.Scanner;/*** * 运行try块有异常抛出转到catch块,执行完catch后再执行finally块 * 运行try块没有异常抛出,也要... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(600) 评论(0) 推荐(0) 编辑
摘要:$1 环境介绍$1.1 Eclipse Java EE IDE for Web Developers:Neon.2 Release (4.6.2)$1.2 Maven:3.3.9$1.3 Spring:4.0.2$1.4 Mybatis:3.2.6$1.5 MySQL:5.5$1.6 Axis2:1... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(506) 评论(0) 推荐(0) 编辑
摘要:1.安装操作系统,保证联网环境,本文以CentOS 6.8为操作系统(略)2.wget下载安装包(以5.3.3为例)#mkdir /usr/cdh ---新建cm安装目录#cd /usr/cdh ---切换目录#wget 获取下载链接文件到本地服务器#wget http://arch... 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(263) 评论(0) 推荐(0) 编辑
摘要:select *from (SELECTt.s#,---学号 t.c#,---课程号 T.SCCORE, ---成绩 RANK() OVER(PARTITION BY t.c# ORDER BY t.sccore DESC ) AS rk,FROM scc t) mmwhere rk<=1 阅读全文
posted @ 2017-10-17 23:25 信方 阅读(971) 评论(0) 推荐(0) 编辑
摘要:Hue是一个开源的Apache Hadoop UI系统,由Cloudera Desktop演化而来,最后Cloudera公司将其贡献给Apache基金会的Hadoop社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来 阅读全文
posted @ 2017-10-17 23:25 信方 编辑
摘要:1.配置tnsnames.ora/listener.ora 2.启动监听 3.启动与停止 #sqlplus / as sysdba SQL>startup SQL>exit startup a.启动实例:包括读取参数文件、分配SGA、启动后台进程 b.装载数据库:将数据库与已启动的实例相联系,装载后 阅读全文
posted @ 2017-10-17 23:25 信方 编辑

点击右上角即可分享
微信分享提示