摘要: --生成分区脚本DECLARE @DataBaseName NVARCHAR(50)--数据库名称DECLARE @TableName NVARCHAR(50)--表名称DECLARE @ColumnName NVARCHAR(50)--字段名称DECLARE @Location NVARCHAR( 阅读全文
posted @ 2016-11-03 17:25 saratearing 阅读(643) 评论(0) 推荐(0) 编辑
摘要: 1.简单了解数据库邮件的概念和使用的传输协议及系统体系: 数据库邮件是从 SQL Server 数据库引擎中发送电子邮件的企业解决方案。通过使用数据库邮件,数据库应用程序可以向用户发送电子邮件。邮件中可以包含查询结果,还可以包含来自网络中任何资源的文件。 无需 Microsoft Outlook 或 阅读全文
posted @ 2016-11-03 11:13 saratearing 阅读(2238) 评论(0) 推荐(0) 编辑
摘要: 数据仓库的目的是构建面向分析的集成化数据环境,为企业提供决策支持(Decision Support)。其实数据仓库本身并不“生产”任何数据,同时自身也不需要“消费”任何的数据,数据来源于外部,并且开放给外部应用,这也是为什么叫“仓库”,而不叫“工厂”的原因。因此数据仓库的基本架构主要包含的是数据流入 阅读全文
posted @ 2016-08-29 16:46 saratearing 阅读(2784) 评论(0) 推荐(0) 编辑
摘要: 本文转自:http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html?utm_source=tuicool 此文解决了Spark yarn-cluster模式运行时,内存不足的问题。 Spark yarn-cluster模式运行时 阅读全文
posted @ 2016-08-27 17:19 saratearing 阅读(8307) 评论(0) 推荐(0) 编辑
摘要: 本文转自:http://blog.sina.com.cn/s/blog_15126e2170102w5o8.html 一、JDK的安装与配置 1、从官网下载jdk,注意是jdk不是jre。最好从官网下载,也可以直接度娘。 2、下载完毕后,安装jdk,​直接按照安装向导的提示安装即可,安装时可以自己选 阅读全文
posted @ 2016-08-26 22:04 saratearing 阅读(94979) 评论(0) 推荐(6) 编辑
摘要: 本文转自:http://www.cnblogs.com/Scott007/p/3889959.html 1 概述 Spark的on Yarn模式,其资源分配是交给Yarn的ResourceManager来进行管理的,但是目前的Spark版本,Application日志的查看,只能通过Yarn的yar 阅读全文
posted @ 2016-08-26 15:10 saratearing 阅读(757) 评论(0) 推荐(0) 编辑
摘要: 本文转自:http://www.itweet.cn/2015/07/24/yarn-resources-manager-allocation/ Hadoop YARN同时支持内存和CPU两种资源的调度(默认只支持内存,如果想进一步调度CPU,需要自己进行一些配置),本文将介绍YARN是如何对这些资源 阅读全文
posted @ 2016-08-26 15:08 saratearing 阅读(1598) 评论(0) 推荐(0) 编辑
摘要: 问题一 解决方法:表面上看是因为shuffle没有地方写了,如果后面的stack是local space 的问题,那么清一下磁盘就好了。上面这种问题,是因为一个excutor给分配的内存不够,此时,减少excutor-core的数量,加大excutor-memory的值应该就没有问题。 问题二 解决 阅读全文
posted @ 2016-08-26 14:57 saratearing 阅读(6150) 评论(0) 推荐(0) 编辑
摘要: 1、 名词说明中文分词要处理的数据为文本数据:solr.TextField,需在schema.xml文件中做相关配置,配置选项如下: analyzer:告诉solr在建立索引和搜索的时候,如何处理text类型的内容。它在schema.xml文件中配置,可以直接指定一个类给它,也可以由tokenize 阅读全文
posted @ 2016-08-05 14:11 saratearing 阅读(1320) 评论(0) 推荐(0) 编辑
摘要: 一、 准备软件 3. 解压文件 二、 安装1、 将solr-6.1.0\server\solr-webapp文件夹下webapp文件夹复制到Tomcat安装目录\webapps\目录下,并改成solr 2、 将solr-6.1.0\server\lib\ext\目录下的所有Jar包拷贝到Tomcat 阅读全文
posted @ 2016-08-05 14:02 saratearing 阅读(412) 评论(0) 推荐(0) 编辑