11 2016 档案
摘要：不多说，直接上干货！ 目前啊，都知道，大数据集群管理方式分为手工方式（Apache hadoop）和工具方式（Ambari + hdp 和Cloudera Manger + CDH）。 手工部署呢，需配置太多参数，但是，好理解其原理，建议初学这样做，能学到很多。该方式啊，均得由用户执行，细节太多，切
阅读全文
摘要：不多说，直接上干货！ 首先，大家先去看我这篇博客。对于Oozie的安装有一个全新的认识。 Oozie安装的说明 我这里呢，本篇博文定位于手动来安装Oozie，同时避免Apache版本的繁琐编译安装，直接使用CDH版本，已经编译好的oozie-4.1.0-cdh5.5.4.tar.gz。 如果，你要使
阅读全文
摘要：不多说，直接干货！ Oozie相当于Hadoop的一个客户端，因此集群中要有一台机器部署Oozie server端即可，由于可以有任意多个客户端连接Oozie，故每个客户端都必须部署Oozie client。 比如我的机器有hadoopmaster、hadoopslave1、hadoopslave2
阅读全文
摘要：Oozie的架构图，如下： 从oozie的架构图中，可以看到所有的任务都是通过oozie生成相应的任务客户端，并通过任务客户端来提交相应的任务。 继续。。。
阅读全文
摘要：Oozie的作用： 1、统一调度hadoop系统中常见的mr任务启动、 hdfs操作、 shell调度、 hive操作等 2、使得复杂的依赖关系、时间触发、事件触发使用xml语言进行表达，开发效率提高 3、一组任务使用一个DAG来表示，使用图形表达流程逻辑更加清晰 4、支持很多种任务调度，能完成大部
阅读全文
摘要：但是，一般用Azkaban了。（具体见我写的另一篇博客：） 官网：https://oozie.apache.org/ Oozie is a workflow scheduler system to manage Apache Hadoop jobs. Oozie Workflow jobs are
阅读全文
摘要：导读 Flume NG是一个分布式、可靠、可用的系统，它能够将不同数据源的海量日志数据进行高效收集、聚合、移动，最后存储到一个中心化数据存储系统中。 由原来的Flume OG到现在的Flume NG，进行了架构重构，并且现在NG版本完全不兼容原来的OG版本！！！ 经过架构重构后，Flume NG更像
阅读全文
摘要：Flume OG 与 Flume NG 的对比 1、Flume OG Flume OG：Flume original generation 即Flume 0.9.x版本，它由agent、collector、master等组件构成。 2、Flume NG Flume NG：Flume next gen
阅读全文
摘要：Flume 特点 1、可靠性 当节点出现故障时，日志能够被传送到其他节点上而不会丢失。 Flume提供了三种级别的可靠性保障，从强到弱依次分别为： (1) end-to-end（收到数据agent首先将event写到磁盘上，当数据传送成功后，再删除；如果数据发送失败，可以重新发送。）， (2) St
阅读全文
摘要：Flume是一个分布式、可靠、和高可用的海量日志聚合的系统，支持在系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 收集、聚合事件流数据的分布式框架通常用于log数据 采用ad-hoc方案，明显优点如下： 可靠的、可伸缩、可管理、
阅读全文
摘要：下面我们结合 HDFS，介绍 Sqoop 从关系型数据库的导入和导出 一、MySQL里的数据通过Sqoop import HDFS 它的功能是将数据从关系型数据库导入 HDFS 中，其流程图如下所示。 我们来分析一下 Sqoop 数据导入流程，首先用户输入一个 Sqoop import 命令，Sqo
阅读全文
摘要：Sqoop 架构是非常简单的，它主要由三个部分组成：Sqoop client、HDFS/HBase/Hive、Database。 下面是Sqoop 的架构图 （1）用户向 Sqoop 发起一个命令之后，这个命令会转换为一个基于 Map Task 的 MapReduce 作业。 （2）Map Task
阅读全文
摘要：为什么选择 Sqoop？ 通常基于三个方面的考虑： 1、它可以高效、可控地利用资源，可以通过调整任务数来控制任务的并发度。另外它还可以配置数据库的访问时间等等。 2、它可以自动的完成数据类型映射与转换。我们往往导入的数据是有类型的，它可以自动根据数据库中的类型转换到 Hadoop 中，当然用户也可以
阅读全文
摘要：Sqoop 是传统数据库与 Hadoop 之间数据同步的工具，它是 Hadoop 发展到一定程度的必然产物，它主要解决的是传统数据库和Hadoop之间数据的迁移问题。Sqoop 是连接传统关系型数据库和 Hadoop 的桥梁。它包括以下两个方面： 1、 将关系型数据库的数据导入到 Hadoop 及其
阅读全文
摘要：Sqoop 的产生主要源于： 1、目前很多使用hadoop技术的企业，有大量的数据存储在传统关系型数据库中。 2、早期由于工具的缺乏，hadoop与传统数据库之间的数据传输非常困难。 1）传统数据库中的数据导入到hadoop中，便于廉价的分析与处理 2）hadoop中的数据导入传统数据库，可利用强大
阅读全文
摘要：简单来说，Ambari是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件）,使得安装集群从几天的时间缩短在几个小时内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，大家可以关注我的个人博客： h
阅读全文
摘要：不多说，直接上干货！ 1.什么是Ambari? 2.Ambari项目是由哪几部分构成的？ 3.Ambari系统架构是如何组成的？ 前言 Hadoop集群的管控一直是一个热门的话题，对于这样的一个应用场景，我所知道国内很早就有人研究并且取得不错的成绩，这就是EasyHadoop。它的功能主要有集群安装
阅读全文
摘要：Hive总结（七）Hive四种数据导入方式 （强烈建议去看） Hive几种数据导出方式 https://www.iteblog.com/archives/955 （强烈建议去看） 把MySQL里的数据导入到HDFS 1、使用MySQL工具手工导入 把MySQL的导出数据导入到HDFS的最简单方法就是
阅读全文
摘要：模式匹配的简介 scala语言里的模式匹配可以看作是java语言中switch语句的改进。 模式匹配的类型 包括：常量模式、变量模式、构造器模式、序列模式、元组模式以及变量绑定模式等。 常量模式匹配 常量模式匹配，就是在模式匹配中匹配常量啦。 objectConstantPattern{ def m
阅读全文
摘要：一、元组Tuple 元组Tuple是不同类型的值的聚集，元组的值将单个的值包含在圆括号中来构成，元组可以包含一个不同类型的元素 如 val riple = (100, "Scala" , "Spark")1、元组中可以包含不同类型的元素，如上，把鼠标放在riple上，IDE会自动推断出元组riple
阅读全文
摘要：在Scala IDE中有一个很便捷的功能，那就是WorkSheet。 它类似于交互式命令行的代码测试，在Worksheet输入scala表达式，保存以后会立即得到程序运行的结果，有助于初学者学习scala。 步骤一： 新建一个WorkSheet 或者啊，先选择一个工程，比如我这里是，spark-st
阅读全文
摘要：Kafka是用于日志处理的分布式消息队列，Kafka使用scala语言开发的。 各个开源分布式处理系统Cloudera、Apache Storm、Spark都支持与Kafka集成。其日志处理的一个场景:Kafka采集日志以后，经过spark分布式计算，将日志数据导入到HBase中。Kafka采集的日
阅读全文
摘要：Hive可以通过实现用户定义函数（User-Defined Functions，UDF）进行扩展（事实上，大多数Hive功能都是通过扩展UDF实现的）。想要开发UDF程序，需要继承org.apache.hadoop.ql.exec.UDF类，并重载evaluate方法。Hive API提供@Desc
阅读全文
摘要：《Spark最佳实战 陈欢》写的这本书，关于此知识点，非常好，在94页。 hive里的扩展接口，主要包括CLI（控制命令行接口）、Beeline和JDBC等方式访问Hive。 CLI和Beeline都是交互式用户接口，并且功能相似，但是语法和实现不同。 JDBC是一种类似于编程访问关系型数据库的编程
阅读全文
摘要：Hive的操作与传统关系型数据库SQL操作十分类似。 Hive主要支持以下几类操作： DDL 1、DDL：数据定义语句，包括CREATE、ALTER、SHOW、DESCRIBE、DROP等。 详细点，就是 Hive支持大量SQL数据定义语言（Data Definition Language，DDL）
阅读全文
摘要：在一些特定的业务场景下，使用hive默认的配置对数据进行分析，虽然默认的配置能够实现业务需求，但是分析效率可能会很低。 Hive有针对性地对不同的查询进行了优化。在Hive里可以通过修改配置的方式进行优化。 以下，几种方式调优的属性。 1、列裁剪 在通过Hive读取数据的时候，并不是所有的需求都要获
阅读全文
摘要：Hive支持索引，但是Hive的索引与关系型数据库中的索引并不相同，比如，Hive不支持主键或者外键。 Hive索引可以建立在表中的某些列上，以提升一些操作的效率，例如减少MapReduce任务中需要读取的数据块的数量。 在可以预见到分区数据非常庞大的情况下，索引常常是优于分区的。 博主我推荐各位博
阅读全文
摘要：不多说，直接上干货！ 可以先，从MySQL里的视图概念理解入手 视图是由从数据库的基本表中选取出来的数据组成的逻辑窗口，与基本表不同，它是一个虚表。在数据库中，存放的只是视图的定义，而不存放视图包含的数据项，这些项目仍然存放在原来的基本表结构中。 视图可以被定义为多个表的连接，也可以被定义为只有部分
阅读全文
摘要：不多说，直接上干货！ Hive还可以把表或分区，组织成桶。将表或分区组织成桶有以下几个目的： 第一个目的是为看取样更高效，因为在处理大规模的数据集时，在开发、测试阶段将所有的数据全部处理一遍可能不太现实，这时取样就必不可少。 第二个目的是为了获得更好的查询处理效率。 桶为了表提供了额外的结构，Hiv
阅读全文
摘要：由客户端提交的HiveQL语句将最终被转换为一个或多个MapReduce任务并提交由Hadoop执行。不包含聚合和连接的简单SELECT语句可以使用一个单独的只包含Map阶段的任务实现。使用GROUP BY子句的聚合可以使用一个独立的MapReduce任务实现。包含大量多表连接的复杂查询需要依靠多个
阅读全文
摘要：为了对表进行合理的管理以及提高查询效率，Hive可以将表组织成“分区”。 分区是表的部分列的集合，可以为频繁使用的数据建立分区，这样查找分区中的数据时就不需要扫描全表，这对于提高查找效率很有帮助。 分区是一种根据“分区列”（partition column）的值对表进行粗略划分的机制。Hive中的每
阅读全文
摘要：hive里的索引是什么？ 索引是标准的数据库技术，hive 0.7版本之后支持索引。Hive提供有限的索引功能，这不像传统的关系型数据库那样有“键(key)”的概念，用户可以在某些列上创建索引来加速某些操作，给一个表创建的索引数据被保存在另外的表中。 Hive的索引功能现在还相对较晚，提供的选项还较
阅读全文
摘要：Hive文件存储格式包括以下几类： 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE 其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。 SEQUENCEFILE，RCFILE，ORCFILE格式
阅读全文
摘要：说在前面的话 hive的正则表达式，是非常重要！作为大数据开发人员，用好hive，正则表达式，是必须品！ Hive中的正则表达式还是很强大的。数据工作者平时也离不开正则表达式。对此，特意做了个hive正则表达式的小结。所有代码都经过亲测，正常运行。 1.regexp 语法: A REGEXP B 操
阅读全文
摘要：说在前面的话 以下三种情况，最好是在3台集群里做，比如，master、slave1、slave2的master和slave1都安装了hive，将master作为服务端，将slave1作为服务端。 以下，是针对CentOS版本的，若是Ubuntu版本，见我的博客 Ubuntu系统下安装并配置hive-
阅读全文
摘要：在Hadoop集群里，有三种模式: 1、本地模式 2、伪分布模式 3、全分布模式 在Spark集群里，有四种模式： 1、local单机模式 结果xshell可见： ./bin/spark-submit --class org.apache.spark.examples.SparkPi --maste
阅读全文
摘要：很少有人会这样来自问自己？只知道，以键值对的形式处理数据并输出结果，而没有解释为什么要以键值对的形式进行。 包括hadoop的mapreduce里的键值对，spark里的rdd里的map等。 这是为什么呢？ 1、键值对的具体含义 首先，我们会通过强调Java标准库中的类似概念，来阐明我们所说的键值对
阅读全文
摘要：很多人只会，但没深入体会和想为什么要这样？ 拿Hadoop来说，当然，spark也一样的道理。 输出路径由Hadoop自己创建，实际的结果文件遵守part-nnnn的约定。 如何指定一个已有目录作为Hadoop作业的输出路径，作业将无法进行，并会抛出异常抗议一个已经存在的目录。如果想让Hadoop将
阅读全文
摘要：能看懂博主我此博文，相信你已经有了一定基础了。 对于本地模式、伪分布模式和全分布模式的概念，这里，我不多赘述。太多资料和博客，随便在网上一搜就好。 比如《hadoop实战 第二版》陆嘉恒老师等。 我这里呢，是再次挖掘深入。 我们知道，如伪分布模式或全分布式模式，里有着很多的java进程（这个，可用j
阅读全文
摘要：该命令能够显示出正在使用的计算机的IP信息情况。这些信息包括IP地址、子网掩码、默认网关（连接本地计算机与Internet的计算机）。通过IP地址可以进行扫描、远程管理、入侵检测等。ipconfig命令可以管理计算机的DNS缓存，可以帮助计算机重新从DHCP服务器获取IP地址。 1、单击“开始” -
阅读全文
摘要：命令dir能给列出当前目录下面的所有文件、程序和子目录。所有目录（Windows 中称为文件夹）的目录名前面都有一个<DIR>标记。文件和程序名前面显示有这些文件和程序的大小。 想说的是，在DOS和Windows资源管理中看到的目录、程序和文件列表是一模一样的。 1、单击“开始”->“运行” 或 系
阅读全文
摘要：发现，随着自身一路过来所学，无论在大数据领域、还是linux or windows里，菜鸟的我慢慢在长大。把自己比作一个园，面积虽在增加，涉及面增多，但圆外的东西，还是那么多。 现在，正值在校读研，趁相对有时间，恶补计算机，在图书馆，无意路过发现此本书。为此，拿来写上博客，方便日后所用和为各位博文好
阅读全文
摘要：当初，我是只弄20G，现在呢，我想扩容到50G。无论是采用直接扩容的方式，还是采用另添加一块磁盘，进行动态扩容或静态扩容，再挂载上去的方式。都得先删去快照。 对于，这样个问题。 很多朋友，给我的建议都是： 我以前虚拟机硬盘满了的话，就直接新加一块硬盘。关于虚拟机的资源，我只用过增加内存和增加硬盘。
阅读全文
摘要：说在前面的话 默认情况下，Hive元数据保存在内嵌的Derby数据库中，只能允许一个会话连接，只适合简单的测试。实际生产环境中不使用，为了支持多用户会话， 则需要一个独立的元数据库，使用MySQL作为元数据库，Hive内部对MySQL提供了很好的支持。 在Ubuntu系统下安装并配置hive详细正确
阅读全文
摘要：原博文出自于： 感谢！ Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。如何解决这个单点故障的问题，Spark提供了两种方案： 基于文件系统的单点恢复(Single-Node Reco
阅读全文
摘要：一、下载 二、安装 三、使用 四、注册 五、附录 非常感谢Focusky官方团队开发并提供实用的这么一款软件！！！ 一、下载 http://www.focusky.com.cn/ 二、安装 三、使用 Focusky新手入门帮助：http://www.focusky.com.cn/help-176.h
阅读全文
摘要：原博文出自于：http://tech.meituan.com/kafka-fs-design-theory.html 感谢！ Kafka是什么 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统(也可以当做MQ系统)，常见
阅读全文
摘要：运行kafka ，需要依赖 zookeeper，你可以使用已有的 zookeeper 集群或者利用 kafka自带的zookeeper。 单机模式，用的是kafka自带的zookeeper， 分布式模式，用的是外部安装的zookeeper，即公共的zookeeper。 见博客 4 kafka集群部署
阅读全文
摘要：Ubuntu 16.04 Server的下载 http://www.ubuntu.org.cn/download/server 按空格键（Space）选中第一个ssh服务 成功！
阅读全文
摘要：步骤一: https://zh.snipaste.com/ ，去此官网下载。 步骤二：由于此是个绿色软件，直接解压即可。 步骤三:使用，见官网。ttps://zh.snipaste.com 按F1开始截屏 感谢下面哥的精彩微信文章 http://mp.weixin.qq.com/s?__biz=Mz
阅读全文
摘要：博主我带大家，弄清楚一个事实。 比如，搜狐主页下方，有很多友情链接，这些友情链接，那可是一个位置就是多少钱。 有人说，一个位置多少钱，这又没有给我带来点击量，那我干嘛还每年花上几十万，给搜狐，就那么放在友情链接里呢？ 不懂行情的人，说好傻啊。 其实啊，虽然，搜狐，没给它们带来流量和点击量，但是，带来
阅读全文
摘要：前言 说明的是，本博文，是在以下的博文基础上，立足于它们，致力于我的大数据领域！ http://kongcodecenter.iteye.com/blog/1231177 http://blog.csdn.net/u010376788/article/details/51337312 http://
阅读全文
摘要：本博文，是在http://blog.csdn.net/u010911997/article/details/44099165 的基础上。感谢原博主！ 问题1：在DFS Lcation 上不能多文件进行操作： 在Hadoop上的每个节点上修改该文件 conf/mapred-site.xml 增加： <
阅读全文
摘要：前言 加快创建hadoop或spark集群，方法有两种途径：克隆或复制。其实啊，我最近，再返回写下本博文，理清下思路。 比如，你在你的一台电脑里，安装虚拟机。已经搭建好了hadoop或spark集群。为了省时间，同时也我为了亲身动手实践这一环节。 比如啊，我在另外一台电脑里安装好了。克隆或复制如Ha
阅读全文
摘要：http://www.runoob.com/linux/linux-shell.html 第一章、linux 的介绍和安装1.1 linux 操作系统介绍 linux 的创始人 Linus torvalds。 linux 与 GNU 和 minix linux 与 windows linux 与 u
阅读全文
摘要：Linux 介绍 内核 库: .so 共享对象，windows：dll 动态链接库 应用程序 Linux的基本原则：1、由目的单一的小程序组成；组合小程序完成复杂任务；2、一切皆文件；3、尽量避免捕获用户接口；4、配置文件保存为纯文本格式； 用户接口GUI接口：CLI接口： 命令提示符，prompt
阅读全文
摘要：软件安装和管理软件包1、bin文件.bin2、rpm包3、源码压缩包 安装软件的步骤： 1、检查是否已经安装 rpm -qa | grep jdk 2、下载软件包 3、安装 依赖 rpm 包，已经编译之后的应用程序。 rpm命令： 1、安装rpm -i /PATH/TO/PACKAGE_FILE -
阅读全文
摘要：前言 使用默认的Kali Linux设置来学习是可以的，但是我们通常要修改系统的一些基本设置，来最大化使用Kali平台的功能。 以下内容 网络的基础知识 使用图形用户界面来配置网卡 使用命令行来配置网卡 使用图形用户界面来配置网卡 使用命令行来配置无线网卡 启动、停止和重启Apache服务器 安装F
阅读全文
摘要：写在前面的话 能看懂此博客的朋友，深信你有一定的Kali基础了。 使用APT软件包处理工具（apt-get）、Debian软件包管理器（dpkg）来维护、升级和安装自定义及第三方应用程序 APT软件包处理工具（apt-get） APT软件包处理工具是一个轻量级但功能强大的命令行工具，用于安装和删除软
阅读全文
摘要：安装Kali里的应用程序或软件包 安装额外的软件是apt-get命令最基本的功能了，命令非常简单易懂。安装软件包的语法如下： apt-get install 软件包名 比如，安装图像编辑软件gimp，则apt -get install gimp。 更新 每时每刻都要检查软件源，或软件库，以获得安装在
阅读全文
摘要：为什么需要渗透测试？ 答:如果不能确定防火墙、IDS、文件完整性监控等风险减缓控制的实际效果，那么就应当进行渗透测试。虽然漏洞扫描（脆弱性评估）能够发现各个漏洞，但是渗透测试则会验证这些漏洞在实际环境里被利用的可能性。 标准的渗透测试 .事前互动 .情报收集 .威胁建模 .漏洞分析 .漏洞利用 .深
阅读全文
摘要：Kali Linux是什么？ Kali Linux是一个渗透测试平台兼安全审计平台，它集成了多款漏洞检测、目标识别和漏洞利用工具。 Kali Linux是专门用于渗透测试的Linux操作系统；基于Debian的linux发行版；集成300多个渗透测试程序；支持绝大多数的无线网卡；修改了内核以支持(无
阅读全文
摘要：原博文出自于： http://blog.csdn.net/oopsoom/article/details/39401391 感谢！ Spark1.1推出了Uer Define Function功能，用户可以在Spark SQL 里自定义实际需要的UDF来处理数据。 因为目前Spark SQL本身支持
阅读全文
摘要：原博文出自于：http://blog.csdn.net/longzilong216/article/details/23921235（暂时） 感谢！ 自己写代码时候的利用到的模板 UDF步骤： 1.必须继承org.apache.hadoop.hive.ql.exec.UDF 2.必须实现evalua
阅读全文
摘要：原博文出自于： http://blog.csdn.net/liuj2511981/article/details/8523084 感谢！ Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。一、背景： Hive是基于Had
阅读全文
摘要：原博文出自于： http://blog.csdn.net/book_mmicky/article/details/25714049 感谢！ 1：上www.mysql.org下载64位版本mysql5.6.12 (MySQL-5.6.12-1.el6.x86_64.rpm-bundle.tar）。 2
阅读全文
摘要：原博文出自于: http://sanwen.net/a/gqkotbo.html 感谢！ 来源：数盟 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业
阅读全文
摘要：原博文出自于： http://blog.csdn.net/pengych_321/article/details/52014249#comments 感谢！ 场景 好的，假设项目数据调研与需求分析已接近尾声，马上进入Coding阶段了，辣么在Coding之前需要干马呢？是的，“统一开发工具、开发环境
阅读全文
摘要：前言 第1章 为什么Spark SQL？ 第2章 Spark SQL运行架构 第3章 Spark SQL组件之解析 第4章 深入了解Spark SQL运行计划 第5章 测试环境之搭建 第6章 Spark SQL之基础应用 第7章 ThriftServer和CLI 第8章 Spark SQL之综合应用
阅读全文
摘要：前言 Spark MLlib是Spark对常用的机器学习算法的实现库，同时包括相关的测试和数据生成器。
阅读全文
摘要：原文出自于： http://my.csdn.net/lovehuangjiaju 感谢！ 也感谢，http://m.blog.csdn.net/article/details?id=52233484 这是本人收集的Scala学习资料，觉得还不错。转载比较费事，所以就只给链接了。顺便做个目标，方便好找
阅读全文
摘要：前言 枚举是一类程序，它允许用户从一个网络中收集某一类的所有相关服务。
阅读全文
摘要：写在前面的话 关于中文输入法，实在是有太多了。当然，你也不可以不安装，（安装了增强工具即可），在windows 里输入中文，复制进去即可。 但是呢，想成为高手，还是要学会安装和使用各版本的中文输入法。 更简便的安装Kali 中文输入法 参考 http://blog.csdn.net/hanchaoq
阅读全文
摘要：写在前面的话 因读研期间，实验室团队需要，所以，接触上了Kali Linux，需去获得网络安全方面的数据，即数据和信息收集。以便为后续的数据处理和分析，准备！ 用到hadoop和spark、机器学习等。 若是 VMare 11，则不会出现Debian 8，所以，我建议，来看此博文深入kali 的你，
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/BYRans/p/5003029.html 感谢！ Spark SQL 之 DataFrame 转载请注明出处：http://www.cnblogs.com/BYRans/ 概述（Overview） Spark SQL是Spark的一个组
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/namhwik/p/5967910.html RDD与DataFrame转换1. 通过反射的方式来推断RDD元素中的元数据。因为RDD本身一条数据本身是没有元数据的，例如Person，而Person有name,id等，而record是不知
阅读全文
摘要：原博文来自于： http://blog.csdn.net/u012297062/article/details/52207934 感谢！ 使用Spark SQL中的内置函数对数据进行分析，Spark SQL API不同的是，DataFrame中的内置函数操作的结果是返回一个Column对象，而Dat
阅读全文
摘要：原博文出自于： http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/page/5/ 感谢！ Posted: Feb 7, 2013 Tags: MySQL Comments: 0 Comments MySQL [转] select cou
阅读全文
摘要：原博文出自于： http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/page/4/ 感谢！ Posted: May 31, 2013 Tags: Mongodb主从复制分步式系统 Comments: 0 Comments MongoDB主
阅读全文
摘要：原博文出自于： http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/page/4/ 感谢！ MongoDB 自动分片 auto sharding MongoDB部署实验系列文章，MongoDB做为NoSQL数据库，最近几年持续升温，越来越
阅读全文
摘要：原博文出自于： http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/page/4/ 感谢！ upstart封装mongodb应用为系统服务 ubuntu实用工具系列文章 操作系统实用工具系列文章，将介绍基于Linux ubuntu的各种工
阅读全文
摘要：原博文出自于： http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/page/4/ 感谢！ Posted: Jul 1, 2013 Tags: JavascriptMongodbMongoosenodejsregregexp模糊查询正则表
阅读全文
摘要：原博文出自于： http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/page/3/ 感谢！ Cassandra单集群实验2个节点 前言 Apache Cassandra是一套开源分布式Key-Value存储系统。它最初由Facebook开
阅读全文
摘要：原博文出自于： http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/page/3/ 感谢！ Posted: Jul 16, 2013 Tags: HadoophiveHiveQLsql分区表 Comments: 18 Comments H
阅读全文
摘要：原博文出自于： http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/page/3/ 感谢！ R利剑NoSQL系列文章 之 Cassandra R利剑NoSQL系列文章，主要介绍通过R语言连接使用nosql数据库。涉及的NoSQL产品，包括
阅读全文
摘要：原博文出自于： http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/page/3/ 感谢！ Posted: Jul 27, 2013 Tags: HadoophivelinuxRRHivesql Comments: 11 Comments
阅读全文
摘要：原博文出自于： http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/page/2/ 感谢！ [MySQL优化]为MySQL数据文件ibdata1瘦身 前言 MySQL在运行一段时间后，ibdata1的文件会增长大小，就算删除了表的数据，i
阅读全文
摘要：原博文出自于： http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/page/2/ 感谢！ 用Nodejs连接MySQL 从零开始nodejs系列文章，将介绍如何利Javascript做为服务端脚本，通过Nodejs框架web开发。Nod
阅读全文
摘要：原博文出自于： http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/page/2/ 感谢! Posted: Sep 24, 2013 Tags: dbConnectDBIdbSendQuerydbWriteTableMySQLRRMySQ
阅读全文
摘要：原博文出自于： http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/page/2/ 感谢！ Posted: Oct 29, 2013 Tags: clusterhaneo4jNoSQL高可用 Comments: 0 Comments cl
阅读全文
摘要：不多说，直接上干货！ 原博文出自于： http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/ 感谢! 在Ubuntu中安装Redis R利剑NoSQL系列文章，主要介绍通过R语言连接使用nosql数据库。涉及的NoSQL产品，包括Redis
阅读全文
摘要：原博文出自于： http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/ 感谢！ Posted: Mar 22, 2014 Tags: cassandraUbuntu Comments: 0 Comments cassandraUbuntu
阅读全文
摘要：原博客出自于： http://blog.fens.me/category/%E6%95%B0%E6%8D%AE%E5%BA%93/ 感谢！ Posted: Apr 3, 2014 Tags: Hadoophbasethrift Comments: 0 Comments Hadoophbasethri
阅读全文
摘要：原博文出自于： http://blog.fens.me/hadoop-mapreduce-recommend/ 感谢！ 用Hadoop构建电影推荐系统 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout
阅读全文
摘要：原博文出自于： http://blog.fens.me/hadoop-mahout-recommend-job/ 感谢！ 用Mahout构建职位推荐引擎 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahou
阅读全文
摘要：原博文出自于： http://blog.fens.me/hadoop-mahout-recommend-book/ 感谢！ Mahout构建图书推荐系统 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahou
阅读全文
摘要：原博文出自于： http://blog.fens.me/mahout-recommend-engine/ 感谢! 从源代码剖析Mahout推荐引擎 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout,
阅读全文
摘要：原博文出自于： http://blog.fens.me/hadoop-mahout-kmeans/ 感谢！ Mahout分步式程序开发 聚类Kmeans Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahou
阅读全文
摘要：原博文出自于： http://blog.fens.me/hadoop-mahout-mapreduce-itemcf/ 感谢！ Posted: Oct 14, 2013 Tags: HadoopitemCFMahoutMapReducemr Comments: 52 Comments Hadoopi
阅读全文
摘要：原博文出自于： http://blog.fens.me/mahout-recommendation-api/ 感谢！ Posted: Oct 21, 2013 Tags: itemCFknnMahoutrecommendationSlope OneTree ClusterUserCF Comment
阅读全文
摘要：原博文出自于： http://blog.fens.me/hadoop-mahout-maven-eclipse/ 感谢！ 用Maven构建Mahout项目 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Maho
阅读全文
摘要：原博文出自于： http://blog.fens.me/hadoop-mahout-roadmap/ 感谢！ Mahout学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeep
阅读全文
摘要：原博文出自于： http://blog.csdn.net/lw_ghy/article/details/51480358 感谢！ 一、从csv文件创建DataFrame 本文将介绍如何从csv文件创建DataFrame。如何做？ 从csv文件创建DataFrame主要包括以下几步骤： 1、在buil
阅读全文
摘要：原博文出自于： https://segmentfault.com/a/1190000002614456 感谢！ 三月中旬，Spark发布了最新的1.3.0版本，其中最重要的变化，便是DataFrame这个API的推出。DataFrame让Spark具备了处理大规模结构化数据的能力，在比原有的RDD转
阅读全文
摘要：原博文出自于： http://blog.fens.me/hadoop-maven-eclipse/ 感谢！ 用Maven构建Hadoop项目 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zoo
阅读全文
摘要：原博文出自于： http://blog.fens.me/hadoop-hive-10g/ 感谢！ Hive导入10G数据的测试 让Hadoop跑在云端系列文章，介绍了如何整合虚拟化和Hadoop，让Hadoop集群跑在VPS虚拟主机上，通过云向用户提供存储和计算的服务。 现在硬件越来越便宜，一台非品
阅读全文
摘要：原文博客出自于：http://blog.fens.me/hadoop-hive-roadmap/ 感谢！ Hive学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper,
阅读全文
摘要：进入http://abloz.com/hbase/book.html
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/4081848.html 感谢！ 一、log4jdbc的简单介绍 使用log4jdbc在不改变原有代码的情况下，就可以收集执行的SQL文和JDBC执行情况。 平时开发使用的ibatis,hibernate,sprin
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/4221848.html 感谢！ kaptcha是一个简单好用的验证码生成工具，通过配置，可以自己定义验证码大小、颜色、显示的字符等等。下面就来讲一下如何使用kaptcha生成验证码以及在服务器端取出验证码进行校验。
阅读全文
摘要：原博文出自于: http://www.cnblogs.com/xdp-gacl/p/5209386.html 感谢！ 一.JDK版本切换批处理脚本 我们平时在window上做开发的时候，可能需要同时开发两个甚至多个项目，有时不同的项目对JDK的版本要求有区别，这时候我们可能会在一台电脑上安装多个版本
阅读全文
摘要：原博文出自于：http://www.cnblogs.com/xdp-gacl/p/5288399.html 感谢！ 一.问题描述 今天一来公司,在IntelliJ IDEA 中启动Tomcat服务器时就出现了如下图所示的错误: 错误: 代理抛出异常错误: java.rmi.server.Export
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/3641769.html 感谢！ 1、一个".java"源文件中是否可以包括多个类（不是内部类）？有什么限制？ 可以有多个类，但只能有一个public的类，并且public的类名必须与文件名相一致。 2、Java有没
阅读全文
摘要：原博文出自于： http://blog.csdn.net/keyeagle/article/details/6723408 http://www.cnblogs.com/xdp-gacl/p/3706921.html 感谢！ 最近有在学Nginx和Tengine，扩充自己的大数据领域的框架。 进一步
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/4097608.html 感谢！ 一、上传Tomcat服务器 二、安装Tomcat服务器 2.1、解压tomcat服务器压缩包 2.2、配置环境变量 tomcat服务器运行时是需要JDK支持的，所以必须配置好JDK用
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/3617173.html 感谢！ 1. 现实世界 现实世界是存在于人们头脑之外的客观世界，是客观事物及其互相的联系。例如学校教学管理中涉及的学生管理、教师管理、课程管理。管理者要求：每个学期开学时制作学生选修课程情况
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/3619249.html 感谢！ 关系模型数据库系统的数据结构简单，表示数据及其数据之间的联系均采用关系（二维表），同时关系模型有扎实的数学理论做基础，使得数据的操作可以通过关系的运算来完成。 关系及关系模型 关系是
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/4012853.html 感谢！ 今天在帮同事查看一条删除的SQL语句执行出错的问题 SQL语句如下： 这条SQL语句放到Oracle数据库中去执行是可以正常执行的，但是放到MySQL数据库中执行时就出现了如下的错误
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/4008095.html 感谢！ 最近发现，在MySQL的dos客户端输出窗口中查询表中的数据时，表中的中文数据都显示成乱码，如下图所示： 上网查了一下原因：之所以会显示乱码，就是因为MySQL客户端输出窗口显示中文
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/4354199.html 感谢！ 对于，搞大数据的博主我，svn是需要了解的，很多源码包！ 一、SVN在线安装 下面为在线安装SVN插件。以下是在线安装步骤： 其中http://subclipse.tigris.or
阅读全文
摘要：原博文出自于：http://www.cnblogs.com/xdp-gacl/p/4231812.html 感谢！ 一、 Log4E插件下载 下载地址：http://log4e.jayefem.de/content/view/3/2/ 二、安装Log4E插件 将下载下来的压缩包解压缩，如下图所示：
阅读全文
摘要：原博文出自于：http://www.cnblogs.com/xdp-gacl/p/4142495.html 感谢！ MyEclipse中配置WebLogic12c服务器的步骤如下： 【Window】→【Preferences】，如下图所示： 找到WebLogic的配置，如下图所示： 进行如下图所示的
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/4136303.html 感谢！ 平时开发中，我们喜欢将一些类打包成jar包，然后在别的项目中继续使用，不过由于看不到jar包里面的类的源码了，所以也就无法调试，要想调试，那么就只能通过关联源代码的形式，这样或多或少
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/3935499.html 感谢! 一、设置使用的Tomcat服务器 如果不想使用MyEclipse自带的tomcat服务器版本，那么可以在MyEclipse中设置我们自己安装好的tomcat服务器 设置步骤如下： W
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/3927677.html 感谢！ 安装好MyEclipse之后，在MyEclipse中开发项目时，默认使用的是MyEclipse是自带的JDK，如下图所示： 如果我们需要使用自己安装好的JDK，那么就需要在MyEcl
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/3769058.html 感谢！ 一、修改Servlet的默认模板代码 使用MyEclipse创建Servlet时，根据默认的Servlet模板生成的Servlet代码如下： 在实际开发中，这些生成的代码和注释一般我
阅读全文
摘要：原博文出自于：http://www.cnblogs.com/xdp-gacl/p/3781749.html 感谢！ 一、查找文件 使用快捷键【ctrl+shift+R】弹出弹出文件查找框，如下图所示： 二、查找包含某个字符串的文件 使用快捷键【ctrl+H】在弹出对话框中选File Search选项
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/3544208.html 感谢！ 一、正则表达式去除代码行号 作为开发人员，我们经常从网上复制一些代码，有些时候复制的代码前面是带有行号，如： MyEclipse本身自带有查找替换功能，并且支持正则表达式替换，使用正
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/3497016.html 感谢！ 一、下载SVN插件subclipse 下载地址：http://subclipse.tigris.org/servlets/ProjectDocumentList?folderID=2
阅读全文
摘要：原博文出自于：http://www.cnblogs.com/xdp-gacl/p/3496161.html 感谢！ 在MyEclispe中创建Jsp页面，Jsp页面的默认编码是“ISO-8859-1”，如下图所示： 在这种编码下编写中文是没有办法保存Jsp页面的，会出现如下的错误提示： 因此可以设置
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/5290155.html 感谢！ 一.下载Nginx 从Nginx的官网（http://nginx.org/en/download.html）下载Nginx的最新版本，这里我下载的是nginx-1.9.12。 下载完
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/4239006.html 感谢！ 一、问题描述 今天在MyEclipse中使用Maven编译项目源代码时，结果如下了如下的错误 百思不得其解啊，java源代码在MyEclipse中显示是没有任何错误的，可是执行"ma
阅读全文
摘要：原博文出自于：http://www.cnblogs.com/xdp-gacl/p/4068967.html 感谢！ 一、搭建nexus私服的目的 为什么要搭建nexus私服，原因很简单，有些公司都不提供外网给项目组人员，因此就不能使用maven访问远程的仓库地址，所以很有必要在局域网里找一台有外网权
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/4242221.html 感谢！ 在平时的Javaweb项目开发中为了便于后期的维护，我们一般会进行分层开发，最常见的就是分为domain（域模型层）、dao（数据库访问层）、service（业务逻辑层）、web（表
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/4054814.html 感谢！ 一、创建Web项目 1.1 选择建立Maven Project 选择File -> New ->Project，如下图所示： 在New窗口中选择 Maven -> Maven Pro
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/4052025.html 感谢！ 一、安装Maven插件 下载下来的maven插件如下图所示：，插件存放的路径是：E:/MavenProject/Maven2EclipsePlugin m2e.txtt文件的内容如下
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/4058008.html 感谢！ 一、聚合 如果我们想一次构建多个项目模块，那我们就需要对多个项目模块进行聚合 1.1、聚合配置代码 例如：对项目的Hello、HelloFriend、MakeFriends这三个模块
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/4051819.html 感谢！ 一、Maven坐标 1.1、什么是坐标？ 在平面几何中坐标（x,y）可以标识平面中唯一的一点。 1.2、Maven坐标主要组成 groupId：组织标识（包名） artifactId
阅读全文
摘要：原博文出自于： http://www.cnblogs.com/xdp-gacl/p/4240930.html 感谢！ maven作为一个高度自动化构建工具，本身提供了构建项目的功能，下面就来体验一下使用maven构建项目的过程。 一、构建Java项目 1.1、创建Jave Project 1、使用m
阅读全文
摘要：原博文出自于：http://www.cnblogs.com/xdp-gacl/p/4051690.html 感谢！ 上一篇只是简单介绍了一下maven入门的一些相关知识，这一篇主要是体验一下Maven高度自动化构建项目的过程 一、创建Maven项目 1.1、建立Hello项目 1、首先建立Hello
阅读全文
摘要：不多说，直接上干货！ 原博文出自于：http://www.cnblogs.com/xdp-gacl/p/3498271.html 感谢！ 一、Maven的基本概念 Maven(翻译为"专家"，"内行")是跨平台的项目管理工具。主要服务于基于Java平台的项目构建，依赖管理和项目信息管理。 1.1、项
阅读全文
摘要：原博文出自于：http://blog.csdn.net/m13666368773/article/details/8060481 http://www.cnblogs.com/yuanfuqiang/p/5803503.html 感谢！ 一、正向代理的概念 正向代理,也就是传说中的代理,他的工作原理
阅读全文
摘要：session一致性memcached缓存数据库解决方案 1、安装memcached内存数据库 yum –y install memcached 可以用telnet localhost 11211 Set abc 0 0 5 12345 get abc 2、web服务器连接memcached的jar
阅读全文
摘要：总结 2.tengine的状态监控 Tengine的状态监控有两种 这里演示一个健康检查模块功能 配置一个status的location location /status { check_status; } 在upstream配置如下 check interval=3000 rise=2 fall=
阅读全文
摘要：什么是代理？ 代理是为网络用户代理了来访问网络的，比如Google agent代理FQ。 什么是反向代理？ 以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个反向代理服务
阅读全文
摘要：原博主于： http://www.ha97.com/5803.html 感谢！ 服务器集群 Apache 和 nginx（web服务器） 1、 多台集群机器联合处理一个任务。 2、 一台机器处理不同的多个任务。 特点： 处理静态数据速度快（自动html静态数据的缓存） 并发数一般要比J2EE服务器要
阅读全文
摘要：原博文出自于：http://www.ha97.com/5803.html 感谢！ PS：机器学习这两年特别火，ATB使劲开百万到几百万年薪招美国牛校的机器学习方向博士，作为一个技术控，也得折腾下，就这样来初步折腾下Mahout这个机器学习的主流开源框架。 一、Mahout简介 查了Mahout的中文
阅读全文
摘要：步骤一：vi nginx.conf配置文件，参考本博文的最下面总结，自行去设置 最后nginx.conf内容为 步骤二：每次修改了nginx.conf配置文件后，都要reload下。 index.html里写入如下内容 步骤三： 先来配一个路由映射 因为，我们的nginx.conf为 以上， 是基于
阅读全文
摘要：简洁安装 --prefix=/opt/sxt/soft/tengine-2.1.0/ \ --error-log-path=/var/log/nginx/error.log \ --http-log-path=/var/log/nginx/access.log \ --pid-path=/var/r
阅读全文
摘要：原博文出自于：http://blog.csdn.net/bruce_6/article/details/38228299 感谢！ 相信很多人都听过nginx，这个小巧的东西慢慢地在吞食apache和IIS的份额。那究竟它有什么作用呢？可能很多人未必了解。 说到反向代理，可能很多人都听说，但具体什么是
阅读全文
摘要：原博文出自于： http://blog.csdn.net/clj198606061111/article/details/22621003 感谢！ 实验环境 windows xp sp3 Nginx版本：1.5.12； 下载地址：http://nginx.org/en/download.html T
阅读全文
摘要：什么是Nginx 什么是Tengine 看看国内大公司在用Nginx和Tengine吗？ 步骤一：进入 https://www.taobao.com/，按F12。可看到 有很多APP对淘宝进行请求。随便点击一个， 步骤二：当然，可以看到，并不都在nginx里。比如还有Tengine...等其他。这个
阅读全文
摘要：不多说，直接上干货！ 欢迎大家，关注微信扫码并加入我的3个微信公众号： 大数据躺过的坑 Java从入门到架构师 人工智能躺过的坑 每天都有大量的学习视频资料和精彩技术文章推送... 人生不易，唯有努力。 百家号 ：九月哥快讯 快手号： jiuyuege 一、下载压缩包 http://download
阅读全文
摘要：原博文出自于：http://blog.csdn.net/a454211787/article/details/22494485 感谢! 1、nginx相对于apache优点： 轻量级同样起web 服务比apache占用更少内存及资源 抗并发nginx 处理请求异步非阻塞而apache 则阻塞型高并发
阅读全文
摘要：原博文出自于：http://blog.csdn.net/liutengteng130/article/details/47001831 感谢！ 类之间有聚合和继承关系，Maven也具备这样的设计原则。那么Maven的pom是如何进行聚合与继承的呢？ 一、什么是聚合？为什么要用聚合？ 上一篇博客介绍了
阅读全文
摘要：本博文出自于：http://blog.csdn.net/liutengteng130/article/details/47000217 感谢！ 为了防止传递依赖，我们各个模块之间尽量用直接依赖的方式。本篇文章介绍多模块化开发，我们做过Maven项目的都知道，我们的项目一般都是分模块的，每个模块都会对
阅读全文
摘要：原博文出自于：http://blog.csdn.net/liutengteng130/article/details/47000069 感谢! 假设A-->C B-->A ==> B-->C ，A依赖于C是直接依赖，B依赖于A是直接依赖，B依赖于C是传递依赖。 现象一 举个例子：A-->log1.0
阅读全文
摘要：原博文出自于：http://blog.csdn.net/liutengteng130/article/details/46991829 感谢！ 在上一个项目中遇到一些jar包冲突的问题，之后还有很多人分不清楚dependencies与dependencyManagement的区别，本篇文章将这些区别
阅读全文
摘要：原博文出自于： http://blog.csdn.net/liutengteng130/article/details/42879803 感谢！ 开篇前提 1、为什么要用两个war包的调用？ 因为我们Maven项目每个war包都是一条线，前台用easyui，而每一条线都要引用easyui相关的js、
阅读全文
摘要：原文出自于：http://blog.csdn.net/liutengteng130/article/details/41622681 感谢！ 这几天在搭框架中仅仅是JBOSS就遇到了很多问题，这些问题我们在解决中。 原来JBOSS用的是5.0的版本，现在JBOSS一下升级到了7.3的版本，这是一个很
阅读全文
摘要：原博文出于：http://blog.csdn.net/liutengteng130/article/details/41622013 感谢！ maven把项目的构建划分为不同的生命周期(lifecycle)，这个过程包括：编译、测试、打包、集成测试、验证、部署。maven中所有的执行动作(goal)
阅读全文
摘要：原博文出于：http://blog.csdn.net/liutengteng130/article/details/41611755 感谢！ Maven里面的Jar包经常出现Missing的情况，无外乎几种情况： 1、私服里面没有相应的版本号的Jar包或者Jar包没写版本号 2、Jar包引错了，相应
阅读全文
摘要：原博文出于： http://blog.csdn.net/liutengteng130/article/details/41426955 感谢！ 新建的Maven项目，在build的时候总是打包失败，提示少Jar包，如下： [ERROR] Failed toexecute goal on projec
阅读全文
摘要：原博文出于： http://blog.csdn.net/liutengteng130/article/details/47129909 感谢！ Nginx占有内存少,并发能力强,事实上Nginx的并发能力确实在同类型的网页伺服器中表现较好.目前中国大陆使用Nginx网站用户有:新浪,网易,腾讯,淘宝
阅读全文
摘要：原博文出于： http://blog.csdn.net/liutengteng130/article/details/46724081 感谢！ 上篇文章介绍了Nginx框架的设计之管理进程以及多个工作进程的设计，master进程用来管理通过fork子进程与子进程通信，子进程通过处理进程信号接到mas
阅读全文
摘要：原博文出于：http://blog.csdn.net/liutengteng130/article/details/46700999 感谢！ Nginx由一个master进程和多个worker进程组成，但master进程或者worker进程中并不会再创建线程。 一、master进程和worker进程
阅读全文
摘要：原博文出于： http://blog.csdn.net/liutengteng130/article/details/46700977 感谢！ 高度模块化的设计设Nginx架构的基础。在Nginx中，除了少量的核心代码，其他一切皆为模块。模块化设计具有以下特点： 1、高度抽象的模块接口 2、灵活性
阅读全文
摘要：原博文出于：http://blog.csdn.net/liutengteng130/article/details/46700939 感谢！ 一、介绍 Nginx是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP代理服务器。 Nginx是一款轻量级的Web服务器/反向代理服
阅读全文
摘要：[spark@sparksinglenode ~]$ yum grouplist | moreLoaded plugins: fastestmirror, refresh-packagekit, securitySetting up Group ProcessDetermining fastest
阅读全文
摘要：写在前面的话 本博主我，强烈建议，来看此博文的朋友们，都玩玩。 最好，在刚入门的时候呢，不加行号，不玩文本和语法高亮显示，以后会深有体会。磨炼自己！ 步骤一：进入 /etc/virc配置文件 步骤二：随便，在一个空白地方， 步骤三： 如何让vim编辑器永久显示行号 这样，就可以达到目的了！
阅读全文
摘要：如，我想看/etc/profile文件的前5行里的第5行。 则， head -5 /etc/profile | tail -1 管道|啊，很简单，就是把左边命令的结果，作为右边的输入。 如，我想看/etc/profile文件的后5行的第1行 则， tail -5 /etc/profile | hea
阅读全文
摘要：更多，请看他人博客：last 命令 http://www.cnblogs.com/kerrycode/p/4223751.html http://www.xitongzhijia.net/xtjc/20150213/38511.html
阅读全文
摘要：相信来看本博文的朋友，肯定是已经玩过linux好段时间了，才能深刻理解我此番话语。 这是在Windows下的命令行接口 这是windows下的用户接口 就是它，explorer.ext，可以去尝试。把这个进程，结束，最后得到的是
阅读全文
摘要：对于Referenced Libraries 若是手动，新建好Scala项目工程，这里取名为ScalaInAction 得需将Scala 2.11.8自带的，换成2.10.*版本 在其上，点击右键，Bulid Path，再Configure Build Path 右键， New -> Folder
阅读全文
摘要：原文来自： http://blog.csdn.net/zhumin726/article/details/8027802 1 HIVE概述 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，HIVE的设计，可以轻松实现数据汇总，ad-hoc查询和分析大量的数据。
阅读全文
摘要：原文来自： http://blog.csdn.net/zhumin726/article/details/8027802 1 HIVE概述 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，HIVE的设计，可以轻松实现数据汇总，ad-hoc查询和分析大量的数据。
阅读全文
摘要：原文来自： http://blog.csdn.net/songchunhong/article/details/51423823 １．下载Hive安装包apache-hive-1.2.1-bin.tar.gz 2.解压安装包，并移动到要安装的路径下 sudo tar -zxvf apache-hiv
阅读全文
摘要：写在前面的话 可详细参考，一定得去看 HBase 开发环境搭建（Eclipse\MyEclipse + Maven） Zookeeper项目开发环境搭建（Eclipse\MyEclipse + Maven） Hive项目开发环境搭建（Eclipse\MyEclipse + Maven） MapRed
阅读全文
摘要：写在前面的话 可详细参考，一定得去看 HBase 开发环境搭建（Eclipse\MyEclipse + Maven） Zookeeper项目开发环境搭建（Eclipse\MyEclipse + Maven） Hive项目开发环境搭建（Eclipse\MyEclipse + Maven） 我这里，相信
阅读全文
摘要：以下两种方法都可以，推荐用方法一！ 如果有误，请见博客 MySQL用户权限(Host,User,Password)管理(mysql.user) 可以自己去增加和删除用户。别怕，zhouls! MySQL用户权限(Host,User,Password)管理(mysql.user) 可以自己去增加和删除
阅读全文
摘要：写在前面的话 可详细参考，一定得去看 HBase 开发环境搭建（Eclipse\MyEclipse + Maven） Zookeeper项目开发环境搭建（Eclipse\MyEclipse + Maven） 我这里，相信，能看此博客的朋友，想必是有一定基础的了。我前期写了大量的基础性博文。可以去补下
阅读全文
摘要：写在前面的话 可详细参考，一定得去看 HBase 开发环境搭建（Eclipse\MyEclipse + Maven） 我这里，相信，能看此博客的朋友，想必是有一定基础的了。我前期写了大量的基础性博文。可以去补下基础。 步骤一：File -> New -> Project -> Maven Proje
阅读全文
摘要：伪分布模式下,如(weekend110)hbase-env.sh配置文档中的HBASE_MANAGES_ZK的默认值是true，它表示HBase使用自身自带的Zookeeper实例。但是，该实例只能为单机或伪分布模式下的HBase提供服务。 若是分布式模式，则需要配置自己的Zookeeper集群。如
阅读全文
摘要：写在前面的话 首先， 搭建基于MyEclipse的Hadoop开发环境 相信，能看此博客的朋友，想必是有一定基础的了。我前期写了大量的基础性博文。可以去补下基础。 比如， CentOS图形界面下如何安装Eclipse和使用maven Eclipse下新建Maven项目、自动打依赖jar包 【转】ma
阅读全文
摘要：这几天，无意之间，被这件事情给迷惑，不解！先暂时贴于此，以后再解决！ 详细问题如下： 在hive的安装目录下（我这里是 /home/hadoop/app/hive-1.2.1），hive的安装目录的lib下（我这里是/home/hadoop/app/hive-1.2.1/lib）存放了mysql-c
阅读全文
摘要：写在前面的话 作为一名网络管理员，经常会遇到各种各样的网络故障，但是网络故障的排除不能漫无目的。必须先设置一个检查范围才能事半功倍，这一点适用于任何网络结构。认识并熟悉常见的故障原因，是动手前最必要的课题。 当然，我写此博文，只是为了扩展自己而已，为了日后自己的方便。作为兴趣爱好！ 局域网故障诊断流
阅读全文
摘要：Windows 操作系统同样也是一种软件——针对硬件应用的软件。既然是软件，那么它就有Bug，即平常所说的系统漏洞。 更新与维护Windows 8工作站 对于局域网中的Windows 8用户而言，Windows 系统会自动通过Windows Updata来更新补丁，但速度比较慢。但有一点要注意，必须
阅读全文
摘要：局域网设备的维护 1、维护局域网的使用环境 2、保证局域网的正常供电 3、保障网络结构的合理性 4、防止网络设备连接失败 5、在服务器使用冗余部件 局域网的数据管理 1、备份与还原工作站系统 在Windows 系统中，有自带的系统备份和还原工具，在发生问题时，可以将用户的计算机轻松地恢复到先前的正常
阅读全文
