05 2017 档案
摘要：大家都知道，每个ETL工具都用不同的名字来区分不同的组成部分。kettle也不例外。 比如，在 Kettle的四大不同环境工具 本博客，是立足于kettle工具的设计模块的概念介绍。 1、转换 转换（transformation）是ETL解决方案中最主要的部分，它处理（抽取、转换、加载各阶段）各种对
阅读全文
摘要：不多说，直接上干货！ kettle里有不同工具，分别用于ETL的不同阶段。 初学者，建议送Spoon开始。高手，是四大工具都会用。 Sqoop： 图形界面工具，快速设计和维护复杂的ETL工作流。集成开发环境，提供了一个图形用户界面，用于创建/编辑作业和转换。Sqoon也额可以用于执行/调试作业或转换
阅读全文
摘要：不多说，直接上干货！ Kettle工具在设计初，就考虑到了一些设计原则。这些原则里借鉴了以前使用过的其他一些ETL工具积累下的经验和教训。 易于开发：作为数据仓库和ETL开发者，你只想把时间用在创建BI解决方案上。任何用于软件安装、配置的时间都是一种浪费。例如，为了创建数据库连接，很多和Kettle
阅读全文
摘要：不多说，直接上干货！ 大家会有一个疑惑，本系列博客是Kettle，那怎么扯上ETL呢？ Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行。 说白了就是，很有必要去理解一般ETL工具必备的特性和功能，这样才更好的掌握Kettle的使用。我这里啊，先
阅读全文
摘要：不多说，直接上干货！ 这里，我说的通俗易懂点，好方便大家的理解。 ETL解决方案就像业务流程一样，具有输入、输出，以及一个或多个工作环节，处理步骤。同样的，这些步骤也具有输入和输出，并可以执行将一个输人转化为输出的操作。 想一想，例如，在一家保险公司理赔部，门上有一个大牌子，上面写着理赔部，这就意味
阅读全文
摘要：不多说，直接上干货！ 当时啊，因为很多开源项目到最后都成了无人管的项目，为了避免这种情况的发生，要尽快为Kettle项目构建一个社区。这就意味着，在随后的几年可能需要回答上千封的电子邮件和论坛帖子。幸运的是，Kettle很快获得了开源商业智能公司Pentaho的帮助（www.pentabo.com）
阅读全文
摘要：不多说，直接上干货！ 大家都知道，这2001年以来，一直在同各种ETL工具做斗争，所以Matt 确定了Kettle的一个主要设计目标是尽可能开放。主要就是指： 开发，可读的元数据格式（XML）。 开放，可读的关系型资源库格式。 开放的API。 容易安装（少于2分钟） 对各类数据库开放 容易使用的图形
阅读全文
摘要：不多说，直接上干货！ Kettle起源于十年以前，本世纪初。当时啊，ETL工具千姿百态，比较流行的工具有50个左右，ETL框架数量比工具还要多些。 根据这些工具的各自起源和功能可以分为以下4种类型，如图所示： ■ 快速代码修改（Quick Hacks ): 这类工具主要用于抽取数据和加载文本文件。很
阅读全文
摘要：不多说，直接上干货！ 在数据仓库领域里，的一个重要概念就是数据整合（data intergration）。数据整合它就是把不同数据库中的数据整合到一起，对外提供统一的数据视图。 数据整合最典型的案例就是整合存货数据和订单数据。数据整合的另一个案例就是把各个部门的客户关系管理系统中的客户信息整合到公司
阅读全文
摘要：不多说，直接上干货！ PDI(Kettle) 都能做什么？ 可以说凡是有数据整合、转换、迁移的场景都可以使用PDI，他代替了完成数据转换任务的手工编码，降低了开发难度。 同时，我们可以在自己实际业务里，使用它来实现数据的剖析、清洗、校验、抽取、转换和加载等各类常见的ETL类工作。 比如，除了ODS/
阅读全文
摘要：不多说，直接上干货！ kettle的下载 Kettle可以在http://kettle.pentaho.org/网站下载 http://sourceforge.net/projects/pentaho/files/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.z
阅读全文
摘要：不多说，直接上干货！ Kettle是什么？ Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Ket
阅读全文
摘要：不多说，直接上干货！ auxiliary模块命名规则 操作系统/类型/模块名称 例如： scanner/discovery/arp_sweep 等级代表好用程度 描述就是对auxiliary模块的简介 查看auxiliary下的某个模块的详细信息 ： info 模块名 info scanner/di
阅读全文
摘要：不多说，直接上干货! 大家，相信最近的这个事件，对于445端口已经是非常的小心了。勒索病毒 445端口是一个毁誉参半的端口，有了它我们可以在局域网中轻松访问各种共享文件夹或共享打印机，但也正是因为有了它，黑客们才有了可乘之机，他们能通过该端口偷偷共享你的硬盘，甚至会在悄无声息中将你的硬盘格式化掉！
阅读全文
摘要：不多说，直接上干货！ 前期博客 Kali linux 2016.2（Rolling）中的payloads模块详解 当利用成功后尝试运行一个进程，它将在系统进程列表里显示，即使在木马中尝试执行系统命令，还是会为有经验的法庭调查者留下足够的痕迹，如果命令提示符在系统上执行，HIDS也会发出警告，除了危险
阅读全文
摘要：不多说，直接上干货！ 本博文举的例，是利用远程溢出windows服务器。 Exploit/windows/smb/ms08_067_netapi。 Payload : windows/shell/bind_tcp Target: windows 2000 以下是受害者机器情况。 以下是攻击者机器 这
阅读全文
摘要：不多说，直接上干货！ 前期博客 Kali linux 2016.2（Rolling）中的Exploits模块详解 payloads模块，也就是shellcode，就是在漏洞利用成功后所要做的事情。在MSF中为我们提供了大量的实用payloads。 当我们执行 Show payloads命令后，显示3
阅读全文
摘要：简单来将，这个Exploits模块，就是针对不同的已知漏洞的利用程序。 当我们执行 Show exploits命令后，显示3列，分别为Exploit名称 等级 描述 multi/misc/legend_bot_exec 2015-04-27 excellent Legend Perl IRC Bot
阅读全文
摘要：如何更新MSF 1、Windows平台 方法1： 运行msfupdate.bat 在msfconsole里执行命令svn update 或者 方法2： 2、unix/linux平台 方法1： 运行msfupdate 即可。 方法2：（比较麻烦） 安装subversion客户端（--with-ssl）
阅读全文
摘要：不多说，直接上干货！ 首先，如果你是用的BT5，则set的配置文件是在 /pentest/exploits/set/set_config下。 如果，你也是跟我一样，使用的是kali linux 2016.2(rolling)，则set的安装目录默认是在 这也是本博文的重心。默认现在，是不需如BT5那
阅读全文
摘要：不多说，直接上干货！ 前期博客 apache-storm-0.9.6.tar.gz的集群搭建（3节点）（图文详解） apache-storm-1.0.2.tar.gz的集群搭建（3节点）（图文详解）（非HA和HA） apache-storm-1.0.2.tar.gz的集群搭建（3节点）（图文详解）（
阅读全文
摘要：不多说，直接上干货! 前期博客 apache-storm-0.9.6.tar.gz的集群搭建（3节点）（图文详解） apache-storm-1.0.2.tar.gz的集群搭建（3节点）（图文详解）（非HA和HA） apache-storm-1.0.2.tar.gz的集群搭建（3节点）（图文详解）（
阅读全文
摘要：不多说，直接上干货！ 前期博客 apache-storm-1.0.2.tar.gz的集群搭建（3节点）（图文详解）（非HA和HA） apache-storm-1.0.2.tar.gz的集群搭建（3节点）（图文详解）（非HA和HA） 问题详情 解决办法1 slave1和slave2都去配置。 因为，也
阅读全文
摘要：不多说，直接上干货！ Storm的版本选取 我这里，是选用apache-storm-1.0.2.tar.gz apache-storm-0.9.6.tar.gz的集群搭建（3节点）（图文详解） 为什么我用过storm-0.9.6版本，我还要用storm-1.0.2？ storm集群也是由主节点和从节
阅读全文
摘要：不多说，直接上干货！ 前期博客 apache-storm-0.9.6.tar.gz的集群搭建（3节点）（图文详解） 问题详情 解决办法 解决方式1、查看自己的storm.yaml配置文件，是否出现如下的情况。有手误拼错等 解决方式2、注意第一列需要一个空格 解决办法3、对于strom集群的启动顺序，
阅读全文
摘要：不多说，直接上干货！ Storm的版本选取 我这里，是选用apache-storm-0.9.6.tar.gz Storm的本地模式安装 本地模式在一个进程里面模拟一个storm集群的所有功能， 这对开发和测试来说非常方便。以本地模式运行topology跟在集群上运行topology类似。 要创建一个
阅读全文
摘要：不多说，直接上干货！ 说在前面的话 注意啦：Meterpreter的命令非常之多，本篇博客下面给出了所有，大家可以去看看。给出了详细的中文 由于篇幅原因，我只使用如下较常用的命令。 这篇博客，利用下面的这个xploit/windows/browser/ms10_046_shortcut_icon_d
阅读全文
摘要：问题详情 然后，执行，出现如下问题，则说明大家的这个文件，下载不是完整的或者你上传不完整。 解决办法 你也许会，像我也一样，第一次弄的时候，是先下载别人的，再上传。其实，这样，很有可能下载到的是别人的不完整或不干净的 我建议，大家按照如下来。 新版本取消了自动攻击模块 需要自己下载安装 下载地址：
阅读全文
摘要：不多说，直接上干货！ 为什么要这么做？ 答： 方便我们将扫描不同的目标或目标的不同段，进行归类。为了更好的后续工作！ 前期博客 Kali linux 2016.2（Rolling）里Metasploit连接（包括默认和自定义）的PostgreSQL数据库 注意啦： 我这里，是已经切换到了自定义的Po
阅读全文
摘要：不多说，直接上干货！ 前期博客 Kali linux 2016.2（Rolling）里Metasploit连接（包括默认和自定义）的PostgreSQL数据库 Kali linux 2016.2（Rolling）里Metasploit连接（包括默认和自定义）的PostgreSQL数据库之后的切换到指
阅读全文
摘要：不多说，直接上干货！ creads:查看数据库中所有的证书 db_connect:连接到一个已经存在的数据库 disconnetc:断开数据库连接 export:导出数据库内容到一个文件 import:导入一个数据库文件 nmap:数据库扫描工具 rebuild cache:重建缓存 loot
阅读全文
摘要：不多说，直接上干货！ 配置msf连接postgresql数据库 我这里是使用kali linux 2016.2(rolling) 用过的博友们都知道，已经预安装好了PostgreSQL。 1、 postgresql启动 2、切换到postgre数据库，进行配置 即以管理员的身份切换到postgres
阅读全文
摘要：不多说，直接上干货！ 怎么弹出来这个呢，连续按两次tab。 这里，选择好模块后，如果我们只需要扫描一台机器的话，则直接写一个ip既可。 msf > set RHOSTS 192.168.1.0/24 即扫描整个网段的机器。 msf > set RHOSTS 192.168.1.103 即扫描这一台机
阅读全文
摘要：不多说，直接上干货！ 准备工具 1、Kali linux 2016.2（Rolling）系统 IP: 192.168.1.103 2、受害者机子(windows XP系统） IP: 10.10.10.1.102 3、使用工具 msfconsole 步骤： 1、进入控制台 2、载入windows模块中
阅读全文
摘要：http://blog.csdn.net/chenchunlin526/article/details/54707757
阅读全文
摘要：armitage的启动 别急，过会儿就好了 。 等扫描完会弹出一个框框然后会多出目标的图标比如目标是打印机
阅读全文
摘要：不多说，直接上干货！ 注意：博主我用的是Kali linux 2016.2（Rolling）。 msfcli 的启动 msfcli 早就废弃了,现在只有 msfconsole。 msfconsile的启动 或者如下，也是可以的。 armitage的启动 别急，过会儿就好了 。 别急，过会儿就好了 。
阅读全文
摘要：Metasploit学习笔记（博主推荐） 继续上面的博客 metasploit.meterpreter的基本使用： 首先来获取当前系统（即xp）下的正在运行的一些进程 获得进程之后，我们通过migrate来注入到其中的一个进程里面去。 那么使用哪一个进程呢？最好去选择就是桌面程序。 即，目标主机XP
阅读全文
摘要：不多说，直接上干货！ 连接后台的数据库，当然不是必须品。 连接数据库的好处：1、可以攻击和扫描的结果，保存起来 2、将一些搜索结果做个缓存 默认数据库是postgresql。 同时要注意的是：在kali linux系统中，不需再安装postgresql和mestasploit。 如果你用的是其他系统
阅读全文
摘要：不多说，直接上干货！ 其实就是之前的命令过时了而已。
阅读全文
摘要：为什么要在Metasploit里提及到数据库？ 大家都知道，这么多信息，我怎样才能把它们整理好并保存起来？怎么展现给老大看，最后怎么体现在要提交的渗透测试报告中呢？ 你的担忧真的很有必要，因为啊，在渗透测试中无论是你孤身一人还是团队作战，都应该要将每个步骤获取的信息都很好地保存下来，需要在后续工作中
阅读全文
摘要：导言 最近，身边的朋友们，问我，他电脑的win10系统里 mfc110.dll 丢失。 其他的系统文件丢失修复，是一样的步骤。 现象 大家也许，都会有这么一个习惯，动不动则就去百度上搜索。 其实啊，这样的习惯，一点都不好，博主我今天希望大家看了我这篇博文之后，能改掉你们的这个坏习惯。学会用谷歌搜索来
阅读全文
摘要：不多说，直接上干货！ 关于OpenAVS的概念，我这里不多赘述。 前提得，大家要先安装好OpenVAS！！！ 我们都知道，BT5中已经预先安装好了OpenVAS网络漏洞扫描工具，我们只需进行一些配置即可。 具体，请见我下面的这篇博客。 BackTrack5里使用OpenVAS 本博文，是在kali
阅读全文
摘要：不多说，直接上干货！ 本博文，是在Kali 2.0 linux里，安装OpenVAS。 前言 OpenVAS是一款开放式的漏洞评估工具，主要用来检测目标网络或主机的安全性。与安全焦点的X-Scan工具类似，OpenVAS系统也采用了Nessus较早版本的一些开放插件。OpenVAS能够基于C/S(客
阅读全文
摘要：不多说，直接上干货！ 前提 VM虚拟机的 BackTrack5安装完美图文教程： http://download.csdn.net/detail/u010106732/9845495 关于OpenAVS的概念，我这里不多赘述。
阅读全文
摘要：Metasploit渗透测试实验报告
阅读全文
摘要：不多说，直接上干货! 对于发现的系统与文件管理类网络服务，比如Telnet、SSH、FTP等，可以进行弱口令的猜测，以及对明文传输口令的嗅探，从而尝试获取直接通过这些服务进入目标网络的通道。 对于SSH服务口令猜测 我们可以使用Metasploit中的ssh_login模块对SSH服务尝试进行口令试
阅读全文
摘要：端口扫描 auxiliary/scanner/portscanscanner/portscan/ack ACK防火墙扫描scanner/portscan/ftpbounce FTP跳端口扫描scanner/portscan/syn SYN端口扫描scanner/portscan/tcp TCP端口扫
阅读全文
摘要：不多说，直接上干货！ 至于这里怎FQ，很简单，请见我下面的博客! kali 2.0安装 lantern（成功FQ） shadowsocks（简称SSFQ软件）步骤详解 shadowsocks（简称SSFQ软件）步骤详解 FQ软件lantern-installer-beta.exe（推荐） 历史最强F
阅读全文
摘要：不多说，直接上干货！ 使用search_email_collector搜集特定地址的邮件地址 search_email_collector 要求提供一个邮箱后缀，通过多个搜索引擎的查询结果分析使用此后缀的邮箱地址，可以很方便的获得大量邮件地址。 当然，大家可以用以下， 参考：菜鸟腾飞安全网VIP《M
阅读全文
摘要：不多说，直接上干货！ 如果是第一次接触Nmap，推荐在MSF终端中输入不加任何参数的Nmap命令，以查看其使用方法。 更多，其实，
阅读全文
摘要：不多说，直接上干货！ 1、活跃主机扫描 当然，你也用下面这个 2、Metasploit的主机发现模块 arp_sweep模块便是一个ARP扫描器，如下所示。 arp_sweep使用ARP请求美剧本地局域网中的所有活跃主机 udp_sweep通过发送UDP数据包探查制定主机是否活跃，兵发现主机上的UD
阅读全文
摘要：不多说，直接上干货！ 可以使用-O选项，让Nmap对目标的操作系统进行识别。 或者 大家，也可以拿下面的主机，来扫描 更多，其实，
阅读全文
摘要：不多说，直接上干货！ 在MSF终端中，可以输入search name:_version命令查看所有可用的服务查点模块 该命令的执行结果如下： msf > search name:_version Matching Modules Name Disclosure Date Rank Descripti
阅读全文
摘要：不多说，直接上干货！ 如下，是使用Nmap对主机202.193.58.13进行一次端口扫描的结果，其中使用 默认参数下，nmap使用发送ICMP请求来探测存活主机（即-sP选项） 如果是在INTERNET环境中，则应该使用-Pn选项，不要使用ICMP ping扫描，因为ICMP数据包通常无法穿透In
阅读全文
摘要：目前常见的端口扫描技术一般有如下几类： TCP Connect、TCP SYN、TCP ACK、TCP FIN。 Metasploit中的端口扫描器 Metasploit的辅助模块中提供了几款实用的端口扫描器。可以输入search portscan命令找到相关的端口扫描器。如下 Metasploit
阅读全文
摘要：说在前面的话 1、在kali中metasploit默认使用postgresql作为它的数据库； 想要开启metasploit服务首先得打开postgresql数据库， 命令如下：（或者：/etc/init.d/postgresql start）; 因为在kali中所有的服务都不是默认开机自启的， 所
阅读全文
摘要：最近获得一个SS帐号，手机，其他电脑都能上，但是在我的电脑上就是500 或 502 或 504，如下所示。 502 Read from server failed: Unknown error The following error occurred while trying to access h
阅读全文
摘要：不多说，直接上干货！ 最近为了科研，需要安装和使用Snort。 snort的官网 Snort作为一款优秀的开源主机入侵检测系统，在windows和Linux平台上均可安装运行。Ubuntu作为一个以桌面应用为主的Linux操作系统，同样也可以安装Snort。 对于网络安全而言入侵检测是一件非常重要的
阅读全文
摘要：问题现象 问题分析 说白了，就是大家在使用ubuntu的时候源的问题，这里建议大家，去看我下面写的博客， Ubuntu14.04官方默认更新源sources.list和第三方源推荐（干货！） 解决办法（有限试用清华源和网易源） 将这些官方源，或者第三方源，多切换，灵活用就行了。 然后，再来 同时，如
阅读全文
摘要：不多说，直接上干货！ 最近为了科研，需要安装和使用Snort。 snort的官网 Snort作为一款优秀的开源主机入侵检测系统，在windows和Linux平台上均可安装运行。Ubuntu作为一个以桌面应用为主的Linux操作系统，同样也可以安装Snort。 对于网络安全而言入侵检测是一件非常重要的
阅读全文
摘要：不多说，直接上干货！ 写在前面：笔者由于还在学校学习，学校没有开发给Linux用的上网客户端，所以只能用在windows系统中通过安装虚拟机运行linux比较方便，但没有外网，只有学校的教育网，所以我需要将ubuntu的默认源修改为教育网中的资源才可以完美运行ubuntu，当然这个教程也适用于修改为
阅读全文
摘要：不多说，直接上干货！ 前期步骤，请见如下 VMware里Ubuntukylin-14.04-desktop的VMware Tools安装图文详解 我这里，直接，是来说明，Ubuntu-14.04-desktop的VMware Tools 跟Ubuntukylin-14.04-desktop的VMwa
阅读全文
摘要：不多说，直接上干货! 首先，普及概念。 hostonly、桥接和NAT的联网方式 对于CentOS系统，用的最多的就是，NAT和桥接模式 CentOS 6.5静态IP的设置（NAT和桥接联网方式都适用） 对于Ubuntu系统，用的最多的就是，NAT和桥接模式。 对于Ubuntu系统的NAT模式，请见
阅读全文
摘要：不多说，直接上干货！ Weka中数据挖掘与机器学习系列之Weka系统安装（四） Weka中数据挖掘与机器学习系列之Weka3.7和3.9不同版本共存（七） 情况1 对于在Weka里，通过Weka Package Manager安装所需包时，其实，大部分情况下，直接选中All单选按钮，显示全部包，找到
阅读全文
摘要：不多说，直接上干货！ 为什么，我要写此博客，原因是（以下，我是weka3.7.8） 以下是，weka3.7.8的安装版本。 Weka中数据挖掘与机器学习系列之Weka系统安装（四） 基于此，我安装最新的稳定版本，weka3.9.0。下载请见 http://download.csdn.net/deta
阅读全文
摘要：不多说，直接上干货！ Weka的Explorer（探索者）界面，是Weka的主要图形化用户界面，其全部功能都可通过菜单选择或表单填写进行访问。本博客将详细介绍Weka探索者界面的图形化用户界面、预处理界面、分类界面、聚类界面、关联界面、选择属性界面和可视化界面等内容。 一、Weka的Explorer
阅读全文
摘要：不多说，直接上干货！ 前期工作 若需使用Navicat Premium，则需要先安装MySQL，在此就不叙述了。具体可见我的博客： MySQL Server类型之MySQL客户端工具的下载、安装和使用（博主推荐） Navicat for MySQL再谈之无奈之下还是去安装Navicat Premiu
阅读全文
摘要：不多说，直接上干货！ 首先，Navicat for MySQL没有查看数据库属性。 其次，没有这个功能多和强大，在走过一段弯路之后，果断放弃Navicat for MySQL，而使用Navicat Premium 。 欢迎大家，加入我的微信公众号：大数据躺过的坑 人工智能躺过的坑 同时，大家可以关注
阅读全文
摘要：这里不多说，直接上干货！ 前提博客是 Weka中数据挖掘与机器学习系列之数据格式ARFF和CSV文件格式之间的转换（四） 1、将arff文件批量导入MySQL数据库 我在这里，arff文件以Weka安装目录下data文件夹中的iris.arff文件为例。 这个很简单，直接open file，不多说。
阅读全文
摘要：不多说，直接上干货！ Weka介绍： Weka是一个用Java编写的数据挖掘工具，能够运行在各种平台上。它不仅提供了可以直接用于数据挖掘的软件，还提供了src代码，使用者可以修改源代码，进行二次开发。但是，由于其使用了Java虚拟机，导致其不适合处理大型数据，运行缓慢。处理超过一定大小数据，还会溢出
阅读全文
摘要：能来看我这篇博客的朋友，想必大家都知道，Weka采用Java编写的，因此，具有Java“一次编译，到处运行”的特性。支持的操作系统有Windows x86、Windows x64、Mac OS X、Linux等。这里不多赘述。 Weka系统安装一共分为： 1、安装Weka所需系统要求 下表，列举了运
阅读全文
摘要：数据挖掘和机器学习 数据挖掘和机器学习这两项技术的关系非常密切。机器学习方法构成数据挖掘的核心，绝大多数数据挖掘技术都来自机器学习领域，数据挖掘又向机器学习提出新的要求和任务。 数据挖掘就是在数据中寻找模式的过程。这个寻找过程必须是自动的或半自动的，并且数据总量应该是具有相当大的规模，从中发现的模式
阅读全文
摘要：不多说，直接上干货！ Weka简介 Weka是怀卡托智能分析环境(Waikato Environment for Knowledge Analysis)的英文字首缩写，官方网址为：http://www.cs.waikato.ac.nz/ml/weka，在该网站可以免费下载可运行软件和源代码，还可以获
阅读全文
摘要：本人正值科研之年，同时也在使用Weka来做相关数据挖掘和机器学习的论文工作。 为了记录自己的学习历程，也便于分享和带领入门的你们。废话不多说，直接上干货！
阅读全文
摘要：注意，这里也可以不弄，保持默认的
阅读全文
摘要：不多说，直接上干货！ 问题详情 关于怎么启动oozie，我这里不多赘述。 Oozie的详细启动步骤（CDH版本的3节点集群） 然后，我在查看 时，报错提示，如下 问题分析 说白了，这个问题，就是 解决办法 得重新执行下面的命令，再来生成 然后，现在，/user/hadoop/下，有了 /user/h
阅读全文
摘要：不多说，直接上干货！ 我的机器情况是，bigdatamaster（Oozie是安装在这台节点上）、bigdataslave1和bigdatalsave2。 启动步骤 第一：先启动mysqld服务进程 因为，我的mysql是安装在/home/hadoop，在root用户下执行安装的。（当然，你也可以设
阅读全文
摘要：不多说，直接上干货！ 对于在oozie里放置Mysql驱动包的总结 根据网上的参考以及我个人经验安装的使用 （1）放一份到$OOZIE_HOME/libext下 （是 mysql-connector-java-5.1.21.jar）（这里放到bigdatamaster节点） （2）放一份到$OOZI
阅读全文
摘要：不多说，直接上干货！ 问题详情 查看你的$OOZIE_HOME/logs 我的是/home/hadoop/app/oozie-4.1.0-cdh5.5.4/logs/oozie.log文件 [hadoop@bigdatamaster logs]$ cat oozie.log 解决办法 很多人刚开始安
阅读全文
摘要：开启 $HBASE_HOME/bin/hbase-daemon.sh start thrift 关闭 $HBASE_HOME/bin/hbase-daemon.sh stop thrift
阅读全文
摘要：不多说，直接上干货！ 问题详情 查看日志 解决办法 查看 [hadoop@bigdatamaster oozie-4.1.0-cdh5.5.4]$ ps aux | grep oozie|grep -v grep[hadoop@bigdatamaster oozie-4.1.0-cdh5.5.4]$
阅读全文
摘要：不多说，直接上干货！ 问题详情 按照官网 Start Oozie as a daemon process run: To start Oozie as a foreground process run: Check the Oozie log file logs/oozie.log to ensur
阅读全文
摘要：不多说，直接上干货！ 问题详情 解决办法 分析1： 是否你是mysql服务进程么开启。 比如我的mysql是在root用户下安装的，且安装目录是在/home/hadoop下。当然大家可以将mysql服务进程设置为开机启动。 分析2：还有，是不是你的oozie用户下的主机，没有在数据库列表里。 因为，
阅读全文
摘要：不多说，直接上干货！ 问题详情 解决办法 原因： 1、jdk7+老版5.0驱动com/mysql/jdbc/Driver （同时，多试试几个版本。mysql-connector-java-5.1.31-bin.jar 和 mysql-connector-java-5.1.21-bin.jar ） 2
阅读全文
摘要：不多说，直接上干货！ 前期博客 Oozie安装部署 问题描述 解决办法 [hadoop@bigdatamaster bin]$ pwd /home/hadoop/app/oozie-4.1.0-cdh5.5.4/bin [hadoop@bigdatamaster bin]$ ./addtowar.s
阅读全文
摘要：大数据协作框架是一个桐城，就是Hadoop2生态系统中几个辅助的Hadoop2.x框架。主要如下： 1，数据转换工具Sqoop 2，文件搜集框架Flume 3，任务调度框架Oozie 4，大数据Web工具Hue 任务调度框架 1，Linux Crontab 2，Azkaban –https://az
阅读全文
摘要：不多说，直接上干货！ 首先，说下博主我，为什么，好端端的Sqoop1用的好好的，然后又安装和学习Sqoop2？ 因为，在Cloudera Hue里的Sqoop，是需要Sqoop2。 HUE配置文件hue.ini 的sqoop模块详解（图文详解）（分HA集群） Sqoop2安装简介 sqoop2的安装
阅读全文
摘要：不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上
阅读全文
摘要：不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上
阅读全文
摘要：不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上
阅读全文
摘要：不多说，直接上干货！ 一、默认的pig配置文件 二、以下是跟我机器集群匹配的配置文件（非HA集群下怎么配置Hue的pig模块） 我的impala只安装在bigdatamaster这台机器上。 编辑 hue.ini 找到 [impala] 段落 三、以下是跟我机器集群匹配的配置文件（非HA集群下怎么配
阅读全文
摘要：不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上
阅读全文
摘要：不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上
阅读全文
摘要：不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上
阅读全文
摘要：不多说，直接上干货！ Hue配置文件里，提及到，提供有postgresql_psycopg2, mysql, sqlite3 or oracle。 注意：Hue本身用到的是sqlite3。 在哪里呢，怎么看呢？ desktop.db这个就是Hue用的 sqlite3数据库。 首先，看下官网的参考步骤
阅读全文
摘要：不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上
阅读全文
摘要：不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上
阅读全文
摘要：不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上
阅读全文
摘要：不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上
阅读全文
摘要：不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上
阅读全文
摘要：不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上
阅读全文
摘要：不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上
阅读全文
摘要：不多说，直接上干货！ Hue 是 Cloudera 的大数据 Web 工具 官方访问网站 : http://gethue.com/ GitHub : https://github.com/cloudera/hue 下载地址 : http://archive.cloudera.com/cdh5/cdh
阅读全文
摘要：不多说，直接上干货！ 同时，声明，我这里安装的vsftp，仅仅只为我的大数据着想，关于网上的复杂安装，那是服务和运维那块。我不多牵扯，也不多赘述。 一、CentOS系统里安装vsftp 第一步：使用yum命令安装vsftp 第二步：配置vsftpd文件 第三步：配置 这里我使用的是匿名登录（保存默认
阅读全文
摘要：问题描述 问题原因 大数据搭建各个子项目时配置文件技巧（适合CentOS和Ubuntu系统）（博主推荐） 解决办法 检查ftp端口20，21是否被占用 这个大家的机器有所不同。我的是如下，作为参考 端口21被vsftpd占用。没事，先把它停止低矮，再开启。（如果这里，你的端口被其他进程占用的话，比如
阅读全文
摘要：不多说，直接上干货！ 很多同行，也许都知道，对于我们大数据搭建而言，目前主流，分为Apache 和 Cloudera 和 Ambari。 后两者我不多说，是公司必备和大多数高校科研环境所必须的！ 分别，详情见我如下的博客 Cloudera安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐） A
阅读全文
摘要：不多说，直接上干货！ 第一步： Cloudera Manager安装之Cloudera Manager安装前准备(CentOS6.5）（一） 第二步： Cloudera Manager安装之时间服务器和时间客户端（二） 第三步： Cloudera Manager安装之Cloudera Manager
阅读全文
摘要：不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上
阅读全文
摘要：Hue是cdh专门的一套web管理器，它包括3个部分hue ui，hue server，hue db。hue提供所有的cdh组件的shell界面的接口。你可以在hue编写mr，查看修改hdfs的文件，管理Hive的元数据，运行Sqoop，编写Oozie工作流等大量工作。 HUE官方地址http://
阅读全文
摘要：有时候，自己在通过/查找字符串时，会出现： 但是呢，当你保存，再次进入还是会出现这么花的高亮显示，很令人苦恼。 解决办法 随便，输入没有的字符串，即可解决。 如下
阅读全文
摘要：不多说，直接上干货！ 问题详情 问题的原因 解决办法 乱删rpm导致再次安装包时出现 error while loading shared libraries: libgcc_s.so.1问题 （不太好） error while loading shared libraries: xxx.so.x"
阅读全文
摘要：见 基于Web的Kafka管理器工具之Kafka-manager的编译部署详细安装 (支持kafka0.8、0.9和0.10以后版本)（图文详解）（默认端口或任意自定义端口）
阅读全文
摘要：这里不多说，直接上干货！ 上一篇博客是 下载安装与配置Excel 2013数据挖掘加载项（SQL Server 2012 SP1 + SQLServer2012_DMAddin.msi） Excel 2013数据挖掘功能菜单中，分成七大区块工具栏： 详细的选项，分别见图 数据准备：在开始数据挖掘之前
阅读全文
摘要：下载地址
阅读全文
摘要：继续
阅读全文
摘要：这里，为什么选择用hadoop-2.6.0.tar.gz + hive-1.0.0.tar.gz是为了搭配兼容。 hadoop-2.6.0.tar.gz + hive-1.0.0.tar.gz + pig 在$HADOOP_HOME/share/hadoop/yarn/lib下查看是jline-0.
阅读全文
摘要：不多说，直接上干货！ 我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12） 然后，安装目录是在/home/hadoop/app下。 官方建议在master机器上
阅读全文
摘要：不多说，直接上干货！ http://archive.apache.org/dist/ http://www.cnblogs.com/smartloli/p/4527168.html http://www.cnblogs.com/ae6623/p/6225379.html 学习扩展 CDH版本大数据集
阅读全文
摘要：对于这里的打包，总结： (1) 最简单的，也是为了适应公司里，还是要用maven，当然spark那边sbt，maven都可以。但是maven居多。 Eclipse/MyEclipse下如何Maven管理多个Mapreduce程序？（企业级水平） IDEA里如何多种方式打jar包，然后上传到集群 Sp
阅读全文
摘要：问题详情 解决办法 有时候上述这样kill做下来，并不管用，得再来 同时，大家要注意，是否是进程的消失？ 也会是你的slave1 还是 slave2的进程自动消失了。注意 ，这是个很隐蔽的问题。 重新停止集群，再重新启动集群。 如果还是出现这个问题的话，则 MapReduce任务运行到running
阅读全文
摘要：一、系统要求 在安装这个数据挖掘加载项前，你的机器必须要可以支持如下的相关系统设备： （1）操作系统：windows 7 和 windows 8，暂时不支持 windows 10。 （2）excel2013：professional 、professional plus 、utltimate 、en
阅读全文
摘要：问题描述 解决办法 先把这个hdfs目录下的数据删除。并修改配置文件flume-conf.properties，重新采集。 教大家一招：大家在这些如flume的配置文件，最好还是去看官网，学会扩展，别只局限于别人的博客的文档，当然可以作为参考。关键还是来源于官方！ 重新开启flume 如果你的问题，
阅读全文
摘要：网址是
阅读全文
摘要：首先，声明，kafka集群是搭建在hadoop1、hadoop2和hadoop3机器上。 kafka_2.10-0.8.1.1.tgz的1或3节点集群的下载、安装和配置（图文详细教程）绝对干货 如下分别是各自的配置信息。（网上说，还需要配置zookeeper.properties，其实不需要，因为，
阅读全文
