2018 年 6月随笔档案 - Hi，王松柏

Workflow 规则大全最新版

摘要：对于怎么操作Workflow我就不重复说明了大家可以搜索我的另一条微博。Workflow,作为一款提高效率的软件，我觉得很有必要进行推广，当然我比较需要这里面的很多规则，先为己再为公。首先我只是出于个人喜好把几乎所有的热门点的Workflow规则收集起来了，由于我是在各个网站贴吧论坛收集过阅读全文

posted @ 2018-06-26 12:08 Hi，王松柏阅读(2708) 评论(0) 推荐(0) 编辑

Intellij IDEA 快捷键整理（史上最全）

摘要：【常规】【调试部分、编译】【重构】【查找】【VCS】转自：http://www.cnblogs.com/valor-xh/p/6372508.html 阅读全文

posted @ 2018-06-22 10:18 Hi，王松柏阅读(353) 评论(0) 推荐(0) 编辑

在IDEA里gradle配置和使用

摘要：在IDEA里gradle配置和使用在IDEA里gradle配置和使用前言 Windows环境IDEA配置gradle 配置系统环境变量下载配置环境变量测试 idea配置 gradle仓库设置构建命令创建缓存依赖 gradle.build构建脚本 settings.gradle配置在I 阅读全文

posted @ 2018-06-21 07:58 Hi，王松柏阅读(117278) 评论(2) 推荐(2) 编辑

IntelliJ IDEA 下的svn配置及使用的非常详细的图文总结

摘要：IntelliJ IDEA使用教程（总目录篇）首先，使用的时候，自己得先在电脑上安装个小乌龟。也就是svn啦。第一步安装小乌龟。如下：具体安装好像没什么具体要求，一路next，就好。如上图箭头所示，在安装 TortoiseSVN 的时候，默认 command line client to 阅读全文

posted @ 2018-06-21 07:56 Hi，王松柏阅读(2780) 评论(0) 推荐(1) 编辑

虚拟机centos7服务器下，启动oracle11g数据库和关闭数据库

摘要：虚拟机centos7服务器下，启动oracle11g数据库和关闭数据库一、前提条件：虚拟机centos7服务器下，已经安装好oracle11g数据库。（如果没有安装，请参考我前两篇关于在win7下虚拟机安装oracle11g的文章）。二、用xmanager工具连接到安装oracle11g的cen 阅读全文

posted @ 2018-06-21 07:52 Hi，王松柏阅读(416) 评论(0) 推荐(0) 编辑

Step 4: Install and Configure Databases

摘要：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_installing_configuring_dbs.html#cmig_topic_5_2 Step 4: Install and Configure Dat 阅读全文

posted @ 2018-06-21 07:49 Hi，王松柏阅读(185) 评论(0) 推荐(0) 编辑

docker保存对容器的修改

摘要：我有一个Ubuntu的镜像用命令docker run -i -t -v /home/zzq/app/:/mnt/software/ 0ef2e08ed3fa /bin/bash登录进去发现没vi编辑器,就用apt-get update更新一下，再apt-get install vim安了一个，我再次阅读全文

posted @ 2018-06-20 13:05 Hi，王松柏阅读(1810) 评论(0) 推荐(0) 编辑

docker 中部署一个springBoot项目

摘要：docker 中部署一个springBoot项目（1）介绍 springBoot项目 1.项目结构 2.pom.xml [java] view plain copy <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://mave 阅读全文

posted @ 2018-06-20 13:05 Hi，王松柏阅读(300) 评论(0) 推荐(0) 编辑

docker容器中文件的上传与下载

摘要：1.上传文件 [OPTIONS]:保持源目标中的链接，例：该命令的意思是将当前操作系统（Linux）家目录（root）下的文件test.txt拷贝到容器id为ecef8319d2c8的家目录（root）文件夹下。如果是win系统的话请替换为win下的合法路径（例如：D:/test.txt）。 2. 阅读全文

posted @ 2018-06-20 13:04 Hi，王松柏阅读(16454) 评论(0) 推荐(0) 编辑

解决安装oracle11g r2时提示pdksh conflicts with ksh-20100621-2.el6.i686问题

摘要：在CenOS6、RHEL6或者ORACLE LINUX 6上安装oracle 11g R2的时候提示:pdksh包没有安装，按照提示从网上下了个pdksh-5.2.14-36.el5.i386.rpm包，然后尝试安装： # rpm -ivh pdksh-5.2.14-36.el5.i386.rpm 阅读全文

posted @ 2018-06-14 09:24 Hi，王松柏阅读(346) 评论(0) 推荐(0) 编辑

CentOS 6.2 X64上64位Oracle11gR2 静默安装，静默设置监听，静默建库经验

摘要：1 安装前环境：操作系统:CetnOS6.2x64 最小化安装，已配置好网络IP:172.16.2.182，物理内存8GB，硬盘100GB。已下载： Linux.x64_11gR2_database_1of2.zip linux.x64_11gR2_database_2of2.zip 位于目录/ 阅读全文

posted @ 2018-06-13 17:19 Hi，王松柏阅读(1180) 评论(0) 推荐(0) 编辑

centos 安装oracle 报Checking swap space: 0 MB available, 150 MB required. Failed <<<<

摘要：1 系统环境 centos 6.5 oracle 11g 内存 16G 硬盘 ssd 250G 2 运行安装命令： [oracle@localhost database]$ ./runInstaller -silent -responseFile /home/oracle/db_install.rs 阅读全文

posted @ 2018-06-13 09:40 Hi，王松柏阅读(445) 评论(0) 推荐(0) 编辑

CentOS更改yum源与更新系统

摘要：VMware版本号：12.0.0 CentOS版本：7.0 VMware版本号：12.0.0 CentOS版本：7.0 一、更换之前确保自己安装wget 没有安装：二、首先备份/etc/yum.repos.d/CentOS-Base.repo 三、进入yum源配置文件所在文件夹四、下载163的y 阅读全文

posted @ 2018-06-13 08:21 Hi，王松柏阅读(10153) 评论(0) 推荐(0) 编辑

CentOS 7静默（无图形化界面）安装Oracle 11g

摘要：准备CentOS 7 系统环境我以 CentOS-7-x86_64-DVD-1511.iso 为例，简述Oracle 11g的安装过程。由于是使用静默模式（silent）安装的，无需使用图形化界面，我选择了最小安装的服务器版的CentOS 7。安装过程可参考 https://jingyan.b 阅读全文

posted @ 2018-06-13 08:05 Hi，王松柏阅读(406) 评论(0) 推荐(0) 编辑

史上最详细最全的Linux上安装Oracle的教程-centos7

摘要：一、安装Oracle前准备1.创建运行oracle数据库的系统用户和用户组 [plain] view plain copy [humf@localhost ~]$ su root #切换到root Password: [root@localhost sonny]# groupadd oinstall 阅读全文

posted @ 2018-06-12 16:26 Hi，王松柏阅读(898) 评论(0) 推荐(0) 编辑

如何实现Docker镜像和容器实例的备份迁移

摘要：题记大家在使用Docker都会从容器仓库下载镜像，不过这个过程可能依据网络带宽而定，那么如果将一个已经下载好的镜像迁移到另外一个环境中，或者说如何实现Docker容器的备份恢复，或者迁移，接下来我们一块探讨一下。大家都知道，Docker的文件系统是AUFS，所以我们的镜像有可能是从N个镜像基础上阅读全文

posted @ 2018-06-12 10:14 Hi，王松柏阅读(620) 评论(0) 推荐(0) 编辑

oozie timezone时区配置

摘要：cloudera oozie默认时区是UTC，在开发oozie任务时必须在期望执行的时间上减去8小时，很不习惯。记录下修改时区的配置操作。 1. cloudera oozie配置—>Oozie Server Default Group -->高级-->oozie-site.xml 的 Oozie S 阅读全文

posted @ 2018-06-11 08:43 Hi，王松柏阅读(1123) 评论(0) 推荐(0) 编辑

通过hue提交oozie定时任务

摘要：通过hue提交oozie定时任务 Oozie是什么？ Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容：工作流定义当前运行的工作流实例，包括实例的状态和变量 Hue是什么？ Hue是一个可快速开发和调试Hadoop 阅读全文

posted @ 2018-06-11 08:37 Hi，王松柏阅读(2320) 评论(0) 推荐(0) 编辑

HUE通过oozie工作流执行shell脚本

摘要：HUE通过oozie工作流执行shell脚本 HUE通过oozie工作流执行shell脚本 2018年01月17日 16:20:38 阅读数：217 2018年01月17日 16:20:38 阅读数：217 阅读数：217 首先上传对应的jar包和storm.sh脚本到hdfs，脚本内容如下：脚本阅读全文

posted @ 2018-06-07 16:05 Hi，王松柏阅读(1070) 评论(0) 推荐(0) 编辑

xshell、xftp最新版下载方法

摘要：https://www.netsarang.com/download/main.html 登录邮箱打开第一个下载地址进行下载阅读全文

posted @ 2018-06-04 09:09 Hi，王松柏阅读(152) 评论(0) 推荐(0) 编辑

在线文件转换工具

摘要：http://www.go2convert.com/ 藏经阁技术资料分享群二维码阅读全文

posted @ 2018-06-02 11:41 Hi，王松柏阅读(167) 评论(0) 推荐(0) 编辑

MySQL5.7 主从复制配置

摘要：一、主从复制原理 MySQL 主从复制是一个异步的复制过程，主库发送更新事件到从库，从库读取更新记录，并执行更新记录，使得从库的内容与主库保持一致。每一个主从复制的连接，都有三个线程。拥有多个从库的主库为每一个连接到主库的从库创建一个 log dump 输出线程，每一个从库都有它自己的 I/O 线程阅读全文

posted @ 2018-06-02 11:30 Hi，王松柏阅读(266) 评论(0) 推荐(0) 编辑

Nginx-------Nginx的安装和多域名配置

摘要：Nginx安装 centos6.x yum默认没有nginx的软件包安装方式：到nginx下载页面http://nginx.org/en/linux_packages.html#stable，复制CENTOS 6的nginx软件源安装包运行命令：wget http://nginx.org/pa 阅读全文

posted @ 2018-06-02 11:29 Hi，王松柏阅读(216) 评论(0) 推荐(0) 编辑

如何获取域名（网址）对应的IP地址

摘要：域名（Domain Name），是由一串用点分隔的名字组成的Internet上某一台计算机或计算机组的名称，用于在数据传输时标识计算机的电子方位。通俗点讲，域名就是我们平时进行网络浏览时所用到的网址（如：www.baidu.com）。域名只是为了方便阅读和记忆，计算机并不能直接处理，还需要通过域名服阅读全文

posted @ 2018-06-02 11:27 Hi，王松柏阅读(1288) 评论(0) 推荐(0) 编辑

Notepad++安装插件

摘要：https://sourceforge.net/projects/npp-plugins/files/ 下载完插件后，通过notepad++的设置》》》》导入》》》》导入插件的方式进行安装。藏经阁技术资料分享群二维码阅读全文

posted @ 2018-06-02 11:18 Hi，王松柏阅读(287) 评论(0) 推荐(0) 编辑

hadoop2.x 常用端口及定义方法

摘要：一常用端口号 1 HDFS 2 YARN 3 HBase 4 Hive 5 ZooKeeper 二 Web UIHTTP服务 1 对于存在 Web UIHTTP服务的所有 hadoop daemon 有如下 url 2 特定的 Daemon 又有特定的 URL 路径特定相应信息一常用端口号 1 阅读全文

posted @ 2018-06-02 11:16 Hi，王松柏阅读(363) 评论(0) 推荐(0) 编辑

微信订阅号可以开通微信支付吗？

摘要：微信订阅号可以开通微信支付功能吗?最近微信出台了一条令人振奋的消息部分微信订阅号也能开通微信支付功能了，微信支付不再只是服务号才有的了，说到这里又会有不少人问，微信订阅号的微信支付功能要怎么开通呢?下面就由小编来告诉大家。微信订阅号开通微信支付： 1.登录微信订阅号之后可以点击左侧导航“微信支付” 阅读全文

posted @ 2018-06-02 11:14 Hi，王松柏阅读(11227) 评论(0) 推荐(0) 编辑

CDH 的Cloudera Manager免费与收费版的对比表

摘要：藏经阁技术资料分享群二维码 CDH 特性免费版付费版Deployment, Configuration & Management系统管理Automated Deployment & Hadoop Readiness Checks自动化部署及快速检查••Install the complete CDH 阅读全文

posted @ 2018-06-02 11:12 Hi，王松柏阅读(14054) 评论(0) 推荐(0) 编辑

Hadoop调度框架

摘要：大数据协作框架是一个桐城，就是Hadoop2生态系统中几个辅助的Hadoop2.x框架。主要如下： 1，数据转换工具Sqoop 2，文件搜集框架Flume 3，任务调度框架Oozie 4，大数据Web工具Hue 任务调度框架 1，Linux Crontab 2，Azkaban –https://az 阅读全文

posted @ 2018-06-01 18:34 Hi，王松柏阅读(196) 评论(0) 推荐(0) 编辑

再谈spark部署搭建和企业级项目接轨的入门经验（博主推荐）

摘要：进入我这篇博客的博友们，相信你们具备有一定的spark学习基础和实践了。先给大家来梳理下。spark的运行模式和常用的standalone、yarn部署。这里不多赘述，自行点击去扩展。 1、Spark运行模式概述 2、Spark standalone模式的安装（spark-1.6.1-bin-ha 阅读全文

posted @ 2018-06-01 18:31 Hi，王松柏阅读(304) 评论(0) 推荐(0) 编辑

Hive环境的安装部署（完美安装）（集群内或集群外都适用）（含卸载自带mysql安装指定版本）

摘要：Hive 安装依赖 Hadoop 的集群，它是运行在 Hadoop 的基础上。所以在安装 Hive 之前，保证 Hadoop 集群能够成功运行。同时，比如我这里的master、slave1和slave2组成的hadoop集群。hive的安装可以安装在任一一个节点上，当然，也可以安装在集群之外，取阅读全文

posted @ 2018-06-01 18:29 Hi，王松柏阅读(329) 评论(0) 推荐(0) 编辑

Hadoop Hive概念学习系列之HDFS、Hive、MySQL、Sqoop之间的数据导入导出（强烈建议去看）

摘要：Hive总结（七）Hive四种数据导入方式（强烈建议去看） Hive几种数据导出方式 https://www.iteblog.com/archives/955 （强烈建议去看）把MySQL里的数据导入到HDFS 1、使用MySQL工具手工导入把MySQL的导出数据导入到HDFS的最简单方法就是阅读全文

posted @ 2018-06-01 18:18 Hi，王松柏阅读(878) 评论(0) 推荐(0) 编辑

转】[1.0.2] 详解基于maven管理-scala开发的spark项目开发环境的搭建与测试

摘要：场景好的，假设项目数据调研与需求分析已接近尾声，马上进入Coding阶段了，辣么在Coding之前需要干马呢？是的，“统一开发工具、开发环境的搭建与本地测试、测试环境的搭建与测试” - 本文详细记录实际Spark项目开发环境的搭建。分析开发工具操作系统：win 10 JDK 版本：jdk1 阅读全文

posted @ 2018-06-01 18:15 Hi，王松柏阅读(208) 评论(0) 推荐(0) 编辑

Spark SQL概念学习系列之Spark SQL入门

摘要：前言第1章为什么Spark SQL？第2章 Spark SQL运行架构第3章 Spark SQL组件之解析第4章深入了解Spark SQL运行计划第5章测试环境之搭建第6章 Spark SQL之基础应用第7章 ThriftServer和CLI 第8章 Spark SQL之综合应用阅读全文

posted @ 2018-06-01 18:14 Hi，王松柏阅读(179) 评论(0) 推荐(0) 编辑

Spark MLlib机器学习

摘要：前言 Spark MLlib是Spark对常用的机器学习算法的实现库，同时包括相关的测试和数据生成器。阅读全文

posted @ 2018-06-01 18:13 Hi，王松柏阅读(108) 评论(0) 推荐(0) 编辑

Scala入门到精通

摘要：原文出自于： http://my.csdn.net/lovehuangjiaju 感谢！也感谢，http://m.blog.csdn.net/article/details?id=52233484 这是本人收集的Scala学习资料，觉得还不错。转载比较费事，所以就只给链接了。顺便做个目标，方便好找阅读全文

posted @ 2018-06-01 18:12 Hi，王松柏阅读(497) 评论(0) 推荐(0) 编辑

【转】Hive安装及使用攻略

摘要：Posted: Jul 16, 2013 Tags: HadoophiveHiveQLsql分区表 Comments: 18 Comments HadoophiveHiveQLsql分区表 Hive安装及使用攻略让Hadoop跑在云端系列文章，介绍了如何整合虚拟化和Hadoop，让Hadoop集群阅读全文

posted @ 2018-06-01 18:10 Hi，王松柏阅读(296) 评论(0) 推荐(0) 编辑

转】用Maven构建Hadoop项目

摘要：用Maven构建Hadoop项目 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, 阅读全文

posted @ 2018-06-01 18:09 Hi，王松柏阅读(306) 评论(0) 推荐(0) 编辑

【转】Hive导入10G数据的测试

摘要：Hive导入10G数据的测试让Hadoop跑在云端系列文章，介绍了如何整合虚拟化和Hadoop，让Hadoop集群跑在VPS虚拟主机上，通过云向用户提供存储和计算的服务。现在硬件越来越便宜，一台非品牌服务器，2颗24核CPU，配48G内存，2T的硬盘，已经降到2万块人民币以下了。这种配置如果简单阅读全文

posted @ 2018-06-01 18:07 Hi，王松柏阅读(151) 评论(0) 推荐(0) 编辑

【转】Hive学习路线图

摘要：Hive学习路线图 Hadoop家族系列文章，主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, 阅读全文

posted @ 2018-06-01 18:05 Hi，王松柏阅读(138) 评论(0) 推荐(0) 编辑

HBase 官方文档中文版

摘要：进入http://abloz.com/hbase/book.html 阅读全文

posted @ 2018-06-01 18:01 Hi，王松柏阅读(1045) 评论(0) 推荐(0) 编辑

【转】 hive简介，安装配置常见问题和例子

摘要：原文来自： http://blog.csdn.net/zhumin726/article/details/8027802 1 HIVE概述 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，HIVE的设计，可以轻松实现数据汇总，ad-hoc查询和分析大量的数据。阅读全文

posted @ 2018-06-01 17:59 Hi，王松柏阅读(309) 评论(0) 推荐(0) 编辑

MapReduce 开发环境搭建（Eclipse\MyEclipse + Maven）

摘要：写在前面的话可详细参考，一定得去看 HBase 开发环境搭建（Eclipse\MyEclipse + Maven） Zookeeper项目开发环境搭建（Eclipse\MyEclipse + Maven） Hive项目开发环境搭建（Eclipse\MyEclipse + Maven）我这里，相信阅读全文

posted @ 2018-06-01 17:57 Hi，王松柏阅读(1018) 评论(0) 推荐(0) 编辑

HBase 开发环境搭建（Eclipse\MyEclipse + Maven）

摘要：写在前面的话首先，搭建基于MyEclipse的Hadoop开发环境相信，能看此博客的朋友，想必是有一定基础的了。我前期写了大量的基础性博文。可以去补下基础。比如， CentOS图形界面下如何安装Eclipse和使用maven Eclipse下新建Maven项目、自动打依赖jar包【转】ma 阅读全文

posted @ 2018-06-01 17:56 Hi，王松柏阅读(474) 评论(0) 推荐(0) 编辑

Hadoop项目开发环境搭建（Eclipse\MyEclipse + Maven）

摘要：写在前面的话可详细参考，一定得去看 HBase 开发环境搭建（Eclipse\MyEclipse + Maven） Zookeeper项目开发环境搭建（Eclipse\MyEclipse + Maven） Hive项目开发环境搭建（Eclipse\MyEclipse + Maven） MapRed 阅读全文

posted @ 2018-06-01 17:56 Hi，王松柏阅读(191) 评论(0) 推荐(0) 编辑

Hive项目开发环境搭建（Eclipse\MyEclipse + Maven）

摘要：写在前面的话可详细参考，一定得去看 HBase 开发环境搭建（Eclipse\MyEclipse + Maven） Zookeeper项目开发环境搭建（Eclipse\MyEclipse + Maven）我这里，相信，能看此博客的朋友，想必是有一定基础的了。我前期写了大量的基础性博文。可以去补下阅读全文

posted @ 2018-06-01 17:55 Hi，王松柏阅读(244) 评论(0) 推荐(0) 编辑

开始使用storm

摘要：开始使用storm 本章将讲述如何安装、部署、启动和停止 Storm 集群。 Storm 的安装比较简单，但在安装 Storm 之前需要做好充足的准备，本章将介绍安装的整个流程。在官网上可以下载到Storm 最新的和稳定的几个版本。截至本书截稿之前， Storm 的最新版本是 0.9.3，但是本书主阅读全文

posted @ 2018-06-01 17:50 Hi，王松柏阅读(215) 评论(0) 推荐(0) 编辑

Storm概念学习系列之storm简介

摘要：storm简介 Storm 是 Twitter 开源的、分布式的、容错的实时计算系统，遵循 Eclipse Public License1.0。 Storm 通过简单的 API 使开发者可以可靠地处理无界持续的流数据，进行实时计算。 Twitter Storm 是使用 Clojure（发音同 clo 阅读全文

posted @ 2018-06-01 17:49 Hi，王松柏阅读(648) 评论(0) 推荐(0) 编辑

Storm概念学习系列之什么是实时流计算？

摘要：什么是实时流计算？ 1、实时流计算背景 2、实时计算应用场景 3、实时计算处理流程 4、实时计算框架什么是实时流计算？所谓实时流计算，就是近几年由于数据得到广泛应用之后，在数据持久性建模不满足现状的情况下，急需数据流的瞬时建模或者计算处理。这种实时计算的应用实例有金融服务、网络监控、电信数据管理阅读全文

posted @ 2018-06-01 17:48 Hi，王松柏阅读(2424) 评论(0) 推荐(0) 编辑

Storm概念学习系列之storm出现的背景

摘要：storm出现的背景互联网从诞生的第一时间起，对世界的最大改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家有对信息实时响应、实时交互的需求，所以软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转账阅读全文

posted @ 2018-06-01 17:48 Hi，王松柏阅读(170) 评论(0) 推荐(0) 编辑

Storm概念学习系列之storm-starter项目（完整版）（博主推荐）

摘要：这是书籍《从零开始学Storm》赵必厦 2014年出版的配套代码！ storm-starter项目包含使用storm的各种各样的例子。项目托管在GitHub上面，其网址为: http://github.com/nathanmarz/storm-starter 或者 storm-starter项目的包阅读全文

posted @ 2018-06-01 17:44 Hi，王松柏阅读(407) 评论(0) 推荐(0) 编辑

JAVA 毕业设计辅导

摘要：JAVA 毕业设计辅导阅读全文

posted @ 2018-06-01 09:58 Hi，王松柏阅读(169) 评论(0) 推荐(0) 编辑

06 2018 档案

导航

公告

搜索

常用链接

随笔档案

相册

二维码