摘要：
SIGNAL=${SIGNAL:-TERM} PIDS=$(jps -lm | grep -i 'kafka\.Kafka' | awk '{print $1}')if [ -z "$PIDS" ]; then echo "No kafka server to stop" exit 1else ki 阅读全文
摘要：
tar -zxvf /root/soft/kafka_2.11-1.1.1.tgz -C /app/ #broker.id=0 每台服务器的broker.id都不能相同 #hostnamehost.name=1.2.3.251 #在log.retention.hours=168 下面新增下面三项me 阅读全文
摘要：
tar -zxvf /root/soft/zookeeper-3.4.13.tar.gz -C /app/ vim /etc/profile# zookeeperexport ZK_HOME=/app/zookeeper-3.4.13export PATH=$ZK_HOME/bin:$PATH cd 阅读全文
摘要：
sqlloader: conn naaa/ps1234@connstrset echo onset term offset line 1000 pages 0set feedback offset heading offset trimspool on spool D:\Azhuqiuhong\ex 阅读全文
摘要：
http://www.ruanyifeng.com/blog/2011/09/restful.html?bsh_bid=1717507328 我们总结一下什么是RESTful架构： （1）每一个URI代表一种资源； （2）客户端和服务器之间，传递这种资源的某种表现层； （3）客户端通过四个HTTP动 阅读全文
摘要：
一、第一部分 1、spark2.1与hadoop2.7.3集成，spark on yarn模式下，需要对hadoop的配置文件yarn-site.xml增加内容，如下： 2、spark的conf/spark-defaults.conf配置 如果你是运行在yarn之上的话，就要告诉yarn，你spar 阅读全文
摘要：
1，测试或实验性质的本地运行模式 （单机） 该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题。 其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程（该线程有1个core）。 如果是loca 阅读全文
摘要：
在Spark应用开发中，很容易出现如下报错： 该报错意思是用户代码的transformation操作中包含不可序列化的对象引用。 本文主要从以下三个方面解释Spark 应用中序列化问题 。 1、Java序列化含义？ 2、Spark代码为什么需要序列化？ 3、如何解决Spark序列化问题？ 1、Jav 阅读全文
摘要：
Statement和PreparedStatement的区别就不多废话了,直接说PreparedStatement最重要的addbatch()结构的使用. 1.建立链接,(打电话拨号 ) Connection connection =getConnection(); 2.不自动 Commit (瓜子 阅读全文
摘要：
在这里对Scala实现与Java实现的几个不同之处做个介绍。 第一是Scala对HelloWorld的修饰符使用的是object。其实Scala中也有class关键字，那么object关键字和class关键字有什么区别那？简单来说object关键字定义了一个匿名类，并且创建了该匿名类的单个实例（采用 阅读全文
摘要：
FileInputStream <span style="font-family:Verdana;">import java.io.File; import java.io.FileInputStream; import java.io.InputStream; public class TestF 阅读全文
摘要：
这两者有些人很容易搞混，因此我在这里详细讲述下。 replace的参数是char和CharSequence，即可以支持字符的替换，也支持字符串的替换（CharSequence即字符串序列的意思,说白了也就是字符串）； replaceAll的参数是regex，即基于规则表达式的替换，比如：可以通过re 阅读全文
摘要：
String 字符串常量StringBuffer 字符串变量（线程安全）StringBuilder 字符串变量（非线程安全） 简要的说， String 类型和 StringBuffer 类型的主要性能区别其实在于 String 是不可变的对象, 因此在每次对 String 类型进行改变的时候其实都等 阅读全文
摘要：
hive中空值判断基本分两种 （1）NULL 与 \N hive在底层数据中如何保存和标识NULL，是由 alter table name SET SERDEPROPERTIES('serialization.null.format' = '\N'); 参数控制的 比如： 1.设置 alter ta 阅读全文
摘要：
首先是安装scala插件，可以通过idea内置的自动安装方式进行，也可以手动下载可用的插件包之后再通过idea导入。 scala插件安装完成之后，新建scala项目，右侧使用默认的sbt 点击Next，到这一步就开始踩坑了，scala的可选版本比较多，从2.12到2.10都有，我的环境下用wordc 阅读全文
摘要：
scala类型系统：1) 类型与类 在Java里，一直到jdk1.5之前，我们说一个对象的类型(type)，都与它的class是一一映射的，通过获取它们的class对象，比如 String.class, int.class, obj.getClass() 等，就可以判断它们的类型(type)是不是一 阅读全文
摘要：
前一天学习了 at 命令是针对仅运行一次的任务，循环运行的例行性计划任务，linux系统则是由 cron (crond) 这个系统服务来控制的。Linux 系统上面原本就有非常多的计划性工作，因此这个系统服务是默认启动的。另外, 由于使用者自己也可以设置计划任务，所以， Linux 系统也提供了使用 阅读全文
摘要：
1，Kettle跨平台使用。 例如：在AIX下（AIX是IBM商用UNIX操作系统，此处在LINUX/UNIX同样适用），运行Kettle的相关步骤如下： 1）进入到Kettle部署的路径 2）执行 chmod *.sh，将所有shell文件添加可执行权限 3）在Kettle路径下，如果要执行tra 阅读全文
摘要：
Airflow能做什么 关注公众号， 查看更多 http://mp.weixin.qq.com/s/xPjXMc_6ssHt16J07BC7jA Airflow是一个工作流分配管理系统，通过有向非循环图的方式管理任务流程，设置任务依赖关系和时间调度。 Airflow独立于我们要运行的任务，只需要把任 阅读全文
摘要：
假设有变量 var=http://www.aaa.com/123.htm 1. # 号截取，删除左边字符，保留右边字符。 其中 var 是变量名，# 号是运算符，*// 表示从左边开始删除第一个 // 号及左边的所有字符 即删除 http:// 结果是 ：www.aaa.com/123.htm 2. 阅读全文
摘要：
linux下文件的复制、移动与删除命令为：cp，mv，rm一、文件复制命令cp 命令格式：cp [-adfilprsu] 源文件(source) 目标文件(destination) cp [option] source1 source2 source3 ... directory 参数说明： -a: 阅读全文
摘要：
曾经也在找看看有没有快捷的方法全选，但是网上很多都是重复，并且错误的，比如： 1,$y,这是什么？要写也要写成:1,$y,但是我告诉你，写成:1,$y是全部复制，不是全选 dG，这个就更加误导人了，这是删除光标所在行到最后一行的内容（包括光标所在行的内容） 上面这里都扯到哪里去了。全选正确的答案是： 阅读全文
摘要：
一、导出 工具->资源库->探索资源库 就可以看见资源库里面的资源了。 如果要导出资源库里面的某个目录就右键就行了。 如果要导出全部资源库的文件就如下图所示 将资源库导出其实也是一个xml文件。 选择一个路径保存xml 二、导入 tools >repository >import repositor 阅读全文
摘要：
冒号在Linux中是一个空命令，可以认为与shell的内建命令true相同，它的返回值是0. 在while循环中 while ： 与 while true 的作用是等效的 在 if/then 中可作为占位符 使用冒号还可以用作注释行的开始，但是如果有语法错误，仍将报错，这一点与使用#号不同 阅读全文
摘要：
[ -a FILE ] 如果 FILE 存在则为真。 [ -b FILE ] 如果 FILE 存在且是一个块特殊文件则为真。 [ -c FILE ] 如果 FILE 存在且是一个字特殊文件则为真。 [ -d FILE ] 如果 FILE 存在且是一个目录则为真。 [ -e FILE ] 如果 FIL 阅读全文
摘要：
使用方法 尽管操作可能会很复杂，但语法总是这样，其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。花括号（{}）不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。 pattern就是要表示的正则表达式，用斜杠括起来。 阅读全文
摘要：
说明： 通过(图3.1)我们可以看到创建数据源时需要配置相应的参数： Connection Name(必填)：配置数据源使用名称，如：Rot_Source Host Name(必填)：数据库主机IP地址，此处演示则使用本址IP(localhost)地址 Database Name(必填)：数据库实例 阅读全文
摘要：
一、oracle中copy from的用法 1.语法及使用说明 1.1 语法 下面我们来看一下SQL*Copy Command的语法及使用说明。 在解释SQL*Plus Copy Command的语法之前，我们必须要明确SQL*Plus Copy Command不是一个方法或是函数，也不是一个SQL 阅读全文
摘要：
linux sed 批量替换字符串 sed -i "s/from trade/from sourcedb/g" `grep from trade -rl /seabox/develop/hsams/sqoop` sed -i 's/from trade/from sourcedb/g' * sed 阅读全文
摘要：
vi/vim 按键说明 除了上面简易范例的 i, Esc, :wq 之外，其实 vim 还有非常多的按键可以使用。 第一部份：一般模式可用的光标移动、复制粘贴、搜索替换等 第二部份：一般模式切换到编辑模式的可用的按钮说明 第三部份：一般模式切换到指令行模式的可用的按钮说明 特别注意，在 vi/vim 阅读全文
摘要：
ctrl+/ 一个一个单词的往后跳Ctrl+H 替换Ctrl+F 查找Ctrl+D 复制当前行到下一行Ctrl+L 删除当前行Ctrl+Shift+F 在文件中找F5 打开run对话框F11 全屏Alt+0 折叠全部Alt+Shift+0 展开全部Ctrl+U 变为小写Ctrl+Shift+U 变为 阅读全文
摘要：
参考：https://tech.meituan.com/koa-restql.html 在现代的业务系统中，后端开发工作基本上可以被拆分为三项： 接口鉴权。例如判断是不是当前系统的用户，以及该用户是否有权限访问接口。 与其他系统的交互。例如调用第三方的服务，或内部搭建的其他服务。 数据操作。基本上所 阅读全文
摘要：
oracle 用户与表空间关系 oracle用户与表空间关系用户=商家表=商品表空间=仓库1. 1个商家能有很多商品，1个商品只能属于一个商家2. 1个商品可以放到仓库A，也可以放到仓库B，但不能同时放入A和B3. 仓库不属于任何商家4. 商家都有一个默认的仓库，如果不指定具体仓库，商品则放到默认的 阅读全文
摘要：
Status: Running (Executing on YARN cluster with App id application_1510723060011_0082) VERTICES STATUS TOTAL COMPLETED RUNNING PENDING FAILED KILLED M 阅读全文
摘要：
1、安装jdk 2、下载安装包 : apache-flume-1.7.0-bin.tar.gz 安装包是在win下载的，需要拖动到ubuntu下的/home/hadoop （拖动不了需要先安装 lrzsz: sudo apt-get install lrzsz） 3、在 /home/hadoop/ 阅读全文
摘要：
首先需要进行以下设置： set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.max.dynamic.partitions.pernode=10000; 阅读全文
摘要：
Hive的几种常见的数据导入方式这里介绍四种：（1）、从本地文件系统中导入数据到Hive表；（2）、从HDFS上导入数据到Hive表；（3）、从别的表中查询出相应的数据并导入到Hive表中；（4）、在创建表的时候通过从别的表中查询出相应的记录并插入到所创建的表中。 一、从本地文件系统中导入数据到Hi 阅读全文
摘要：
参考：scala教程： https://yq.aliyun.com/topic/69 Scala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。 Scala 运行在Java虚拟机上，并兼容现有的Java程序。 Scala 源代码被编译成J 阅读全文
摘要：
hive中日志分为两种： 1 系统日志，记录hive运行情况，错误状态 2 job日志 ， 记录hive中 job执行的历史过程 系统日志存储位置： 配置在 hive/conf/hive-log4j.properties 文件中记录了hive日志存储情况 默认存储信息： hive.root.logg 阅读全文
摘要：
Linux的变量种类 按变量的生存周期来划分，Linux变量可分为两类： 1 永久的：需要修改配置文件，变量永久生效。 2 临时的：使用export命令声明即可，变量在关闭shell时失效。 设置变量的三种方法 1 在/etc/profile文件中添加变量【对所有用户生效(永久的)】 用VI在文件/ 阅读全文