07 2017 档案
摘要：https://segmentfault.com/a/1190000010225928
阅读全文
摘要：一、在某行的前一行或后一行添加内容 具休操作如下： 而在书写的时候为便与区分，往往会在i和a前面加一个反加一个反斜扛 。代码就变成了： 这就就可以很方便的看出要在某一行前或某一行后加入什么内容 。不过经常我记不住a 、i 那个是前那个是后。我的记法是a = after ，i = in front 。
阅读全文
摘要：yum安装 yum -y install expect 手动安装 expect以及tcl版本 testcase
阅读全文
摘要：调用这个方法 是报错,未解决
阅读全文
摘要：HBase表预分区 - 人是有思想的芦苇 - CSDN博客
阅读全文
摘要：#!/bin/bash CheckProcess() { if [ "$1" = "" ]; then return 1 fi PROCESS_NUM=`ps -ef | grep "$1" | grep -v "grep" | wc -l` if [...
阅读全文
摘要：common-io-2.0的新功能之文件监控FileAlteration（文件监听的两种实现方法《很全的监听文件例子》）
阅读全文
摘要：下载spark-1.6.1-bin-hadoop2.6.tgz 解压 配置 启动 sbin/start-all.sh bin/spark-shell 启动单机版的spark-shell,不会再浏览器中看到他的信息 //启动集群的sparkshell bin/spark-shell --master
阅读全文
摘要：程序员，如何从平庸走向理想？ 作者: Web寻梦师 来源: 简书 发布时间: 2017-04-13 21:24 阅读: 67226 次 推荐: 369 原文链接 [收藏] 博主说：也许我们都不是天才的程序员，但至少我们都可以成为一个理想的程序员。 正文 我算是靠坑蒙拐骗进了程序员的门，然后一路狂奔。
阅读全文
摘要：客户端需要指定ns名称，节点配置，ConfiguredFailoverProxyProvider等信息。 代码示例： 【Hadoop】HA 场景下访问 HDFS JAVA API Client 【Hadoop】HA 场景下访问 HDFS JAVA API Client
阅读全文
摘要：2.6.5 2.6.5 org.apache.hbase hbase-it 1.2.5 test--> junit junit 3.8.1 te...
阅读全文
摘要：hbase 1.2.5 单节点伪分布式,数据存储在hdfs 上 http://hbase.apache.org/book.html#quickstart 后面也有测试的练习 主要配置 hbase-env.sh中配置JAVA_HOME hbase-site.xml中配置*(注意和自己的hfds的端口要
阅读全文
摘要：首先按照官网的单机去配置,如果官网不行的话可以参考一下配置,这个是配置成功过的.但是不一定每次都成功 http://hadoop.apache.org/docs/r2.6.5/ centos 6.7 hadoop2.6.5 yarn-site.xml yarn-env.sh 使用默认的 mapred
阅读全文
摘要：IntelliJ Idea 常用快捷键列表 首先Idea要设置成默认的keyMap Ctrl+Alt+t 选择代码块 try catch Alt+回车 导入包,自动修正 Ctrl+N 查找类 Ctrl+Shift+N 查找文件 Ctrl+Alt+L 格式化代码 Ctrl+Alt+O 优化导入的类和包 Alt+Insert 生成代码(如get,set方法,构造函数等) mac系统 fn+...
阅读全文
摘要：
阅读全文
摘要：Scala:fold,foldLeft和foldRight区别与联系 我们来看看最后一个函数：reduce。使用reduce我们可以处理列表的每个元素并返回一个值。通过使用reduceLeft和reduceRight我们可以强制处理元素的方向。（使用reduce方向是不被保证的）译者注：reduce
阅读全文
摘要：原因是由于storm打包时不需要加入storm-core但是本地运行时需要所以需要手动去修改pom文件
阅读全文
摘要：0.有的地方我已经整理成脚本了,有的命令是脚本里面截取的 1.启动hadoop和yarn $HADOOP_HOME/sbin/start-dfs.sh;$HADOOP_HOME/sbin/start-yarn.sh 2.启动zk #主机名是mini-mini3所以这里可以遍历 echo "start
阅读全文
摘要：1.2入门 1.2a.kafka版本 kafka_2.11-0.8.2.2 1.2.b配置文件中需要注意的地方,broker.id=0这个在每台机器上是不一样的,需要scp复制之后手动去修改 broker.id=0 # Hostname the broker will bind to. If not
阅读全文
摘要：Hive从0.14版本开始支持事务和行级更新，但缺省是不支持的，需要一些附加的配置。要想支持行级insert、update、delete，需要配置Hive支持事务。 一、Hive具有ACID语义事务的使用场景1. 流式接收数据。许多用户使用诸如Apache Flume、Apache Storm或Ap
阅读全文
摘要：redis主要存储类型最常用的五种数据类型： String Hash List Set Sorted set redis存储对象序列化和反序列化 首先来了解一下为什么要实现序列化 为什么要实现序列化接口 当一个类实现了Serializable接口(该接口仅为标记接口,不包含任何方法定义),表示该类可
阅读全文
摘要：EXPORT TABLE stu_p TO '/stu_p.dat'; 将数据和元数据导出到hdfs hdfs dfs -ls /stu_p.dat/year=2012 导入表(必须明白导出表,导出表是将表的元数据,数据导出到hdfs上.)讲一个导出的表导入到数据库中,这个hdfs_path 是一个导出表的文件夹 import table tbname from ‘hdfs_path’ 6、导...
阅读全文
摘要：hive2.1.1配置 首先在conf下复制hive-site.xml 配置文件干掉之前的不然会遇到 Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relativ
阅读全文
摘要：maven-assembly-plugin jar-with-dependencies ...
阅读全文
摘要：原因是zookeeper没有启动
阅读全文
摘要：幸福课 | 恶习为什么难戒？因为你在HALT状态 幸福课 | 恶习为什么难戒？因为你在HALT状态 文 游识猷 饥饿（hungry）、生气（angry）、孤单（lonely）、疲惫（tired）这4种状态，被称为HALT——这个词刚好是英文里“停止”的意思。研究发现，当我们处在HALT状态时，脑子里
阅读全文
摘要：def main(args: Array[String]): Unit = {//1 read for( i<- Source.fromFile("test.dat").getLines().toArray){ println(i) } // 2 read println(Source.fromFile("test.dat").mkString) //1w...
阅读全文
摘要：用xshell上传的时候一般直接拖就可以了,命令是put,很少用下载,今天用下载却不行, 我遇到的问题是直接输入命令lcd d:/然后get /root/test.txt是报错sftp: cannot open d: to write! 解决办法是执行lcd 不加路径,然后会弹出一个窗口让你选存储路
阅读全文
摘要：执行时报错,后来发现他的配置文件中写了相对路径!!所以必须在他的根目录下执行,命令为 nohup bin/azkaban-web-start.sh 1>/tmp/azstd.out 2>/tmp/azerr.out & 坑2: azkaban 将脚本和job放在一个文件执行时会报错,同样的脚本,在L
阅读全文
摘要：0. date -R 中国上海的时区是+8000 1.tzselect 设置时区,依次选择5,9,1,1(如果时区不一样,执行下面的命令得到之后时间是不一样的) 2.sudo ntpdate asia.pool.ntp.org;date 与服务器同步时间 3. date -s "2012-08-27
阅读全文
摘要：补充: sqoop安装之后的配置,配置很简单,加上上面的数据就可以用了 修改配置文件$ cd /conf$ cp sqoop-env-template.sh sqoop-env.sh打开sqoop-env.sh并编辑下面几行：export HADOOP_COMMON_HOME=/home/hadoo
阅读全文
摘要：mysql -uroot study -proot << EOF > insert into top_n_movie(movie,sumprice)values('hello kitty',100);> EOF 一定要换行 shell 实现mysql写入操作 shell语句查询mysql数据库的常用
阅读全文
摘要：mr的三种运行方式 第一种,打成jar包,在hadoop上运行 第二种,driver端在本地,通过ide连接linux上的hdfs 第三种,windows本地运行 第三种,windows本地运行 hadoop_dll2.6.0_64bit下载地址 https://pan.baidu.com/s/1k
阅读全文
摘要：HashMap与TreeMap按照key和value排序 使用一个场景是mapreduce中用解决topn问题是用value 排序 topn MapReducetopN
阅读全文
摘要：http://blog.csdn.net/daxiang12092205/article/details/52717470
阅读全文
摘要：package study.bigdata; import org.apache.commons.io.FileUtils; import org.apache.commons.io.IOUtils; import org.apache.commons.lang3.RandomStringUtils; import org.junit.Test; import java.io.Buffere...
阅读全文
摘要：#log4j.rootLogger=INFO,C log4j.rootLogger=INFO,C #first way log All ########## # C,System.out #log4j.appender.C.Threshold=INFO print info or above ########## # log4j.logger.sfk.bbs=INFO,C,F # only lo...
阅读全文
摘要：新建一个maven项目 iead,新建是不选择archetype,新建好之后,pom中的 <packaging>pom</packaging>节点是默认的,如果不是要改成这这样子 然后选中这个项目,新建一个module,之后就和建立普通项目一样了. eclipse 是这样的 建一个普通的maven项
阅读全文
摘要：对象复制的一个使用场景,在使用redis和Hbase处理两个库的事务时,要手动实现事务,在修改一些数据时要先复制一份,在hbase或者dedis做updata操作失败时还原用. 在hbase中没有事务,需要自己实现事务,此时也用到了对象的深复制 第二种方法,通过序列化和反序列话实现,此时被序列化的类
阅读全文
摘要：<bean id="InitStart" lazy-init="false" init-method="InitSystem" class="my.spring.uitl.InitStart"></bean> 配置在springmvc的配置文件中 只要项目启动,就会默认执行这个类的这个方法 相比静态
阅读全文
摘要：源码的安装一般由3个步骤组成：配置（configure）、编译（make）、安装（make install），具体的安装方法一般作者都会给出文档，这里主要讨论配置（configure）。Configure是一个可执行脚本，它有很多选项，使用命令./configure –help输出详细的选项列表，如
阅读全文
摘要：有很多条却只能查出来一条 1223434;lisi1234;
阅读全文
