2016 年 8月随笔档案 - 山高似水深

摘要：VVZHT9QS3R X30ASEHY33 阅读全文

posted @ 2016-08-31 16:38 山高似水深阅读(546) 评论(0) 推荐(0) 编辑

摘要：1、地产 2、房地产 3、房产 4、伟业 5、基业 6、置业 7、不动产 8、家园 9、家业 10、置地 11、房屋 12、置换阅读全文

posted @ 2016-08-30 12:03 山高似水深阅读(225) 评论(0) 推荐(0) 编辑

摘要：public static void main(String[] args) { String company = "华厦世纪（厦门）地产"; // System.out.println(str.indexOf("司")); // System.out.println(str.substring(0,str.indexOf("代理有限公司"))... 阅读全文

posted @ 2016-08-29 15:15 山高似水深阅读(11036) 评论(0) 推荐(0) 编辑

Java判断字符串是否包含数字

摘要：public static boolean isContainNumber(String company) { Pattern p = Pattern.compile("[0-9]"); Matcher m = p.matcher(company); if (m.find()) { ret... 阅读全文

posted @ 2016-08-29 14:29 山高似水深阅读(9919) 评论(0) 推荐(0) 编辑

char 与 String 之间的转换

摘要：char 类型的字符串可以直接打印阅读全文

posted @ 2016-08-22 11:40 山高似水深阅读(403) 评论(0) 推荐(0) 编辑

hive与hbase整合方式和优劣

摘要：分别安装hive 和 hbase 1、在hive中创建与hbase关联的表 2、可以在hive中使用hsql 来插入数据并同时在hbase中也可以scan到 3、可以在hbase中使用来插入数据，支持更新，插入同样rowkey的数据，最新的数据会覆盖前面一条 4、如果需要清空表，在hbase中tru 阅读全文

posted @ 2016-08-18 14:34 山高似水深阅读(3967) 评论(0) 推荐(0) 编辑

曾经的你-许巍

摘要：曾梦想仗剑走天涯看一看世界的繁华年少的心总有些轻狂如今你四海为家曾让你心疼的姑娘如今已悄然无踪影爱情总让你渴望又感到烦恼曾让你遍体鳞伤 Dilililidilililidenda Dilililidilililidada Dilililidilililidada 走在勇往直前的路上 D 阅读全文

posted @ 2016-08-18 11:11 山高似水深阅读(1056) 评论(0) 推荐(0) 编辑

Hbase表重命名表改名

摘要：PS：现在我有个表：test11_new ，我要给他改名开始：新的表名如上再scan一下 ok，到此结束！阅读全文

posted @ 2016-08-17 18:06 山高似水深阅读(29122) 评论(1) 推荐(0) 编辑

Eclipse 快键键（持续更新）

摘要：本人抛弃一些简单常见的快键键，例如 ctrl+c ，+v ，+z之类的 1、ctrl+d 删除一整行 2、ctrl+f 搜索 3、光标选中几行，ctrl+alt+↓ 向下复制选中的那几行 4、光标选中几行，alt+↓ 向下移动 ↑ ：向上移动 5、ctrl+/ 注释，重复解除注释 6、ctrl+sh 阅读全文

posted @ 2016-08-17 15:52 山高似水深阅读(1174) 评论(0) 推荐(0) 编辑

Linux 查看一个端口的连接数

摘要：netstat -antp|grep -i "80" |wc -l 譬如查看80端口的连接数阅读全文

posted @ 2016-08-16 11:05 山高似水深阅读(539) 评论(0) 推荐(0) 编辑

hbase性能调优（转载）

摘要：一、服务端调优 1、参数配置 1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC，阅读全文

posted @ 2016-08-11 16:10 山高似水深阅读(862) 评论(0) 推荐(0) 编辑

Hbase优化记录

摘要：<configuration><property><name>hbase.rootdir</name><value>hdfs://gagcluster/hbase</value></property><property><name>hbase.zookeeper.property.dataDir</ 阅读全文

posted @ 2016-08-11 15:18 山高似水深阅读(456) 评论(0) 推荐(0) 编辑

记录下Linux难记实用的命令

摘要：1 看文件大小：du -sm * | sort -n 2 合并多个文件，可以跨文件夹合并：cat *_.txt >> news.txt 3 给文件改编码：iconv -f GBK -t UTF-8 原文件名 -o 新文件名 4 查找文件内容：grep "thermcontact" */*.in 5 批量解压：ls *.tar.gz | xargs -n1 tar xzvf 6 看硬盘剩余：du ... 阅读全文

posted @ 2016-08-10 10:14 山高似水深阅读(476) 评论(0) 推荐(0) 编辑

java连接字符串操作，可用来向sql传值

摘要：private static String concat(String tag,String Time) { // TODO Auto-generated method stub // return new StringBuilder(tag.length() + Time.length()) // .append(tag).append(Time).toString(); retu... 阅读全文

posted @ 2016-08-09 17:28 山高似水深阅读(874) 评论(0) 推荐(0) 编辑

java判断一个字符串中是否包含全角

摘要：public static boolean isAngle(String str){ if(str.getBytes().length==str.length()){ //全是半角 return true; } return false; ... 阅读全文

posted @ 2016-08-09 17:27 山高似水深阅读(2080) 评论(1) 推荐(1) 编辑

获取一个字符串中，一个字符出现的次数

摘要：public static int appearNumber(String srcText, String findText) { int count = 0; int index = 0; while ((index = srcText.indexOf(findText, index)) != -1) { index... 阅读全文

posted @ 2016-08-09 17:26 山高似水深阅读(1957) 评论(0) 推荐(0) 编辑

判断是否包含中文

摘要：public static boolean isContainChinese(String str) { Pattern p = Pattern.compile("[\u4e00-\u9fa5a-zA-Z]"); Matcher m = p.matcher(str); if (m.find()) { return t... 阅读全文

posted @ 2016-08-09 17:25 山高似水深阅读(261) 评论(0) 推荐(0) 编辑

手机号验证正则表达式

摘要：public static boolean isMobile(String str) { Pattern p = null; Matcher m = null; boolean b = false; p = Pattern.compile("^[1][3,4,5,8][0-9]{9}$"); // 验证手机号 ... 阅读全文

posted @ 2016-08-09 17:00 山高似水深阅读(353) 评论(0) 推荐(0) 编辑

hadoop2.x常用端口及定义方法

摘要：Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特收集记录如此，以便查询。这里包含我们使用到的组件：HDFS, YARN, HBase, Hive, ZooK 阅读全文

posted @ 2016-08-09 16:50 山高似水深阅读(6185) 评论(0) 推荐(1) 编辑

基于:Hadoop 2.6.0-cdh5.4.0 hive1.1.0 HBase 1.0.0-cdh5.4.0 关键配置文件

摘要：core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml hadoop-env.sh hive-env.sh hive-site.xml hbase-site.xml zoo.cfg 阅读全文

posted @ 2016-08-09 16:39 山高似水深阅读(1317) 评论(0) 推荐(0) 编辑

查看hdfs各目录分别占用多少空间

摘要：之前在网上搜索到的全部单位好像都是byte的，看起来很麻烦，然后自己看了下 hadoop fs -help hadoop fs -du -h / hadoop fs -du -h /tmp 很简单明了，前面的数字即为目录所占空间的大小，后面的因为我前期备份数为3 后期改为2 所以可能会不一样阅读全文

posted @ 2016-08-09 16:26 山高似水深阅读(70108) 评论(2) 推荐(5) 编辑

Hadoop集群能打开50070端口不能打开8088端口 web浏览器界面

摘要：两天时间，知道现在才把这个东西解决解决的灵感来源于百度知道一句话谢谢这个哥们谢谢这个哥们！谢谢这个哥们！我的目录是在/home/hadoop/tmp 大家如果遇到这个问题，希望能按照我的办法去试一下 2016年1月18日04:00:49 阅读全文

posted @ 2016-08-09 16:06 山高似水深阅读(2717) 评论(0) 推荐(0) 编辑

zookeeper 安装配置注意事项

摘要：zoo.cfg 1、server.1/2/3 有几台配置几个 2、配置好hosts映射之后可以用node1替代IP地址 3、dataLogDir 下面配置的logs 的目录一定要创建 4、dataDir 配置的目录下面一定要创建一个文本，里面写上server.（点）之后那个数字，每个节点都要写 5 阅读全文

posted @ 2016-08-09 16:05 山高似水深阅读(386) 评论(0) 推荐(0) 编辑

Mysql如何将一张表重复数据删除

摘要：MySQL无法select 和 delete,update同时进行只有将group By 出来不重复的数据进行insert到一张和之前同样类型的新表里面转换思路，解决问题！阅读全文

posted @ 2016-08-09 16:04 山高似水深阅读(432) 评论(0) 推荐(0) 编辑

通过Excel导入Mysql 超过65535条数据的办法

摘要：1、截取 65534条数据，进行分sheet，然后1个sheet导入一张表，最后进行整合！ 2、采用TXT导入方式，TXT的导入暂时没发现限制的数据条数，下午用TXT导入74万条数据成功 3、如果遇到log型的日志导入MySQL，可以直接复制成TXT，然后利用分隔符加上表头进行导入阅读全文

posted @ 2016-08-09 16:03 山高似水深阅读(6271) 评论(1) 推荐(0) 编辑

eclipse配置hadoop location的端口号

摘要：在eclipse下配置hadoop location的时候 hadoop端口号应该与conf文件夹下的core-site.xml以及mapred-site.xml保持一致前者对应dfs master，后者对应map-red master //这是mapred-site.xml mapred.job.tracker http://master.hadoop:90... 阅读全文

posted @ 2016-08-09 16:02 山高似水深阅读(1743) 评论(0) 推荐(0) 编辑

MySQL 删除字段数据某关键字后的所有数据

摘要：UPDATE `bj_agent_new` SET Compay= CONCAT(substring_index(`Compay`,'开发商',1),'开发商') WHERE Compay LIKE '%开发商%'; sql附上阅读全文

posted @ 2016-08-09 16:02 山高似水深阅读(1158) 评论(0) 推荐(0) 编辑

Hadoop运行程序不报错只有warn也没反应也不输出结果的解决办法

摘要：log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Please initialize the log4j system properly. log4j:WARN See http://logging.apach... 阅读全文

posted @ 2016-08-09 16:00 山高似水深阅读(1151) 评论(0) 推荐(0) 编辑

一文看懂大数据的技术生态圈，Hadoop，hive，spark都有了

摘要：转载：大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特性，虽然奇怪的组合阅读全文

posted @ 2016-08-09 15:59 山高似水深阅读(7730) 评论(0) 推荐(2) 编辑

数据从HDFS-->HIVE-->HBASE 执行过程

摘要：1、数据已经load进去hdfs 2、hive、hbase已经安装成功（我用的是hadoop 2.4 hbase 0.98.12 hive 1.2.1） 3、开始！ 4、在hive建立表同时生成对应的一张Hbase表，分别在hive和hbase用show tables;和list查看是否生成对应的表 create table hive3 (key string,phone string... 阅读全文

posted @ 2016-08-09 15:58 山高似水深阅读(778) 评论(0) 推荐(0) 编辑

mysql：mysql Access denied for user root@

摘要：最近用本地Navicat连接集群的mysql，报了上述的错误，我认为是权限问题之前试过赋权限给所有人，但是我这边还是连接不上，无奈，试试只分给我一个IP 开始：mysql -uroot -p //先登录mysql 我用的root用户登录成功 mysql> 然后开始赋权限： 1、GRANT A 阅读全文

posted @ 2016-08-09 15:57 山高似水深阅读(540) 评论(0) 推荐(0) 编辑

获取字符串长度函数length()和hengthb()

摘要：oracle获取字符串长度函数length()和hengthb() lengthb(string)计算string所占的字节长度：返回字符串的长度，单位是字节 length(string)计算string所占的字符长度：返回字符串的长度，单位是字符对于单字节字符,LENGTHB和LENGTH是一样的. 如可以用length(‘string’)=lengthb(‘string’)判断... 阅读全文

posted @ 2016-08-09 15:56 山高似水深阅读(4649) 评论(0) 推荐(0) 编辑

Linux服务器在外地，如何用eclipse连接hdfs

摘要：配置外网和内网的映射，内部所有配置全部用内网的IP 本地所有配置皆为外网地址本地给服务器发指令全部由映射转换为内网指定IP，即可阅读全文

posted @ 2016-08-09 14:16 山高似水深阅读(26023) 评论(0) 推荐(0) 编辑

mysql工具Navicat批量执行SQL语句

摘要：例如：我现在要同时执行这么多语句 update community set xqmc=replace(xqmc,' ',''); update community set xqbm=replace(xqbm,' ',''); update community set dkxx=replace(dkxx,' ',''); update community set ssqy=replace(... 阅读全文

posted @ 2016-08-09 14:15 山高似水深阅读(27307) 评论(1) 推荐(0) 编辑

\r,\n,\r\n的区别

摘要：\n是换行，英文是New line，表示使光标到行首 \r是回车，英文是Carriage return，表示使光标下移一格 \r\n表示回车换行阅读全文

posted @ 2016-08-09 14:14 山高似水深阅读(327) 评论(0) 推荐(0) 编辑

hive删除表报错：Specified key was too long; max key length&nb

摘要：我是在hive删除表的时候出现这个错误的，看到这个错误应该就知道是字符集错误。但是我用 alter database hive character set latin1; 这个命令将其改成拉丁之后还是不行，然后我想到是不是这次hive是重装的，然后还保留有上次存在的hive表结构等存在mysql的数据信息，所以果断将mysql里面的hive数据库删了，然后重新： create data... 阅读全文

posted @ 2016-08-09 14:13 山高似水深阅读(652) 评论(0) 推荐(0) 编辑

FAILED: Execution Error, return code 2 from org.apache.hadoop

摘要：错误遇到的情形： hive整合hbase，hive的数据表 load，select，insert一切正常通过hive往hbase关联表插入数据的时候报错，错误内容如下： 2016-04-18 14:00:34,721 Stage-0 map = 0%, reduce = 0% 2016-04-18 14:00:56,491 Stage-0 map = 100%, reduce = 0% ... 阅读全文

posted @ 2016-08-09 12:09 山高似水深阅读(6077) 评论(0) 推荐(0) 编辑

hadoop-eclipse-plugin-2.6.0-cdh5.4.0 插件编译

摘要：1.JDK配置 1) 安装jdk 2) 配置环境变量 JAVA_HOME、CLASSPATH、PATH等设置 2.Eclipse 1).下载eclipse-jee-juno-SR2.rar 2).解压到本地磁盘 3.Ant 1）下载 http://ant.apache.org/bindownload 阅读全文

posted @ 2016-08-09 11:59 山高似水深阅读(27606) 评论(0) 推荐(0) 编辑

mysql 打印随机数

摘要：select rand(); 这样取出来的数据是类似这样的： 0.5389902438400223 要几位自己取几位；取得方法类似 select substr(concat("0000000",id),8,2) from workers //从第八位开始截2位 select right(concat("0000000",id),3) from workers //截取右边5位 ... 阅读全文

posted @ 2016-08-09 11:58 山高似水深阅读(1013) 评论(0) 推荐(0) 编辑

java定时器控制时间打印

摘要：1 public class test2 { 2 public static void main(String []args){ 3 Timer timer=new Timer(); 4 timer.schedule(new TimerTask(){ 5 6 7 @Override 8 public void run() { 9 // TODO Auto-generated... 阅读全文

posted @ 2016-08-09 11:58 山高似水深阅读(1001) 评论(0) 推荐(0) 编辑

MongoDB数据导入hbase + 代码

摘要：需求：从mongoDB里面查出来数据，判断是否有该列簇，如果有则导入此条数据+列簇，如果没有，则该条数据不包含该列簇直接贴出代码： package Test; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import java.util.Set; import org.ap... 阅读全文

posted @ 2016-08-09 11:57 山高似水深阅读(2840) 评论(0) 推荐(0) 编辑

Hbase批量插入优化记录

摘要：2016年5月11日10:08:29 hbase原本的put方式是一条一条的put，在客户端修改 AutoFlush 将HTable的setAutoFlush设为false，可以支持客户端批量更新。即当Put填满客户端flush缓存时，才发送到服务端。默认是true。例如： HTable hTable = new HTable(conf, tableName); hTable.setA... 阅读全文

posted @ 2016-08-09 11:56 山高似水深阅读(1489) 评论(0) 推荐(0) 编辑

net.sf.fjep.fatjar_0.0.32 eclipse4.x 可以用的jar包

摘要：http://pan.baidu.com/s/1nvlIw21?errno=0&errmsg=Auth%20Login%20Sucess&stoken=bb98db9f451c00ae85e239959d4c9814aa7f9a1fa02096d2d11e7e51db7d37e2d4aab936f224063386d4b7593616668c78e318b42437bcd098876c2cf8e... 阅读全文

posted @ 2016-08-09 11:41 山高似水深阅读(997) 评论(1) 推荐(1) 编辑

Hive UDF开发第一个例子

摘要：package udf; import org.apache.hadoop.hive.ql.exec.UDF; public class helloudf extends UDF{ public String evaluate(String str){ try { return "HelloWorld " + str; } catch (Exception e) { // TODO: han... 阅读全文

posted @ 2016-08-09 11:40 山高似水深阅读(3838) 评论(0) 推荐(0) 编辑

hive like 模糊匹配

摘要：类似：在MYSQL里面我们可以这样的执行SQL select a.Community,a.PID,b.spidertime,b.comm,b.showings,b.room from lianjia_list a ,RentHouse_lianjia b where a.site = 7 and b.city='北京' and b.comm like %a.Community%; 不行... 阅读全文

posted @ 2016-08-09 11:38 山高似水深阅读(55730) 评论(0) 推荐(2) 编辑

JDBC连接MYSQL,批量执行SQL语句或在执行一个SQL语句之前执行一个SQL语句

摘要：conn = MysqlJdbcUtils.getConnection(); Statement ps=conn.createStatement(); ps.addBatch("truncate QB_ShowCount_Asite_copy"); ps.executeBatch(); String SrcSql = "select convert(unhex(hex(convert(Commu... 阅读全文

posted @ 2016-08-09 11:38 山高似水深阅读(3554) 评论(0) 推荐(0) 编辑

Mysql Hive 通用的行列转换

摘要：就是简单的一个字符串拼接，意义和所用场景自己体会下 insert into table agent_library1 select concat_ws(':',collect_set(name)) as name,contact,concat_ws(':',collect_set(company)) as company,concat_ws(':',collect_set(stores))as... 阅读全文

posted @ 2016-08-09 11:35 山高似水深阅读(26477) 评论(0) 推荐(0) 编辑

中文字符,全角字符的正则表达式（转载）

摘要：经过测试其中匹配双字节字符(包括汉字在内)：[^\x00-\xff]非常好用推荐一下两外推荐个网址http://mscenter.edu.cn/blog/yongsheng/archive/2004/11/19/308.html 这个家伙收录的正则很多，呵呵关键字：正则表达式模式匹配 Java 阅读全文

posted @ 2016-08-09 11:34 山高似水深阅读(5552) 评论(0) 推荐(0) 编辑

java，js判断全角半角

摘要：function chkHalf(str){ for(var i=0;i { strCode=str.charCodeAt(i); if((strCode>65248)||(strCode==12288)){ ale... 阅读全文

posted @ 2016-08-09 11:31 山高似水深阅读(796) 评论(0) 推荐(0) 编辑

executeUpdate,executeQuery,executeBatch 的区别

摘要：executeQuery : 用于实现单个结果集，例如： Select 一般使用executeQuery 就是来实现单个结果集的工具 executeUpdate 用于执行 INSERT、UPDATE 或 DELETE 语句以及 SQL DDL（数据定义语言）语句，例如 CREATE TABLE 和阅读全文

posted @ 2016-08-09 11:29 山高似水深阅读(3305) 评论(0) 推荐(0) 编辑

关于str.split(",")中间什么时候该加\\转义

摘要：java 分割符，对于某些符号的分割符进行切割的时候需要加转义字符，我贴上例子 1、 2、 3、 4、综上所示，有的字符切割的时候，我们可以不加 \\ 来转义，但是有的字符，我们必须要加 \\ 来转义才可以的，具体哪些字符我并不知道我Copy了一段别人的总结： split分隔符总结 1.字符" 阅读全文

posted @ 2016-08-08 19:17 山高似水深阅读(9733) 评论(1) 推荐(2) 编辑