zhjh256 - 博客园

2019年4月20日

摘要：安装包下载 1、CM软件包下载从http://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.16.1/RPMS/x86_64/下载rpm包，如下：其实不需要下载j2sdk的，因为cm安装过程中会自动安装的，自己下载了也没用（这个网上的一些文章说法是不阅读全文

posted @ 2019-04-20 13:49 zhjh256 阅读(5358) 评论(0) 推荐(0) 编辑

windows eclipse直接访问远程linux hadoop开发环境配置（符合实际开发的做法）

摘要： CDH 5.x搭建请参考CentOS 7离线安装CDH 5.16.1完全指南（含各种错误处理）。如果使用的是cloudera quickstart vm，则只能在linux服务器中使用eclipse提交，无法远程访问（主要是quickstart绑定的所有ip都是localhost所致，所以最好还是阅读全文

posted @ 2019-04-20 13:18 zhjh256 阅读(742) 评论(0) 推荐(0) 编辑

Spring中三种编程式事务的使用

摘要：引入事务管理器使用方式1：使用方式2：使用方式3：阅读全文

posted @ 2019-04-20 09:18 zhjh256 阅读(625) 评论(0) 推荐(0) 编辑

2019年4月19日

Java元组类型之javatuples

摘要：有时候经常需要返回2个值或多个值的一个序列，比如数据表的一条记录，文件的一行内容等。除了使用数组Array、集合（List、Set、Map）这些容器类型之外，在Java中我们就必须创建一个Class来作为返回类型。但很多时候我们只需要两三个字段，这个时候非要定义一个class就很烦琐了，所以这肯定不阅读全文

posted @ 2019-04-19 19:59 zhjh256 阅读(1341) 评论(0) 推荐(0) 编辑

spring AOP之proceedingjoinpoint和joinpoint区别（获取各对象备忘）、动态代理机制及获取原理代理对象、获取Mybatis Mapper接口原始对象

摘要：现在AOP的场景越来越多，所以我们有必要理解下和AOP相关的一些概念和机制。基础知识和原理类大家搜索spring aop/aspectj，有大量现成的可以参考，基本上只要理解了jdk动态代理、cglib字节码动态生成代理就足够了，而且必须知道这个代理类是spring托管的（如果是自己创建的代理类，是阅读全文

posted @ 2019-04-19 09:05 zhjh256 阅读(47853) 评论(3) 推荐(4) 编辑

Springboot 配置类（ @Configuration）不能使用@Value注解从application.propertyes中加载值以及Environment为null解决方案

摘要：最近遇到个场景，需要在使用@Bean注解定义bean的时候为对象设置一些属性，比如扫描路径，因为路径经常发布新特性的时候需要修改，所以就计划着放在配置文件中，然后通过@ConfigurationProperties或@Value结合@PropertySource注入，类似如下：但是只要在Confi 阅读全文

posted @ 2019-04-19 08:33 zhjh256 阅读(5251) 评论(0) 推荐(0) 编辑

java反射之获取所有方法及其注解（包括实现的接口上的注解），获取各种标识符备忘

摘要： java反射之获取类或接口上的所有方法及其注解（包括实现的接口上的注解）测试结果输出： public ResultModel auditresult.service.BonusAuditResultServiceImpl.insertNonXATrans():[org.springframewor 阅读全文

posted @ 2019-04-19 07:36 zhjh256 阅读(3133) 评论(0) 推荐(0) 编辑

2019年4月17日

spring-data-mongodb中的MongoTemplate与MongoRepository及推荐

摘要： SpringData支持两种关系数据存储技术： JDBCJPA ● SpringData 方法定义JPA规范： 1. 不是随便声明的，而需要符合一定的规范2. 查询方法以find | read | get开头3. 涉及条件查询时，条件的属性用条件关键字连接4. 要注意的是：条件属性首字母需要大写5. 阅读全文

posted @ 2019-04-17 08:38 zhjh256 阅读(3679) 评论(0) 推荐(0) 编辑

spring boot使用mongodb时，xxxRepository不能Autowired的问题

摘要：默认情况下，当继承MongoRepository的CRUD在@SpringBootApplication的子包下时，xxxRepository是能够自动被扫描和创建代理的。但是如果不在默认路径下，就无法注入了，即使是扫描路径加到了@ComponentScan也一样。解决方法：在springboo 阅读全文

posted @ 2019-04-17 08:31 zhjh256 阅读(1013) 评论(0) 推荐(0) 编辑

log4j日志实现重复警告slf4j-log4j12和log4j-slf4j-impl

摘要：因为各种三方库依赖的log4j实现不同，所以可能会出现找到多个log4j实现的警告，但是不影响程序（logback是会影响的），如下： SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:f 阅读全文

posted @ 2019-04-17 08:25 zhjh256 阅读(2237) 评论(0) 推荐(0) 编辑

2019年4月12日

深入理解泛型之JAVA泛型的继承和实现、泛型擦除

摘要：很多的基础类设计会采用泛型模式，有些应用在使用的时候处于隔离考虑，会进行继承，此时子类如何继承泛型类就很讲究了，有些情况下需要类型擦除，有些情况下不需要类型擦除，但是大多数情况下，我们需要的是保留父类的泛型特性。因为类型被擦除后，得到的对象会是Object，此时会导致编码或反序列化失败。如下所示：阅读全文

posted @ 2019-04-12 11:52 zhjh256 阅读(628) 评论(0) 推荐(0) 编辑

2019年4月11日

hadoop过程中遇到的错误与解决方法

摘要：本文整理了在hadoop学习过程中遇到的各种问题。 windows下开发环境搭建大部分情况下，我们都是在windows下开发，hadoop则一般部署于linux服务器（无论是CDH还是原生hadoop，也无论是单机伪分布式还是完全分布式）。很多教程的做法都是打成jar，然后上传到linux服务器，阅读全文

posted @ 2019-04-11 11:30 zhjh256 阅读(7825) 评论(0) 推荐(0) 编辑

2019年4月7日

微服务拆分到什么粒度合适——康威定律

摘要：微服务这个概念一直很火，现在ServiceMesh概念更火，最近我经手的多个项目也都采用微服务的方式开发。但实践发现，当一个RD同时开发超过2个微服务的时候，出现bug或故障的概率会提升。我现在看项目的时候会不自觉的关注工程服务拆分个数和研发人数的比值。虽然这么做，我却说不出来个所以然，也没有找到阅读全文

posted @ 2019-04-07 18:01 zhjh256 阅读(546) 评论(0) 推荐(0) 编辑

墨菲定律（设计系统）和康威定律（系统划分）

摘要：在设计系统时，应该多考虑墨菲定律：任何事物都没有表面看起来那么简单。所有的事都会比你预计的时间长。可能出错的事总会出错。如果你担心某种情况发生，那么他就更有可能发生。在划分系统时，应该多考虑康威定律：系统架构是公司组织架构的反映。应该按照业务闭环进行系统拆分／组织架构划分，实现闭环阅读全文

posted @ 2019-04-07 18:01 zhjh256 阅读(417) 评论(0) 推荐(0) 编辑

Hadoop-Impala学习笔记之管理

摘要：配置参数管理待补充。。。资源分配管理（Admission Control） Impala有资源池的概念，允许某些查询在特定的资源池执行，不过在白天不跑批/晚上不跑adhoc的DSS系统中，该机制并不常用（oracle、cgroup性质都类似），有兴趣可以参考《Impala Guide 中的Adm 阅读全文

posted @ 2019-04-07 18:00 zhjh256 阅读(432) 评论(0) 推荐(0) 编辑

Hadoop-Impala学习笔记之SQL参考

摘要：参考：Apache Impala Guide--Impala SQL Language Reference。 Impala使用和Hive一样的元数据存储，Impala可以访问使用原生Impala CREATE TABLE创建的表和Hive DDL创建的表； Impala支持和HiveQL类似的DML 阅读全文

posted @ 2019-04-07 18:00 zhjh256 阅读(1183) 评论(0) 推荐(0) 编辑

Hadoop2-HDFS学习笔记之入门（不含YARN及MR的调度功能）

摘要：架构 Hadoop整体由HDFS、YARN、MapReduce三大部分组成，推荐架构参考：https://www.cnblogs.com/zhjh256/p/10573684.html。注：2.x的时候引入了YARN、并调整了一系列进程，其性能较差，本文主要讲解2.0体系。1.0可以参考https 阅读全文

posted @ 2019-04-07 17:59 zhjh256 阅读(302) 评论(0) 推荐(0) 编辑

2019年4月6日

Hadoop-Impala学习笔记之入门

摘要： CDH quickstart vm包含了单节点的全套hadoop服务生态，可从https://www.cloudera.com/downloads/quickstart_vms/5-13.html下载。如下：对应的节点如下（不包含Cloudera Navigator）：要学习完整的hadoop生阅读全文

posted @ 2019-04-06 22:43 zhjh256 阅读(2061) 评论(0) 推荐(0) 编辑

2019年4月3日

解决 Invalid character found in method name. HTTP method names must be tokens 异常信息

摘要：一个线上环境出现异常，不是spring boot。解决方法： server.xml中加上maxHttpHeaderSize="8192" springBoot 1.x则是在application.properties文件中配置【server.tomcat.max-http-header-size= 阅读全文

posted @ 2019-04-03 13:19 zhjh256 阅读(3724) 评论(0) 推荐(0) 编辑

2019年4月1日

从康威定律和技术债看研发之痛

摘要：所谓康威定律有一位叫康威的人，提出一个观点：设计系统的组织，其产生的设计等同于组织之内、组织之间的沟通结构。其实，这里的系统并不局限于软件领域的系统。康威对其定律又做了具体解读：组织沟通方式会通过系统设计表达出来。时间再多一件事情也不可能做得完美，但总有时间做完一件事情。线型系统和线型组织架阅读全文

posted @ 2019-04-01 08:38 zhjh256 阅读(371) 评论(0) 推荐(0) 编辑

康威定律——这个50年前就被提出的微服务概念，你知多少？

摘要：概述微服务架构是一种非常流行的新概念，即便可供以借鉴的经验比较少，当然不能阻挡它成为热门话题与研究对象。令人惊讶地是，其实微服务的概念早在五十多年前就已经被提出，多年来，很久研究表明了这些观点的准确性。这就是本文所介绍的——康威定律。现在已经有很多企业正在尝试使用它创建高效的微服务架构。在这篇阅读全文

posted @ 2019-04-01 07:29 zhjh256 阅读(484) 评论(0) 推荐(0) 编辑

2019年3月29日

oracle网络服务之beq协议和SDU优化（性能提升可达30%）

摘要： oracle网络服务之beq协议和SDU优化（性能提升可达30%） 12.3.1 BEQ协议如果Oracle数据库服务端和客户端在同一台机器上，可以使用BEQ连接，BEQ连接采用进程间直接通信，不需要走网络监听，对于大数据量的导入导出来说性能更高。BEQ协议可以通过在tnsnames.ora 配置阅读全文

posted @ 2019-03-29 19:26 zhjh256 阅读(948) 评论(0) 推荐(0) 编辑

UML类图新手入门级介绍（转）

摘要：首先，看动物矩形框，它代表一个类（Class）。类图分三层，第一层显示类的名称，如果是抽象类，则就用斜体显示。第二层是类的特性，通常就是字段和属性。第三层是类的操作，通常是方法或行为。前面的符号，+ 表示public，- 表示private，# 表示protected。右下角的飞翔，它表示一个接口阅读全文

posted @ 2019-03-29 15:33 zhjh256 阅读(267) 评论(0) 推荐(0) 编辑

2019年3月27日

jvm启动参数设置 -Dfile.encoding=UTF-8 解决freemark乱码

摘要：今天一个spring boot应用windows跑起来后页面显示乱码，加上jvm启动参数为utf-8后，页面显示正常。阅读全文

posted @ 2019-03-27 12:54 zhjh256 阅读(2166) 评论(0) 推荐(0) 编辑

终于有人把云计算、大数据和 AI 讲明白了

摘要：最近学习hadoop以及生态，顺便看到了这篇文章，总结的很到位，转载下。我今天要讲这三个话题，一个是云计算，一个大数据，一个人工智能，我为什么要讲这三个东西呢？因为这三个东西现在非常非常的火，它们之间好像互相有关系，一般谈云计算的时候也会提到大数据，谈人工智能的时候也会提大数据，谈人工智能的时候也阅读全文

posted @ 2019-03-27 07:45 zhjh256 阅读(410) 评论(0) 推荐(1) 编辑

谷歌浏览器导出excel失败问题解决（网上都没解决）

摘要： java poi导出excel报了网络错误，信息已经写回到chrome浏览器（IE/FF均无此问题）。如下所示：从chrome的network大小部分也可以看出是正确的。网上很多答案说将file.length()设置为response的Content-Length即可，经我们测试，当excel超阅读全文

posted @ 2019-03-27 07:26 zhjh256 阅读(3859) 评论(0) 推荐(0) 编辑

2019年3月18日

rabbitmq作为mqtt服务器实现websocket消息推送给浏览器

摘要： rabbitmq的RabbitMQ Web MQTT插件可以用来支持将rabbitmq作为MQTT协议的服务器，而websocket支持mqtt协议通信实现消息推送。因为我们目前使用rabbitmq，所以采用其作为ws的服务端（原来有过activemq的做法，其原生也支持MQTT协议）。首先安装R 阅读全文

posted @ 2019-03-18 08:35 zhjh256 阅读(7717) 评论(0) 推荐(0) 编辑

2019年3月15日

ColumnStore完整验证指南之安装与启动停止

摘要：官方文档https://mariadb.com/kb/en/library/mariadb-columnstore/ 推荐使用最新1.2.x最新版本。先决条件安装1.0的jemalloc，可下载rpm包如jemalloc-3.6.0-1.el7.x86_64.rpm。安装（单机）推荐下载li 阅读全文

posted @ 2019-03-15 08:33 zhjh256 阅读(1419) 评论(0) 推荐(0) 编辑

2019年3月13日

oracle SQL性能分析之10053事件

摘要：优化器生成正确执行计划的前提条件是要有正确的统计信息，不准确的统计信息往往会导致错误的执行计划。当通过SQL和基数推断出的执行计划和实际执行计划不同时，就可以借助10053事件。10053事件是用来诊断优化器如何估算成本和选择执行计划的，用它产生的trace文件提供了Oracle如何选择执行计划，为阅读全文

posted @ 2019-03-13 15:10 zhjh256 阅读(527) 评论(0) 推荐(0) 编辑

2019年3月5日

用AtomicStampedReference解决ABA问题

摘要：在运用CAS做Lock-Free操作中有一个经典的ABA问题：线程1准备用CAS将变量的值由A替换为B，在此之前，线程2将变量的值由A替换为C，又由C替换为A，然后线程1执行CAS时发现变量的值仍然为A，所以CAS成功。但实际上这时的现场已经和最初不同了，尽管CAS成功，但可能存在潜藏的问题，例如阅读全文

posted @ 2019-03-05 07:32 zhjh256 阅读(221) 评论(0) 推荐(0) 编辑

2019年3月4日

centos 7 rabbitmq 3.7.12 erlang 20.3源码安装及调试环境搭建

摘要： 1.下载erlang 官网地址 http://www.erlang.org/download 挑选合适的版本然后建议20.3运行命令 wget http://erlang.org/download/otp_src_20.3.tar.gz 2.使用yum安装下必须的配件： yum install 阅读全文

posted @ 2019-03-04 12:06 zhjh256 阅读(1273) 评论(0) 推荐(0) 编辑

2019年3月1日

idea maven指定编译参数

摘要： "Settings" > "Build, Execution, Deployment" > "Compiler" > "Java Compiler" > add "-parameters" as "Additional command line parameters". <plugin> <!-- 阅读全文

posted @ 2019-03-01 13:19 zhjh256 阅读(2956) 评论(0) 推荐(0) 编辑

2019年2月21日

分布式事务、多数据源、分库分表中间件之spring boot基于Atomikos+XADataSource分布式事务配置（100%纯动态）

摘要：本文描述spring boot基于Atomikos+DruidXADameSource分布式事务配置（100%纯动态），也就是增加、减少数据源只需要修改application.properties文件，无需动态增加或减少Bean。有时候我们一个应用会有N份部署，每个需要访问多个数据源，A环境可能只阅读全文

posted @ 2019-02-21 13:04 zhjh256 阅读(836) 评论(0) 推荐(0) 编辑

2019年2月16日

sql*loader以及oracle外部表加载Date类型列

摘要： Oracle sqlldr LOAD DATAINFILE *INTO TABLE testFIELDS TERMINATED BY X'9'TRAILING NULLCOLS( c2 "upper(:c2)", c3 date "yyyymmdd", --这里指定日期格式 c1 "SEQ_test 阅读全文

posted @ 2019-02-16 20:48 zhjh256 阅读(285) 评论(0) 推荐(0) 编辑

PreparedStatement传进null值报错

摘要：最近在测试jdbc数据导入大量数据的性能，发现PreparedStatement传进null值会报错。解决方法： setObject(int parameterIndex, Object x, int targetSqlType) 如：preparedStatement.setObject(10, 阅读全文

posted @ 2019-02-16 20:31 zhjh256 阅读(700) 评论(0) 推荐(0) 编辑

2019年2月14日

ORA-64379: Action cannot be performed on the tablespace assigned to FastStart while the feature is enabled

摘要：解决方法：禁止IM FastStart exec DBMS_INMEMORY_ADMIN.FASTSTART_DISABLE(); exec DBMS_INMEMORY_ADMIN.FASTSTART_DISABLE(); 阅读全文

posted @ 2019-02-14 14:28 zhjh256 阅读(183) 评论(0) 推荐(0) 编辑

2019年2月2日

mybatis 查询优化主子表查询之association和collection

摘要：很多开发人员之所以编写出低效的应用，有一大原因是并不理解怎样编写高效的SQL。以订单查询为例，我们经常需要查询某个用户的订单以及订单明细，并且以树形方式展现如下：对于这种性质的功能，很多开发人员的做法是先查询主表，然后根据主表去循环子表，如下所示：这种做法就是典型的过程性编程思维，它不仅在更改查阅读全文

posted @ 2019-02-02 15:12 zhjh256 阅读(1671) 评论(0) 推荐(2) 编辑

2019年2月1日

Oracle 11gR2 用户重命名(rename user)

摘要： Oracle 11.2.0.2里新增了一个新特性——用户重命名(Rename User)，在这个版本之前要想重命名用户，需要按用户导出，再fromuser touser（imp）或remap_schem（impdp）。还可以通过修改数据字典user$的方式来重命名用户，但这种方法可能会带来风险。有了阅读全文

posted @ 2019-02-01 15:06 zhjh256 阅读(3252) 评论(0) 推荐(0) 编辑

2019年1月31日

redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketException: 断开的管道 (Write failed)

摘要：昨晚，包发到测试环境中，出现redis.clients.jedis.exceptions.JedisConnectionException: java.net.SocketException: 断开的管道 (Write failed)，如下所示： [] 2019-01-30 22:01:39 [43 阅读全文

posted @ 2019-01-31 17:27 zhjh256 阅读(11529) 评论(0) 推荐(0) 编辑

2019年1月28日

java.lang.IllegalArgumentException: An invalid domain [.test.com] was specified for this cookie解决方法

摘要：当项目中使用单点登录功能时，通常会使用cookie进行信息的保存，这样就可以在多个子域名上存取用户信息。比如有三个domain分别为test.com,cml.test.com,b.test.com这三个域名下的cookie是需要互相访问的。这时会在response上写入cookie信息 Cooki 阅读全文

posted @ 2019-01-28 21:36 zhjh256 阅读(2237) 评论(0) 推荐(0) 编辑

公告