2017 年 3月随笔档案 - 肖建锋

spark 2.1.0 集群安装

摘要：jdk安装 scala2.11 安装 hadoop2.7 安装开始spark2.1.0安装解压重命名配置环境变量修改配置文件修改 spark-defaults.conf 修改 spark-env.sh 修改 slaves 分发代码到集群节点启动查看进程这个时候还没有启动hadoop 阅读全文

posted @ 2017-03-28 22:52 肖建锋阅读(446) 评论(0) 推荐(0) 编辑

hadoop 2.7.3 集群安装

摘要：三台虚拟机，centos6.5 修改主机名修改主机映射 ssh免密码登陆（注意！要求每台机子互相都能ssh包括本机）安装jdk 安装hadoop2.7.3 解压，重命名创建目录存放日志文件还要有数据文件修改配置文件 yarn-env.sh slaves core-site.xml hdfs 阅读全文

posted @ 2017-03-27 22:54 肖建锋阅读(377) 评论(0) 推荐(0) 编辑

springboot + shiro + cas4.2.7 实战

摘要：1. 下载地址 https://github.com/apereo/cas/archive/v4.2.7.zip 2. 解压后，用intellj idea 打开 3. 执行 gradle build -x test ,打包编译 4. 取消https，能够支持直接http cas.propertie 阅读全文

posted @ 2017-03-25 23:49 肖建锋阅读(13184) 评论(2) 推荐(2) 编辑

cas4.2以下取消https

摘要：deployerConfigContext.xml增加参数p:requireSecure="false" ticketGrantingTicketCookieGenerator.xml修改p:cookieSecure="false" warnCookieGenerator.xml修改p:cookie 阅读全文

posted @ 2017-03-25 18:26 肖建锋阅读(790) 评论(0) 推荐(0) 编辑

cas4.2.7 取消https

摘要：cas.properties 修改两个地方 casLoginView.jsp 注销上面的代码 HTTPSandIMAPS-10000001.json 中增加http的service 阅读全文

posted @ 2017-03-25 17:11 肖建锋阅读(4265) 评论(0) 推荐(0) 编辑

springboot 中使用websocket简单例子

摘要：gradle 中添加依赖，引入websocket支持启用websocket 消息拦截处理消息处理相应类前端js，需要依赖jquery 阅读全文

posted @ 2017-03-24 22:48 肖建锋阅读(15198) 评论(0) 推荐(2) 编辑

springboot 集成elasticsearh的简单配置

摘要：添加依赖 gradle 只要加入依赖后springboot就可以自动加载相关操作了，基本使用方式如下 application.properties 中可以配置es的一些动作，下面只列举部分，详细的可以看官网下面列举一个简单例子，有使用了lombok要先在idea中安装插件才可以使用只要简单的几个阅读全文

posted @ 2017-03-24 22:36 肖建锋阅读(3292) 评论(0) 推荐(0) 编辑

springboot 自定义Repository

摘要：启用 JpaRepositories 在继承了 RdbCommonRepository 接口后， springboot会自动的在相同目录寻找他的实现类，规则是RdbCommonRepository+Impl 类命名规则，也可以手动指定，此处不做多解释，可以自行百度，一般不需要自行指定，使用方式如下阅读全文

posted @ 2017-03-24 22:29 肖建锋阅读(3672) 评论(0) 推荐(0) 编辑

springboot redis 缓存对象

摘要：只要加入spring-boot-starter-data-redis ， springboot 会自动识别并使用redis作为缓存容器，使用方式如下 gradle加入依赖 redis configuration 中启用缓存 redis 自定义key生成规则有时候我们需要使用 redisTempl 阅读全文

posted @ 2017-03-24 22:21 肖建锋阅读(6647) 评论(1) 推荐(1) 编辑

springboot 集成spring-session redis 实现分布式session

摘要：gradle 添加依赖 application.properties 配置redis信息指定session 缓存方式用RedisDesktopManager 查看redis缓存的session信息搞定阅读全文

posted @ 2017-03-24 22:11 肖建锋阅读(2368) 评论(0) 推荐(0) 编辑

springboot 集成shiro

摘要：首先看下shiro configuration 的配置，重要部分用红色标出了自定义realm，用于认证和授权自定义登出过滤器自定义权限校验过滤器阅读全文

posted @ 2017-03-24 22:03 肖建锋阅读(943) 评论(0) 推荐(0) 编辑

springboot 获取hibernate 的 SessionFactory

摘要：注入bean application.properties 中配置直接在代码中注入例子阅读全文

posted @ 2017-03-24 21:45 肖建锋阅读(1985) 评论(0) 推荐(0) 编辑

springboot 1.5.2 集成kafka 简单例子

摘要：添加依赖添加application.properties configuration 启用kafka 消息生产者消息消费者阅读全文

posted @ 2017-03-24 21:37 肖建锋阅读(23775) 评论(0) 推荐(0) 编辑

springboot thymeleaf和shiro标签整合

摘要：这里用的是 thymeleaf 2.x版本的添加依赖在shiro的configuration中配置在html中加入xmlns 例子阅读全文

posted @ 2017-03-24 21:31 肖建锋阅读(20033) 评论(2) 推荐(1) 编辑

gradle 跳过测试直接编译

摘要：gradle build -x test 阅读全文

posted @ 2017-03-24 17:02 肖建锋阅读(10706) 评论(0) 推荐(0) 编辑

maven 跳过单元测试

摘要：mvn install -DskipTests 阅读全文

posted @ 2017-03-24 09:55 肖建锋阅读(315) 评论(0) 推荐(0) 编辑

springboot 1.5.2 thymeleaf 添加templates 静态资源访问路径

摘要：从velocity 模板切换到thymeleaf 后，默认模板位置为templates , 有时候静态资源方在该目录下会出现访问404错误解决办法： application.properties 中添加：阅读全文

posted @ 2017-03-23 23:02 肖建锋阅读(21345) 评论(2) 推荐(1) 编辑

springboot 1.5.2 thymeleaf 标签未关闭异常解决办法

摘要：原因： Spring Boot项目渲染html的时候，因默认使用是Thymeleaf模板引擎，遇到不闭合标签报错，日常在编写HTML代码时，一般标签都是闭合的，容易忽略的标签包括<meta/>, <link/>, <br/>, <hr/>等等解决办法： applications.propertie 阅读全文

posted @ 2017-03-23 23:00 肖建锋阅读(3426) 评论(0) 推荐(0) 编辑

kafka 0.8.2 消息生产者 KafkaProducer

摘要：自定义分区 maven 阅读全文

posted @ 2017-03-22 23:21 肖建锋阅读(3474) 评论(0) 推荐(0) 编辑

kafka 0.8.2 消息生产者 producer

摘要：自定义分区 maven 阅读全文

posted @ 2017-03-22 23:20 肖建锋阅读(1746) 评论(0) 推荐(0) 编辑

kafka 0.8.2 消息消费者 consumer

摘要：4.0.0 com.hashleaf kafka 0.0.1-SNAPSHOT org.apache.kafka kafka_2.9.2 0.8.2.1 log4j log4j ... 阅读全文

posted @ 2017-03-22 23:18 肖建锋阅读(5535) 评论(0) 推荐(0) 编辑

kafka 0.10.2 消息消费者

摘要：package cn.xiaojf.kafka.consumer; import org.apache.kafka.clients.consumer.ConsumerConfig; import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerR... 阅读全文

posted @ 2017-03-22 23:14 肖建锋阅读(3958) 评论(0) 推荐(0) 编辑

kafka 0.10.2 消息生产者(producer)

摘要：package cn.xiaojf.kafka.producer; import org.apache.kafka.clients.producer.*; import org.apache.kafka.common.Cluster; import org.apache.kafka.common.PartitionInfo; import org.apache.kafka.common.ser... 阅读全文

posted @ 2017-03-22 23:13 肖建锋阅读(6038) 评论(0) 推荐(0) 编辑

kafka 0.10.2 消息生产者

摘要：package cn.xiaojf.kafka.producer; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.Producer; import org.apache.kafka.clients.producer.ProducerRecord; ... 阅读全文

posted @ 2017-03-22 23:12 肖建锋阅读(1452) 评论(0) 推荐(0) 编辑

kafka 自定义分区器

摘要：package cn.xiaojf.kafka.producer; import org.apache.kafka.clients.producer.Partitioner; import org.apache.kafka.common.Cluster; import org.apache.kafka.common.PartitionInfo; import org.apache.kafka.... 阅读全文

posted @ 2017-03-22 23:11 肖建锋阅读(2546) 评论(0) 推荐(0) 编辑

kafka 0.10.2 解决java无法生产消息到指定topic问题

摘要：主要是修改server.properties的advertised.listeners 阅读全文

posted @ 2017-03-22 23:08 肖建锋阅读(1241) 评论(0) 推荐(0) 编辑

kafka 0.10.2 部署失败后,重新部署

摘要：删除kafka各个节点log目录删除zookeeper上kafka相关的目录阅读全文

posted @ 2017-03-22 22:15 肖建锋阅读(767) 评论(0) 推荐(0) 编辑

kafka 0.10.2 cetos6.5 集群部署

摘要：# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# this work 阅读全文

posted @ 2017-03-21 22:25 肖建锋阅读(2183) 评论(0) 推荐(0) 编辑

zookeeper3.4.9 centos6.5 集群安装

摘要：创建目录关闭防火墙复制文件到其他机器分别创建对应服务id的myid文件分别设置环境变量启动查看集群状态完成阅读全文

posted @ 2017-03-18 11:18 肖建锋阅读(588) 评论(0) 推荐(0) 编辑

centos6.5 scala环境变量

摘要：export SCALA_HOME=/usr/local/soft/scala-2.11.8export PATH=$PATH:$SCALA_HOME/bin 阅读全文

posted @ 2017-03-17 21:28 肖建锋阅读(474) 评论(0) 推荐(0) 编辑

centos6.5 修改java环境变量

摘要：export JAVA_HOME=/usr/local/soft/jdkexport PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 阅读全文

posted @ 2017-03-17 21:26 肖建锋阅读(2039) 评论(0) 推荐(0) 编辑

centos 修改主机映射

摘要：[root@m1 ~]# vi /etc/hosts 阅读全文

posted @ 2017-03-17 21:15 肖建锋阅读(907) 评论(0) 推荐(0) 编辑

centos 修改主机名

摘要：重启服务器阅读全文

posted @ 2017-03-17 21:14 肖建锋阅读(133) 评论(0) 推荐(0) 编辑

centos6.5 ssh免密码登陆

摘要：ssh-keygen -t rsa ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop1 阅读全文

posted @ 2017-03-17 21:08 肖建锋阅读(173) 评论(0) 推荐(0) 编辑

Spring Boot 负载均衡之外置session状态保存

摘要：在使用spring boot做负载均衡的时候，多个app之间的session要保持一致，这样负载到不同的app时候，在一个app登录之后，而打到另外一台服务器的时候，session丢失。常规的解决方案都是使用：如apache使用mod_jk.conf。在开发spring boot app的时候可阅读全文

posted @ 2017-03-16 20:03 肖建锋阅读(500) 评论(0) 推荐(0) 编辑

mysql 镜像

摘要：http://mirror.neu.edu.cn/mysql/Downloads/MySQL-5.6/ 阅读全文

posted @ 2017-03-16 20:01 肖建锋阅读(139) 评论(0) 推荐(0) 编辑

解决shiro和quartz2 版本冲突问题

摘要：修改build.gradle compile ("org.quartz-scheduler:quartz:2.2.3") compile ("org.apache.shiro:shiro-quartz:${shiro}") { exclude group: "org.opensymphony.qua 阅读全文

posted @ 2017-03-16 20:01 肖建锋阅读(3507) 评论(0) 推荐(0) 编辑

redis3.2.6 集群安装

摘要：下载 [root@localhost ~]# cd /usr/local/src/ [root@localhost src]# wget http://download.redis.io/releases/redis-3.2.6.tar.gz [root@localhost ~]# cd /usr/ 阅读全文

posted @ 2017-03-16 20:01 肖建锋阅读(2011) 评论(0) 推荐(0) 编辑

mysql5.6 rpm安装配置

摘要：检查MySQL及相关RPM包，是否安装，如果有安装，则移除（rpm –e 名称） [root@localhost share]# rpm -qa | grep -i mysql MySQL-client-5.6.28-1.el6.x86_64 MySQL-devel-5.6.28-1.el6.x86 阅读全文

posted @ 2017-03-16 20:00 肖建锋阅读(3885) 评论(0) 推荐(0) 编辑

MysqlRouter 实现mysql5.6读写分离

摘要：下载，安装 [root@localhost src]# cd /usr/local/src/ [root@localhost src]# wget http://dev.mysql.com/get/Downloads/MySQL-Router/mysql-router-2.0.3-linux-gli 阅读全文

posted @ 2017-03-16 19:59 肖建锋阅读(2260) 评论(0) 推荐(0) 编辑

mysql5.6 主从复制

摘要：Master 192.168.59.128 Slave 192.168.59.129 默认认为已安装mysql5.6 mysql5.6 rpm安装配置修改Master my.cnf文件 # For advice on how to change settings please see # http 阅读全文

posted @ 2017-03-16 19:59 肖建锋阅读(213) 评论(0) 推荐(0) 编辑

grok 匹配log4j

摘要：input { file { codec => multiline { pattern => "^\[2016" negate => true what => previous } type => "log4j" path => "/usr/local/sof... 阅读全文

posted @ 2017-03-16 19:57 肖建锋阅读(1801) 评论(0) 推荐(0) 编辑

mongodb 创建LBS位置索引

摘要：org.mongodb mongo-java-driver 3.2.2 org.apache.commons commons-lang3 3.4 package com.teewoo.mongodb; import com.mongodb.BasicDBObject; import com.mongodb.BasicDBObjectBuilder; imp... 阅读全文

posted @ 2017-03-16 19:55 肖建锋阅读(704) 评论(0) 推荐(0) 编辑

elasticsearch 不能通过9200端口访问

摘要：修改配置文件 config/elasticsearch.yml network.host: 0.0.0.0 阅读全文

posted @ 2017-03-16 19:54 肖建锋阅读(3662) 评论(0) 推荐(0) 编辑

elasticsearch 2.0+ 安装 Marvel

摘要：Marvel 2.0+ Compatible with the latest versions of Elasticsearch and Kibana 阅读全文

posted @ 2017-03-16 19:53 肖建锋阅读(456) 评论(0) 推荐(0) 编辑

修改es最大返回结果数

摘要：1 curl -XPUT http://114.215.171.188:9200/logstash-serverlog/_settings -d '{"index":{"max_result_window":10800}}' 阅读全文

posted @ 2017-03-16 19:52 肖建锋阅读(2961) 评论(0) 推荐(0) 编辑

ElasticSearch的Marvel更新license

摘要：Marvel安装的时候需要申请一个license，否则只有30天的使用时间，到期后最多保存7天的监控数据，为了造成不必要的监控数据丢失，建议安装的同时注册一个lincense，方法如下： 1. 注册一个免费的license https://register.elastic.co/marvel_reg 阅读全文

posted @ 2017-03-16 19:45 肖建锋阅读(804) 评论(0) 推荐(0) 编辑

常用链接

随笔分类

随笔档案

评论排行榜

推荐排行榜