随笔档案「2018年1月」 - admingy

摘要：原文：http://wiki.jikexueyuan.com/project/google-guava-official-tutorial/i-o.html http://ifeve.com/google-guava/ 阅读全文

posted @ 2018-01-30 10:06 admingy 阅读(81) 评论(0) 推荐(0)

摘要：分库分表情况下跨库的问题怎么解决？分布式事务怎么解决？查询结果集集合合并的问题？全局唯一的id怎么解决？一般要求：1.保证生成的ID全局唯一,不可重复 2.生成的后一个Id必须大于前一个Id 3.信息安全，防止恶意用户按照规则获取id 业界方案 1.UUID 通用识别码16字节，128位的阅读全文

posted @ 2018-01-18 16:47 admingy 阅读(757) 评论(0) 推荐(0)

书单

摘要：https://love2.io/@hfpp2012/doc/docker-tutorial/chapters/1.md https://love2.io/booklist/WO87Lw https://love2.io/@funkkiid/doc/HadoopAndSparkDataStudy/C 阅读全文

posted @ 2018-01-18 15:19 admingy 阅读(109) 评论(0) 推荐(0)

MD5Util

摘要：package com.cmcc.hybj.payment.framework.crypt;import java.security.MessageDigest;import java.security.NoSuchAlgorithmException;import org.apache.shiro 阅读全文

posted @ 2018-01-18 09:01 admingy 阅读(371) 评论(0) 推荐(0)

UUID生成工具

摘要：package com.cmcc.hybj.payment.framework.code;import java.util.UUID;/** * UUID生成工具 * @author * */public class UUIDUtil { /** * 生产随机唯一 ID ，如：C9F94E8FC68 阅读全文

posted @ 2018-01-18 09:00 admingy 阅读(433) 评论(0) 推荐(0)

HttpUtils请求工具类

摘要：package com.cmcc.hybj.payment.framework.https;import java.io.UnsupportedEncodingException;import java.util.List;import org.apache.commons.codec.binary 阅读全文

posted @ 2018-01-18 08:59 admingy 阅读(447) 评论(0) 推荐(0)

随机数工具类

摘要：package com.cmcc.hybj.payment.framework.code;import java.util.Random;/** * 随机数工具类 * * @author * */public class MathRandom { /** * 随机产生指定范围内的整数 * * @pa 阅读全文

posted @ 2018-01-18 08:59 admingy 阅读(145) 评论(0) 推荐(0)

字典排序MD5生成代码

posted @ 2018-01-18 08:57 admingy 阅读(158) 评论(0) 推荐(0)

对List集合中的元素进行排序

摘要：原文：http://blog.csdn.net/veryisjava/article/details/51675036 Collections对List集合中的数据进行排序有时候需要对集合中的元素按照一定的规则进行排序，这就需要用到 Java中提供的对集合进行操作的工具类Collections，其阅读全文

posted @ 2018-01-18 08:56 admingy 阅读(1451) 评论(0) 推荐(0)

计算并发用户数的五种方法

摘要：原文：http://blog.csdn.net/qq_23101033/article/details/74977874 一、经典公式1：一般来说，利用以下经验公式进行估算系统的平均并发用户数和峰值数据 1）平均并发用户数为 C = nL/T 2）并发用户数峰值 C‘ = C + 3*根号C C是阅读全文

posted @ 2018-01-17 16:26 admingy 阅读(786) 评论(0) 推荐(0)

什么是线程池

摘要：原文：https://www.cnblogs.com/Leo_wl/archive/2012/03/27/2418997.html 什么是线程池概述到目前为止我们使用多线程应用程序的目的是尽可能多地使用计算机处理器资源。所以，看起来我们仅需要为每个独立的任务分配一个不同的线程，并让处理器确定在任阅读全文

posted @ 2018-01-17 15:47 admingy 阅读(478) 评论(0) 推荐(0)

java并发值多线程同步业务场景以及解决方案

摘要：1.20个人排队同时访问2个购票窗口，同时能购票的只有两个人，当其中一个人买票完成后，18个人中的其中一个在占用窗口进行购买。 20个人相当于20个线程，2相当于资源，当18个人等待的时候，相当于线程堵塞，问题关键：怎么控制在统一时间的并发量为2？在多线程程序设计中有三个同步工具需要我们掌握，分阅读全文

posted @ 2018-01-17 15:46 admingy 阅读(1146) 评论(0) 推荐(0)

FastJson--阿里开源的速度最快的Json和对象转换工具 https://www.cnblogs.com/kaituorensheng/p/8082631.html

摘要：import java.util.ArrayList;import java.util.List;import java.util.HashMap;import java.util.Map;import com.alibaba.fastjson.JSON;import com.alibaba.fas 阅读全文

posted @ 2018-01-17 10:24 admingy 阅读(1061) 评论(0) 推荐(0)

FastJson实现复杂对象序列化与反序列化

摘要：原文：http://blog.csdn.net/xqhadoop/article/details/62217954 一.认识FastJson 1.优势 fastjson是目前java语言中最快的json库，比自称最快的jackson速度要快，第三方独立测试结果说明比gson快大约6倍，fastjso 阅读全文

posted @ 2018-01-17 09:59 admingy 阅读(2163) 评论(0) 推荐(0)

redis的集群搭建

摘要：Redis集群搭建与简单使用原文：https://www.cnblogs.com/wuxl360/p/5920330.html 介绍安装环境与版本用两台虚拟机模拟6个节点，一台机器3个节点，创建出3 master、3 salve 环境。 redis 采用 redis-3.2.4 版本。两台虚拟阅读全文

posted @ 2018-01-17 09:12 admingy 阅读(327) 评论(0) 推荐(0)

sparkContext的初始化过程

摘要：SparkContext 初始化的过程主要的核心：1）依据 SparkContext 的构造方法中的参数 SparkConf 创建一个SparkEnv2）初始化，Spark UI，以便 Spark Application 在运行是，方便用户监控，默认端口为 4040实时在线授课，专业课程阅读全文

posted @ 2018-01-17 09:03 admingy 阅读(205) 评论(0) 推荐(0)

上传文本到hdfs上的一些命令

摘要：在hadoop下创建文件夹 bin/hdfs dfs -mkdir -p /usr/hadoop/spark/ touch wc.input 写一些文本进去、上传到hdfs上 bin/hdfs dfs -put wc.input /usr/hadoop/spark/ 查看是否上传成功 bin/hd 阅读全文

posted @ 2018-01-12 16:13 admingy 阅读(1156) 评论(0) 推荐(0)

如何在CentOS 7上修改主机名

摘要：原文：http://www.linuxidc.com/Linux/2014-11/109238.htm 如何在CentOS 7上修改主机名在CentOS中，有三种定义的主机名:静态的（static），瞬态的（transient），和灵活的（pretty）。“静态”主机名也称为内核主机名，是系统在启阅读全文

posted @ 2018-01-12 08:54 admingy 阅读(129) 评论(0) 推荐(0)

安装部署Spark 1.x Standalone模式集群

摘要：Configuration spark-env.sh HADOOP_CONF_DIR=/opt/data02/hadoop-2.6.0-cdh5.4.0/etc/hadoop JAVA_HOME=/opt/modules/jdk1.7.0_67 SCALA_HOME=/opt/modules/sca 阅读全文

posted @ 2018-01-11 14:03 admingy 阅读(154) 评论(0) 推荐(0)

Hadoop的伪分布式的安装

摘要：查看下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.4.0-src.tar.gz 解压hadoop-2.6.0-cdh5.4.0-src.tar.gz 在etc/hadoop下修改下面文件修改salves为主机名hostn 阅读全文

posted @ 2018-01-11 11:13 admingy 阅读(92) 评论(0) 推荐(0)

Spark编译的三种方式

摘要：有三种编译方式，此文采用make-distribution.sh编译其余两种为maven 和SBT编译 1.配置jdk 配置maven 配置scala 2.修改spark下make-distribution.sh中的配置减少下载时间查看下载地址：http://archive.cloudera. 阅读全文

posted @ 2018-01-11 09:45 admingy 阅读(450) 评论(0) 推荐(0)

Maven国内源设置 - OSChina国内源失效了，别更新了

摘要：Maven国内源设置 - OSChina国内源失效了，别更新了原文：http://blog.csdn.net/chwshuang/article/details/52198932 最近在写一个Spring4.x + SpringMVC+Mybatis零配置的文章，使用的源配的是公司的私有仓库，但是阅读全文

posted @ 2018-01-11 09:31 admingy 阅读(438) 评论(0) 推荐(0)

CentOS下安装JDK的三种方法

摘要：原文：http://www.linuxidc.com/Linux/2016-09/134941.htm 1、卸载系统自带的jdk 1.1、查看该操作系统上是否已经安装了jdk [root@xhTest-1 ~]# rpm -qa | grep jdk 1.2、删除系统自带的jdk [root@xhT 阅读全文

posted @ 2018-01-10 14:07 admingy 阅读(133) 评论(0) 推荐(0)

Spark（火花）快速、通用的大数据处理引擎框架

摘要：一、什么是Spark（火花）？是一种快速、通用处理大数据分析的框架引擎。二、Spark的四大特性 1.快速：Spark内存上采用DAG（有向无环图）执行引擎非循环数据流和内存计算支持。内存上比MapReduce快速100倍，磁盘上快10倍左右 MapReduce存储读取在磁盘上，大数据批量处理阅读全文

posted @ 2018-01-10 14:06 admingy 阅读(603) 评论(0) 推荐(0)

Redis集群概述

摘要：原文：http://blog.java1234.com/blog/articles/325.html Redis Cluster与Redis3.0.0同时发布，以此结束了Redis无官方集群方案的时代，目前，Redis已经发布了3.0.7版本。 redis cluster是去中心化，去中间件的，也就阅读全文

posted @ 2018-01-09 16:18 admingy 阅读(139) 评论(0) 推荐(0)

Redis的持久化之AOF方式

摘要：原文：http://blog.java1234.com/blog/articles/324.html AOF方式：将以日志，记录每一个操作优势：安全性相对RDB方式高很多；劣势：效率相对RDB方式低很多；配置： [root@localhost redis]# vi redis.conf 编辑r 阅读全文

posted @ 2018-01-09 16:16 admingy 阅读(139) 评论(0) 推荐(0)

Redis的持久化之RDB方式

摘要：原文：http://blog.java1234.com/blog/articles/323.html RDB方式 Redis是默认支持的优势：只有一个文件，时间间隔的数据，可以归档为一个文件，方便压缩转移（就一个文件）劣势：如果宕机，数据损失比较大，因为它是没一个时间段进行持久化操作的。也就是积阅读全文

posted @ 2018-01-09 16:14 admingy 阅读(150) 评论(0) 推荐(0)

Redis持久化介绍

摘要：原文：http://blog.java1234.com/blog/articles/322.html 所有的数据都存在内存中，从内存当中同步到硬盘上，这个过程叫做持久化过程。持久化操作，两种方式：rdb方式、aof方式，可以单独使用或者结合使用。使用方法： rdb持久化方法：在指定的时间间隔写入阅读全文

posted @ 2018-01-09 16:11 admingy 阅读(105) 评论(0) 推荐(0)

Redis Keys的通用操作

摘要：原文：http://blog.java1234.com/blog/articles/321.html keys * 显示所有key 127.0.0.1:6379> keys * 1) "sort1" 2) "l2" 3) "set2" 4) "r1" 5) "h1" 6) "n2" 7) "l3" 阅读全文

posted @ 2018-01-09 16:10 admingy 阅读(141) 评论(0) 推荐(0)

Redis的数据结构之sorted-set

摘要：原文：http://blog.java1234.com/blog/articles/320.html 存储Sorted-Set Sorted-Set和Set的区别 Sorted-Set中的成员在集合中的位置是有序的存储Sorted-set常用命令添加元素获得元素删除元素范围查询扩展命令阅读全文

posted @ 2018-01-09 15:57 admingy 阅读(155) 评论(0) 推荐(0)

Redis的数据结构之哈希

摘要：原文：http://blog.java1234.com/blog/articles/317.html 存储Hash String key和String Value的Map容器每一个Hash可以存储4294967295个键值对存储Hash常用命令：赋值取值删除增加数字判断字段是否存在获阅读全文

posted @ 2018-01-09 15:45 admingy 阅读(146) 评论(0) 推荐(0)

Redis的数据结构之字符串

摘要：原文：http://blog.java1234.com/blog/articles/316.html 五种数据类型：字符串（String）字符串列表（list）有序字符串集合（sorted set）哈希（hash）字符串集合（set） Key定义的注意点：不要过长，不要过短，统一的命阅读全文

posted @ 2018-01-09 15:44 admingy 阅读(120) 评论(0) 推荐(0)

Jedis 连接池实例

摘要：原文：http://blog.java1234.com/blog/articles/315.html package com.java1234.redis; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; 阅读全文

posted @ 2018-01-09 15:42 admingy 阅读(138) 评论(0) 推荐(0)

Jedis连接 HelloWorld实现

摘要：原文：全部来源于http://blog.java1234.com/blog/articles/314.html 建一个Maven项目， pom里加下jedis依赖， <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</ar 阅读全文

posted @ 2018-01-09 15:36 admingy 阅读(163) 评论(0) 推荐(0)

Jedis简介

摘要：实际开发中，我们需要用Redis的连接工具连接Redis然后操作Redis，对于主流语言，Redis都提供了对应的客户端； https://redis.io/clients https://redis.io/clients#java 提供了很多客户端官方推荐的是Jedis 托管地址：https: 阅读全文

posted @ 2018-01-09 14:47 admingy 阅读(183) 评论(0) 推荐(0)

redis的安装

摘要：安装redis期间遇见的几个坑 1.redis安装默认是127.0.0.1 6379，需要修改redis.conf中的bind 0.0.0.1 2.redis 在redis.conf中设置密码，在客户端登录的时候如果不认证 auth “password”，会报Redis (error) NOAUTH 阅读全文

posted @ 2018-01-09 14:37 admingy 阅读(132) 评论(0) 推荐(0)

redis简介

摘要：百度百科：Redis介绍介绍Redis之前，先了解下NoSQL （Not noly SQL）不仅仅是SQL 属于非关系型数据库；Redis就属于非关系型数据库传统的Mysql ,oracle ,sql server 等都是关系型数据库为什么需要NoSQL，主要应对以下问题，传统关系型数据库力阅读全文

posted @ 2018-01-09 14:35 admingy 阅读(106) 评论(0) 推荐(0)

镜像地址

摘要：我比较常用的是网易的镜像中心和daocloud镜像市场。网易镜像中心：https://c.163.com/hub#/m/home/ daocloud镜像市场：https://hub.daocloud.io/ 阅读全文

posted @ 2018-01-09 13:46 admingy 阅读(193) 评论(0) 推荐(0)

CentOS7使用firewalld打开关闭防火墙与端口

摘要：1、firewalld的基本使用启动： systemctl start firewalld 查看状态： systemctl status firewalld 停止： systemctl disable firewalld 禁用： systemctl stop firewalld 2.systemc 阅读全文

posted @ 2018-01-08 17:29 admingy 阅读(89) 评论(0) 推荐(0)

查询当天当月当年的记录

摘要：原文：http://www.jb51.net/article/32277.htm 查询当前这周的数据 SELECT name,submittime FROM enterprise WHERE YEARWEEK(date_format(submittime,'%Y-%m-%d')) = YEARWEE 阅读全文

posted @ 2018-01-02 15:59 admingy 阅读(202) 评论(0) 推荐(0)

admingy

01 2018 档案

导航

公告