上一页 1 ··· 10 11 12 13 14 15 16 17 18 ··· 20 下一页
摘要: 一、创建线程池 https://docs.oracle.com/javase/8/docs/api/java/util/concurrent/ThreadPoolExecutor.html https://docs.oracle.com/en/java/javase/11/docs/api/java 阅读全文
posted @ 2019-05-13 11:12 江湖小小白 阅读(657) 评论(0) 推荐(0) 编辑
摘要: 后台报了一些异常日志,查阅后发现在 oracle 数据库中使用 in 关键字条件不能超过 1000 个,当时写查询语句时没有关注这个问题 总结一下解决方法 1.分多次查询,对查询要求不高的话。把入参的集合按照每个最大1000个来处理,分几次查询,然后把结果进行汇总,这样就只用改动代码,不用改动SQL 阅读全文
posted @ 2019-05-08 10:57 江湖小小白 阅读(4392) 评论(0) 推荐(0) 编辑
摘要: 在看 ThreadPoolExecutor 源码时看到这么一段代码 retry: for (;;) { int c = ctl.get(); int rs = runStateOf(c); // Check if queue empty only if necessary. if (rs >= SH 阅读全文
posted @ 2019-05-08 09:44 江湖小小白 阅读(690) 评论(0) 推荐(0) 编辑
摘要: Oracle JDK 定义中,线程一共有六种状态 https://docs.oracle.com/javase/8/docs/api/java/lang/Thread.State.html NEW:未启动状态 Thread t = new Thread() { @Override public vo 阅读全文
posted @ 2019-05-06 19:18 江湖小小白 阅读(3664) 评论(0) 推荐(0) 编辑
摘要: 一、JDK 版本和仓库源 全局指定 settings.xml <localRepository>D:\repository\</localRepository> <mirrors> <mirror> <id>central</id> <mirrorOf>central</mirrorOf> <nam 阅读全文
posted @ 2019-05-06 09:27 江湖小小白 阅读(23059) 评论(0) 推荐(0) 编辑
摘要: 作用 快速切换不同的配置环境,比如开发时是连接的本地数据库,发布线上时是另外的数据库,每次编译打包时都要修该配置文件比较麻烦,这时就可以使用环境隔离了。 配置 本地(Local), 开发(Dev), 测试(Beta), 线上(Prod) pom.xml 配置 <build> <!--按照激活的环境加 阅读全文
posted @ 2019-05-06 09:08 江湖小小白 阅读(571) 评论(0) 推荐(0) 编辑
摘要: 一、进程与线程的概念 进程和线程都是一个CPU工作时间段的描述,只是关注点不同。 进程(Process): 资源(CPU,内存等,文件,网络等)分配的基本单位。系统中有很多进程,它们都会使用内存。为了确保内存不被其他进程使用,每个进程所能访问的内存都是分配好的,不能互相干扰。 线程(Thread): 阅读全文
posted @ 2019-05-05 16:43 江湖小小白 阅读(238) 评论(0) 推荐(0) 编辑
摘要: 下载 Spring Tool Suite:https://spring.io/tools Eclipse:https://www.eclipse.org/downloads/packages 自动保存代码 编码设置 代码自动提示 .abcdefghijklmnopqrstuvwxyz 字体大小设置 阅读全文
posted @ 2019-05-02 12:57 江湖小小白 阅读(219) 评论(0) 推荐(0) 编辑
摘要: Hadoop 框架自带的 InputFormat 类型不能满足所有应用场景,需要自定义 InputFormat 来解决实际问题。 无论 HDFS 还是 MapReduce,在处理小文件时效率都非常低,但又难免面临处理大量小文件的场景,此时,就需要有相应解决方案。可以自定义 InputFormat 实 阅读全文
posted @ 2019-04-30 14:55 江湖小小白 阅读(733) 评论(0) 推荐(0) 编辑
摘要: 在使用 BytesWritable 进行小文件合并时,发现长度与原类容不一致,会多出一些空格 测试代码 结果,看到多出了一个空格 查看 BytesWritable 源码,发现复制后数组大小会被处理,真正存储类容长度的为 size 属性 既然知道长度,在转换时设置上就好了 http://hadoop. 阅读全文
posted @ 2019-04-30 14:36 江湖小小白 阅读(585) 评论(0) 推荐(0) 编辑
摘要: 在运行 MapReduce 程序时,输入的文件格式包括:基于行的日志文件、二进制格式文件、数据库表等。那么,针对不同的数据类型,MapReduce 是如何读取这些数据? 1.TextInputFormat 与 CombineTextInputFormat 类似,都是按行读取,键为偏移量,值为当前行的 阅读全文
posted @ 2019-04-29 19:20 江湖小小白 阅读(804) 评论(0) 推荐(0) 编辑
摘要: MapReduce 框架默认的 TextInputFormat 切片机制是对任务按文件规划切片,如果有大量小文件,就会产生大量的 MapTask,处理小文件效率非常低。 CombineTextInputFormat:用于小文件过多的场景,它可以将多个小文件从逻辑上规划到一个切片中,这样,多个小文件就 阅读全文
posted @ 2019-04-29 17:08 江湖小小白 阅读(2761) 评论(0) 推荐(1) 编辑
摘要: MapReduce 默认使用 TextInputFormat 进行切片,其机制如下 测试读取数据的方式 输入数据(中间为空格,末尾为换行符) map 阶段的 k-v 可以看出 k 为偏移量,v 为一行的值,即 TextInputFormat 按行读取 以 WordCount 为例进行测试,测试切片数 阅读全文
posted @ 2019-04-29 15:48 江湖小小白 阅读(1741) 评论(0) 推荐(0) 编辑
摘要: 要导出的数据:https://examples.bootstrap-table.com/json/data1.json?order=asc 使用的插件(注意插件版本依赖):tableExport.jquery.plugin 代码 <!DOCTYPE html> <html lang="en"> <h 阅读全文
posted @ 2019-04-29 14:51 江湖小小白 阅读(22414) 评论(5) 推荐(1) 编辑
摘要: 要加载的数据:https://examples.wenzhixin.net.cn/examples/bootstrap_table/data?search=&order=asc&offset=0&limit=10 代码 <!DOCTYPE html> <html lang="zh"> <head> 阅读全文
posted @ 2019-04-28 17:20 江湖小小白 阅读(11161) 评论(0) 推荐(0) 编辑
上一页 1 ··· 10 11 12 13 14 15 16 17 18 ··· 20 下一页