摘要: PageRank源码简析 1 package org.apache.spark.graphx.lib.PageRank PageRank的实现类 pageRank在spark中基于pregel思想做了并行化实现 def runWithOptions[VD: ClassTag, ED: ClassTa 阅读全文
posted @ 2020-12-20 19:51 蜡笔小鸡 阅读(355) 评论(0) 推荐(0) 编辑
摘要: 最近做一个图像处理的项目,陆续地踩了很多坑。分享一下 做一些文档的增强,功能如下: 1 图像去黑边 2 图像锐化 3 红头套打 详细思路 一 图像去黑边 图像黑边的产生原因分析: a.由于文档图像在采集的时候(扫描/拍照等情况),可能存在光照不均匀,导致边缘部分偏黑。二值化之后容易产生比较大的污染 阅读全文
posted @ 2017-11-23 16:36 蜡笔小鸡 阅读(7306) 评论(2) 推荐(0) 编辑
摘要: 1、并发的意义 现在是一个多核的时代,并发的存在意义就是为了能够充分利用多核计算机的优势,提高程序的运行效率; 2、并发的风险 竞争-----多个线程对内存数据数据进行读写操作时,对数据处理结果的一个竞争。(笔者是这么认为的) 使用以下的例子来说明并发的风险:由于该方法中的value++操作不是原子 阅读全文
posted @ 2016-03-07 22:09 蜡笔小鸡 阅读(306) 评论(0) 推荐(0) 编辑
摘要: 项目中存在 云中央控制器需要使用多个Socket连接多个云终端控制器的需求。 由于终端数量大,就对整个中央控制器提出了并发的要求,然而获取Socket响应的过程是一个持续阻塞的过程,存在性能风险。而常规的Runnable是无法返回处理结果的。 笔者也思考了使用FurtherTask来做异步式回调的方 阅读全文
posted @ 2016-03-02 22:53 蜡笔小鸡 阅读(1623) 评论(0) 推荐(0) 编辑
摘要: 在一个物联往项目中,需要java云平台与一个客户端做socket定制协议的通信;然而在第一次测试时,并没有按照预想的那样完成解析。查找资料以后是因为客户端的数据读取方式为小端模式,而java默认采用大端模式。 在计算机系统中,我们是以字节为单位的,每个地址单元都对应着一个字节,一个字节为 8bit。 阅读全文
posted @ 2016-03-02 16:09 蜡笔小鸡 阅读(6703) 评论(2) 推荐(0) 编辑