随笔分类 - 大数据处理
摘要:AntV团队迅速将G6图可视化引擎融入Awesome-Graphs项目,发布1.2.0版本,提升交互体验,包括路径高亮、模糊搜索等功能,现邀请体验并征集改进意见。
阅读全文
摘要:Awesome-Graphsv1.1.0发布,通过一个HTML文件提供207个图计算系统、509条引用关系的交互式图谱,支持论文预览、引用追溯等便捷功能,便于学习与贡献,资源集中可下载。
阅读全文
摘要:这次向大家分享一篇流图处理系统论文GraphBolt,看如何基于计算历史的方式实现增量图计算,并保证与全量图计算语义的一致性。
阅读全文
摘要:这次向大家分享Microsoft发表在SOSP'13的另一篇关于流处理系统论文Naiad,TimelyDataflow是它的开源实现。该论文促进了后续的流图系统的设计与创新,从其调度框架设计中也可以看到TuGraph Analytics调度器的影子。
阅读全文
摘要:这次向大家分享发表在SOSP 2013上的另一篇经典图计算框架论文X-Stream,构建了单机上基于外存的Scatter-Gather图处理框架。
阅读全文
摘要:这次向大家分享发表在OSDI 2012上的一篇经典图计算框架论文PowerGraph,旨在通过点切分解决图数据幂律分布导致的计算倾斜问题,并提出了区别于Pregel's VC(以点为中心)的GAS(以边为中心)计算框架。
阅读全文
摘要:上次向大家分享了论文图谱项目Awesome-Graphs的介绍文章,这次我们就拿图计算系统的奠基文章Pregel开篇,沿着论文图谱的主线,对图计算系统的论文内容进行解读。
阅读全文
摘要:试想在你刚接触一个陌生的技术领域时,如果有办法以“上帝视角”看到该领域完整的历史发展轨迹,是否可以让自己的技术探索更有的放矢,胸有成竹呢?是的,你没猜错,这个玩意儿叫论文图谱。我通过“人肉扫描”了200多篇图计算系统的论文,整理了心中理想的“图计算论文图谱”原型,大家可以“类比想象”一下当下关注技术领域的论文图谱应当如何。
阅读全文
摘要:
OSGraph (Open Source Graph) 是一个开源图谱关系洞察工具,基于GitHub开源数据全域图谱,实现开发者行为、项目社区生态的分析洞察。可以为开发者、项目Owner、开源布道师、社区运营等提供简洁直观的开源数据视图,帮助你和你的项目制作专属的开源名片、寻求契合的开发伙伴、挖掘深度的社区价值。
阅读全文

摘要:通过一张图描述清楚TuGraph Analytics的整体架构和关键设计,帮助大家快速了解TuGraph Analytics项目轮廓。
阅读全文
摘要:Spring Secutity和Apache Shiro是Java领域的两大主流开源安全框架,也是权限系统设计的主要技术选型。本文主要介绍Spring Secutity的实现原理,并基于Spring Secutity设计基于RBAC的权限系统。
阅读全文
摘要:本文介绍在RedHat7环境下安装使用PostGIS的流程。 1. PostgreSQL 1.1 yum安装PostgreSQL 这个比较简单,直接使用yum安装即可。 顺便安装postgresql devel、libxml2 devel,后边编译安装PostGIS会用到。 然后切换到postgre
阅读全文
摘要:一、控制流 从接触 面向过程语言 开始,使用控制流编程的概念已是司空见惯。 分支 和 循环 是最常见的控制流形式。由于控制条件的存在,总有一部分代码片段会执行,另一部分不会执行。 在控制流中,想要进行数据传递,最关键的是借助于 变量 保存中间状态。因此,控制流编程看起来是 将数据嵌套在控制流内 的编
阅读全文
摘要:Ray是UC Berkeley RISELab新推出的高性能分布式执行框架,它使用了和传统分布式计算系统不一样的架构和对分布式计算的抽象方式,具有比Spark更优异的计算性能。 Ray目前还处于实验室阶段,最新版本为 "0.2.2版本" 。虽然Ray自称是面向AI应用的分布式计算框架,但是它的架构具
阅读全文
摘要:Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台,它能够基于同一个Flink运行时,提供支持流处理和批处理两种类型应用的功能。 现有的开源计算方案,会把流处理和批处理作为两种不同的应用类型,因为它们所提供的SLA(Service Level Aggreement)是完全
阅读全文
摘要:初识spark,需要对其API有熟悉的了解才能方便开发上层应用。本文用图形的方式直观表达相关API的工作特点,并提供了解新的API接口使用的方法。例子代码全部使用python实现。 1. 数据源准备 准备输入文件: 启动pyspark: 使用textFile创建RDD: 查看RDD分区与数据: 2.
阅读全文