摘要:
pandas pandas 是数据处理的利器,非常方便进行表格数据处理,用过的人应该都很清楚,没接触的可以自行查阅pandas 官网。 需求介绍 最近在使用 pandas 的过程中碰到一个问题,需要计算数据中某时间字段下一行相对上一行的时间差,之前有用过 dataframe 的 diff 函数,但是 阅读全文
摘要:
新生 又到了写总结的时候,这几年的总结基本都是用两个词概括,今年也不例外,今后恐怕将一直沿用这种模式。 2018 注定是我人生中极其不平凡的一年。这一年发生了许许多多的大事,经历了很多,成长了很多。是奔波的一年,也是新生的一年。 回顾 2018 年初,给自己定下了如是目标: 2018要保持谦虚谨慎的 阅读全文
摘要:
前言 这篇文章依旧是基于上一篇文章( "使用Python实现子区域数据分类统计" )而写,此文章中介绍了使用 geopandas 的 overlay 函数对两个 GeoDataFrame 对象取相交或相异的部分,即进行空间压盖分析。 此函数封装的非常好,解决了我们的主要问题,在我自己的 Window 阅读全文
摘要:
前言 将近两年前,我写过一篇同名文章(见 "使用Python实现子区域数据分类统计" )。 当时是为了统计县域内的植被覆盖量,折腾了一段时间,解决了这个问题。最近,又碰到了一个类似的需求,也需要统计某个小范围内的数据。简单来说,这个需求是将两个 shp 文件的任意两个对象做相交判断,最后形成一个新的 阅读全文
摘要:
今天帮一个朋友做个小东西,分析 nc 数据(主要是地下水)。代码写着写着自己就很开心,从7月份工作以来从未有这么开心过。 慢慢的,我想明白了。 这些年我一直在做的事情其实是数据分析,用一个程序员的方法、站在一个伪科学家的视角做数据分析。 刚开始做的是印刷数据的分析,对印刷的质量进行监控、管理。慢慢的 阅读全文
摘要:
前言 一个多月没有写博客了,今天尝试着动笔写点。 原因很多,最重要的原因是我转行了。是的,我离开了开发岗位,走向了开发的天敌 产品经理。虽然名义上是产品经理,但是干的事情也很杂,除了不写代码,其他的都干,经常还要加个小班,所以就没那么多时间研究技术上的东西,机械键盘上已经落下了一层薄薄的灰尘。但是自 阅读全文
摘要:
出去干什么不行,哪怕去送 快递 ,一个月也能挣个几千。不管干啥肯定是饿不死。 几年前,我对自己如是说。几年后,我出来了,自由了,一晃就是半年。 元旦假期,我决定回母校看看,毕业之后从来没有回去过,不知道为什么,就是想在这个时间去转转。买了张机票就去了。 从长沙回来后,我感觉到一种从未有过的舒畅,就像 阅读全文
摘要:
前言 之前 GeoTrellis 为方便用户将数据(GeoTiff 等遥感影像)导入到 backend (包含 Accumulo、File、Hadoop 等格式)中,编写了一个 ETL 类,该类的输入为用户配置好的 json 文件,其中包含数据源、数据类型、投影、瓦片类型、处理方式等等处理过程中需要 阅读全文
摘要:
前言 前期我们做了一个小程序,实现集体照片的自动分发。简单来说就是用户上传一张集体照,凡是出现在集体照中的人都能自动关联到此张照片,有点类似 QQ 和 FB 之前的标记用户,但是整个过程是自动的,无需人为分发,问题就出现在自动上。 一、第一版算法 首先如果自动的话就涉及到照片比对技术,如果自己技术实 阅读全文
摘要:
前言 这个名字不知道取得是否合适,简单来说要干的事情就是给某个类型添加一些扩展方法,此场景在各种语言中都会用到,比如 C 语言,如果我们使用一个别人写好的类库,而又想给某个类库添加一些自己封装的方法,最好的方式就是使用扩展方法,具体实现方式此处不赘述。 起初,我以为在 Scala 中也是这样使用的, 阅读全文