摘要: 本项目使用Cloud Function + Cloud Firestore + Cloud SQL构建一个实时处理数据的流,主要是基于谷歌cloud的函数计算功能,实现一个无服务计算的小demo 系统功能 用户在Cloud Storage Bucket 上传文件,触发Cloud Function , 阅读全文
posted @ 2019-05-19 21:55 shawshawwan 阅读(1129) 评论(0) 推荐(0) 编辑
摘要: 为什么要有消息队列 1. 解耦: 允许你独立的扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。 2. 冗余: 消息队列把数据进行持久化直到它们已经被完全处理,通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入 获取 删除"范式中,在把一个消息从队列中删除之前,需要你的处理系统明确的 阅读全文
posted @ 2019-05-15 11:13 shawshawwan 阅读(346) 评论(0) 推荐(0) 编辑
摘要: 介绍 MLlib支持存储在单机上的local vectors和metrices,也支持分布式的matrics(背后通过一或多个RDD实现)。 local vectors和local matrices都是简单数据类型,作为公共接口使用。 底层的线性算法操作则由Breeze和jblas来实现。MLlib 阅读全文
posted @ 2019-05-13 16:54 shawshawwan 阅读(850) 评论(0) 推荐(0) 编辑
摘要: Problem A "题目" 题意: 分析 直接滑动窗口解决O(n) 代码 Java class Solution { public static void main(String[] args) { Scanner in = new Scanner(new BufferedReader(new I 阅读全文
posted @ 2019-05-08 15:55 shawshawwan 阅读(394) 评论(0) 推荐(0) 编辑
摘要: Spark 学习笔记 (二): 深入Spark计算引擎 先来回顾一下Spark的程序运行架构: 对于任何一个Spark程序,有且仅有一个 ,其实一个 就对应了一个 ; 一个 就是一个进城,运行在一个节点上,程序的main函数就运行在 上; main函数通过分析程序,将程序转化成一些列 ,然后分发到 阅读全文
posted @ 2019-02-12 15:35 shawshawwan 阅读(1952) 评论(0) 推荐(0) 编辑
摘要: 984. String Without AAA or BBB 题意 Given two i S has length A + B and contains exactly A 'a' letters, and exactly B 'b' letters; The substring 'aaa' do 阅读全文
posted @ 2019-01-27 15:57 shawshawwan 阅读(243) 评论(0) 推荐(0) 编辑
摘要: Array题目总结 1.题目分类 双指针 同向双指针 相向双指针 滑动窗口 使用hash map进行count 前缀和、后缀和 利用前缀和降低时间复杂度 前缀和 + Hash Table : 这类题目其实都是2Sum的变种,利用hash table记录下标,从而如果发现有合法的子数组后,能够直接 阅读全文
posted @ 2019-01-26 13:35 shawshawwan 阅读(359) 评论(0) 推荐(0) 编辑
摘要: "943.Find the Shortest Superstring" Given an array A of strings, find any smallest string that contains each string in A as a substring. We may assume 阅读全文
posted @ 2019-01-19 15:32 shawshawwan 阅读(1072) 评论(0) 推荐(0) 编辑
摘要: Spark 学习笔记 (一): 初探Spark 程序设计之RDD 本文主要介绍Spark基本数据结构RDD的原理和使用,以及搭建了基于Docker的Spark集群开发测试环境,最后给出了几个实际程序例子,算是Saprk入了门:) 一、 RDD RDD是Spark中最核心的概念 1.初识RDD Re 阅读全文
posted @ 2019-01-16 21:56 shawshawwan 阅读(708) 评论(0) 推荐(1) 编辑
摘要: 今天算法群里出的一道题,题目不难,但是这道题有多种解法,而且注意分析每种解法的时间复杂度,不能超时 题目: We have jobs: difficulty[i] is the difficulty of the ith job, and profit[i] is the profit of the 阅读全文
posted @ 2019-01-16 11:07 shawshawwan 阅读(332) 评论(0) 推荐(0) 编辑