摘要：
算法评估 如何评估 如何评估一个算法, 是摆在算法研究首位的问题. 如果我们没有统一的, 可行的标准, 去衡量一个算法, 那么对于算法本身的研究, 是意义不大的. 有这样几个方面可以用来评估一个算法: 正确性 即能够处理 一般情况/特殊情况的数据, 能够正确处理大规模的数据, 也能够对任意合法输入做 阅读全文
摘要：
SparkConfiguration 这一章节来看看 Spark的相关配置. 并非仅仅能够应用于 SparkStreaming, 而是对于 Spark的各种类型都有支持. 各个不同. 其中中文参考链接版本是2.2， 而当前文档的版本是2.4.4 另外就是 关于Python R Spark SQL的相 阅读全文
摘要：
Redis Cluster linux下批量删除键 说明 使用时不支持传入参数 ， 如 redis_batch_del.sh ， 因为在linux下 会自动将 解析为当前目录下所有文件名， 目前还没有想到好的解决办法。 如果需要flushall 可以自行加入参数判断， 执行flushall。 代码 阅读全文
摘要：
SparkStreaming(1) ~ SparkStreaming编程指南 之所以写这部分内容的原因是, 无论是网络上可以直接找到的资料, 还是出版的书籍种种, 版本大都在1.6~2.0不等, 且资源零零散散, 需要到处百度, 搜罗资源. 但根据个人开发了一段时间的感觉来看, 会遇到的绝大多数问题 阅读全文
摘要：
Spark调优 写在前面 对于调优, 我觉得是没有放之四海而皆准的办法. 很多时候, 调优显得没有必要, 即使不进行调优, 程序也能够顺利执行. 在没有出现问题的时候, 不进行调优, 即使是在大数据中, 这也是我常常采用的原则. 并且, 针对问题再进行调优, 往往是更为合适的. 比如, 明明资源充足 阅读全文
摘要：
Spark 集群相关 来源于官方, 可以理解为是官方译文, 外加一点自己的理解. 版本是2.4.4 本篇文章涉及到: 集群概述 master, worker, driver, executor的理解 打包提交,发布 Spark application standalone模式 SparkCluste 阅读全文
摘要：
SparkStreaming Kafka集成 参考链接： "Spark Streaming + Kafka Integration Guide" 文章基本是官方的翻译， 最多再加入了一小部分自己的思考在内， 如果能看懂官方文档， 也可以自行查看官网。 另外就是提供了自己实现的 zk + kafka 阅读全文
摘要：
计算机中的网络安全 在本篇中介绍了以下几个方面: 1. 机密性 密码学 对称加密算法(DES, 3DES, AES) 公开秘钥算法 RSA大素数的获取 2. 完整性 散列函数(MD5, SHA 1, 并没有提及算法实现) 报文鉴别(MAC) 数字签名 3. 端点鉴别 4. 应用 SSL(TCP网络安 阅读全文
摘要：
Java位域 这个概念是在 Effective Java中了解到的, 可以通过EnumSet来代替位域这种方式表达. 并不是很常见的概念, 因此记录下. 如果在这之前恰好了解过 bitmap这种数据结构就更好了。 不了解也没有关系。 bitmap 就是用bit的每一位来代表一个特殊的状态值， 或者说 阅读全文
摘要：
链路层 当数据从网络层发送下来， 又是如何定位到另一台主机或路由器中的呢？ 从之前的了解，不难发现，当数据从网络层发送时，此时我们指定了目的地的IP地址，并且无论是本机还是路由器都能够根据IP转发表决定我们将要发送的下一个端口是什么，该以哪一条链路进行发送。 但在链路层呢？当脱离了IP地址，又如何从 阅读全文