bonelee - 博客园

2017年2月20日

摘要： UDP Communication Contents UDP Communication Sending Receiving Using UDP for e.g. File Transfers Multicasting? Contents See also SoapOverUdp, TcpCommu 阅读全文

posted @ 2017-02-20 16:39 bonelee 阅读(380) 评论(0) 推荐(0) 编辑

python glances来监控linux服务器CPU 内存 IO使用

摘要：什么是 Glances？ Glances 是一个由 Python 编写，使用 psutil 库来从系统抓取信息的基于 curses 开发的跨平台命令行系统监视工具。通过 Glances，我们可以监视 CPU，平均负载，内存，网络流量，磁盘 I/O，其他处理器和文件系统空间的利用情况。 Gla 阅读全文

posted @ 2017-02-20 15:00 bonelee 阅读(2581) 评论(0) 推荐(0) 编辑

大数据日志分析产品——SaaS Cloud, e.g. Papertrail, Loggly, Sumo Logic；Open Source Frameworks, e.g. ELK stack, Graylog；Enterprise Products, e.g. TIBCO LogLogic, IBM QRadar, Splunk

摘要： Learn how you can maximize big data in the cloud with Apache Hadoop. Download this eBook now. Brought to you in partnership with Hortonworks. In Febru 阅读全文

posted @ 2017-02-20 11:47 bonelee 阅读(893) 评论(0) 推荐(0) 编辑

2017年2月17日

shingling算法——提取特征，m个hash函数做指纹计算，针对特征hash后变成m维向量，最后利用union-find算法计算相似性

摘要： shingling算法用于计算两个文档的相似度，例如，用于网页去重。维基百科对w-shingling的定义如下： In natural language processing a w-shingling is a set of unique "shingles"—contiguous subsequ 阅读全文

posted @ 2017-02-17 18:43 bonelee 阅读(5430) 评论(0) 推荐(0) 编辑

普林斯顿算法（1.3）并查集（union-find算法）——本质就是一个数下面的子树代表了连在一起的点

摘要：转自：https://libhappy.com/2016/03/algs-1.3/ 假设在互联网中有两台计算机需要互相通信，那么该怎么确定它们之间是否已经连接起来还是需要架设新的线路连接这两台计算机。这就是动态连通性问题。动态连通性问题在日常生活中十分常见，比如上文所说的通信网络中的连通性问题，比阅读全文

posted @ 2017-02-17 15:42 bonelee 阅读(588) 评论(0) 推荐(0) 编辑

Cuckoo hash算法分析——其根本思想和bloom filter一致增加hash函数来解决碰撞节省了空间但代价是查找次数增加

摘要：基本思想： cuckoo hash是一种解决hash冲突的方法，其目的是使用简单的hash 函数来提高hash table的利用率，同时保证O(1)的查询时间基本思想是使用2个hash函数来处理碰撞，从而每个key都对应到2个位置。插入操作如下： 1. 对key值hash，生成两个hash ke 阅读全文

posted @ 2017-02-17 14:32 bonelee 阅读(9665) 评论(0) 推荐(0) 编辑

Merkle 树——空间换时间，分而治之的hash表，通过根节点是由它的两个子节点内容的哈希值组成来校验数据完整性，定位篡改的数据位置

摘要： Merkle 树图 1.5.6.1 - Merkle 树示例默克尔树（又叫哈希树）是一种二叉树，由一个根节点、一组中间节点和一组叶节点组成。最下面的叶节点包含存储数据或其哈希值，每个中间节点是它的两个孩子节点内容的哈希值，根节点也是由它的两个子节点内容的哈希值组成。进一步的，默克尔树可以推广到阅读全文

posted @ 2017-02-17 12:12 bonelee 阅读(2509) 评论(0) 推荐(0) 编辑

图解Skip List——本质是空间换时间的数据结构，在lucene的倒排列表，bigtable，hbase，cassandra的memtable，redis中sorted set中均用到

摘要： Skip List的提出已有二十多年[Pugh, W. (1990)]，却依旧应用广泛（Redis、LevelDB等）。作为平衡树(AVL、红黑树、伸展树、树堆)的替代方案，虽然它性能不如平衡树稳定，但是在实现难度上却很有优势。它的查询、插入、删除等主要操作时间复杂度也都是Θ(lgn)，空间复杂度是阅读全文

posted @ 2017-02-17 11:41 bonelee 阅读(1098) 评论(0) 推荐(0) 编辑

LSM Tree 学习笔记——本质是将随机的写放在内存里形成有序的小memtable，然后定期合并成大的table flush到磁盘

摘要： The Sorted String Table (SSTable) is one of the most popular outputs for storing, processing, and exchanging datasets. An SSTable is a simple abstract 阅读全文

posted @ 2017-02-17 10:42 bonelee 阅读(530) 评论(0) 推荐(0) 编辑

LSM Tree 学习笔记——MemTable通常用 SkipList 来实现

摘要：最近发现很多数据库都使用了 LSM Tree 的存储模型，包括 LevelDB，HBase，Google BigTable，Cassandra，InfluxDB 等。之前还没有留意这么设计的原因，最近调研时间序列数据库的时候才发现这样设计的优势所在，所以重新又复习了一遍 LSM Tree 的原理。阅读全文

posted @ 2017-02-17 10:21 bonelee 阅读(1112) 评论(0) 推荐(0) 编辑

将者，智、信、仁、勇、严也。

Hi，我是李智华，华为-安全AI算法专家，欢迎来到安全攻防对抗的有趣世界。

公告