2019年12月17日
数学之美
摘要： 自然语言处理机器翻译，搜索，分词，语音识别，手写输入。 规则树基于语法规则实现nlp，复杂，低效，无法实现复杂语句的识别。 统计基于统计实现nlp，使用数学模型（公式，参数），计算出各种情况出现的概率，使用概率最高的。 模型训练收集海量数据（语料库），计算二元，三元，四元，N元词组的出现频率。分词则 阅读全文
posted @ 2019-12-17 18:10 vsop_479 阅读(153) 评论(0) 推荐(0) 编辑
秒杀设计
摘要： 个人设计，未经实践，欢迎指正。 场景预估请求量：1kw，商品：gbjd，库存：50。 server数量：10。server实现（queryCount + stock in redis）1：限流limit初始为5-10，limit大时，尽量在有人取消时，第一次进来其他用户能秒杀到。 一次处理后，当库存 阅读全文
posted @ 2019-12-17 18:02 vsop_479 阅读(129) 评论(0) 推荐(0) 编辑
爬虫
摘要： source定义source url，可多个。如：{163.com，qq.com}。 遍历以source为起点，广度优先进行图遍历。具体实现为：将待遍历的url加入队列。每次取列头遍历，并将子节点加入队列。深度优先：递归。 判重使用bloomfilter判断url是否已经遍历过。考虑服务的分布式实现 阅读全文
posted @ 2019-12-17 17:57 vsop_479 阅读(87) 评论(0) 推荐(0) 编辑
2019年12月1日
CMS总结
摘要： 过程 初始标记 从roots(例如：thread stack引用的对象，static对象），新生代对象，标记直接引用的老年代对象。 并发标记 利用初始标记阶段标记的对象，递归标记整个老年代。 该阶段与用户线程并行执行，产生变化的对象（新建，晋升，引用变化（不引用）等）所在的Card标记为Dirty。 阅读全文
posted @ 2019-12-01 18:03 vsop_479 阅读(263) 评论(0) 推荐(0) 编辑
2019年11月19日
rust 打印当前时间
摘要： let now = time::now();let f_now = time::strftime("%Y-%m-%dT%H:%M:%S", &now).unwrap();println!("now: {:?}", f_now); 阅读全文
posted @ 2019-11-19 15:21 vsop_479 阅读(1992) 评论(0) 推荐(0) 编辑
2019年11月13日
doc_values VS stored field
摘要： doc_values 按列存储，按docId排序，在query阶段使用，直接根据docId获取具体field的value，用来排序，聚合等。 stored field按文档存储，按docId排序，一条文档所有的stored field都存在一起，在fetch阶段使用。 https://www.ela 阅读全文
posted @ 2019-11-13 10:51 vsop_479 阅读(298) 评论(0) 推荐(0) 编辑
2019年10月12日
jdk1.7 HashMap扩容时，不论是否有链表，并发都可能出现循环链表
摘要： 扩容时使用transfertransfer不同于put时的判断hash冲突，直接使用头插法，如果没有冲突，则next为null。如下：e.next = newTable[i];newTable[i] = e;如果线程B设置了newTable[i] = e，线程A执行e.next = newTable 阅读全文
posted @ 2019-10-12 17:56 vsop_479 阅读(269) 评论(0) 推荐(0) 编辑
2019年9月27日
es snapshot备份到hdfs及从hdfs恢复snapshot
摘要： snapshot可以将es整个集群，具体索引数据备份到磁盘，hdfs等。需要时，可以从磁盘，hdfs恢复数据到es。 具体参考： https://elasticsearch.cn/article/6194 https://www.elastic.co/guide/en/elasticsearch/r 阅读全文
posted @ 2019-09-27 11:40 vsop_479 阅读(282) 评论(0) 推荐(0) 编辑
sparkstreaming消费kafka后bulk到es
摘要： 不使用es-hadoop的saveToES，与scala版本冲突问题太多。不使用bulkprocessor，异步提交，es容易oom，速度反而不快。使用BulkRequestBuilder同步提交。 主要代码 ESClient: 阅读全文
posted @ 2019-09-27 11:32 vsop_479 阅读(766) 评论(0) 推荐(0) 编辑
2019年9月25日
TieredMergePolicy
摘要： setFloorSegmentMB多少MB一个层级，在此区间的segment分为一个floor。 setMaxMergeAtOnce一次merge多少个segment。 setSegmentsPerTier每个floor允许有多少个segment，超过该值将进行merge。 阅读全文
posted @ 2019-09-25 14:32 vsop_479 阅读(266) 评论(0) 推荐(0) 编辑