摘要: kafka发送消息主要有三种方式: 发送并忘记 同步发送 异步发送+回调函数 https://www.cnblogs.com/FG123/p/10091478.html 阅读全文
posted @ 2020-11-22 19:11 baishengguan 阅读(218) 评论(0) 推荐(0) 编辑
摘要: pandas生成excel及解析 import pandas as pd # 生成一列excel def generate_excel_one(): company_name_list = ['腾讯', '阿里巴巴', '百度'] df = pd.DataFrame(company_name_lis 阅读全文
posted @ 2020-11-22 19:03 baishengguan 阅读(669) 评论(0) 推荐(0) 编辑
摘要: 实现稍微难点的三个算法:快排、归并、堆排序 快速排序 以下是一种写法(算法导论上是另一种写法,待补充) def quickSort(data, start, end): i = start j = end # i与j重合,一次排序结束 if i >= j: return # 设置最左边的数为基准值 阅读全文
posted @ 2020-11-14 17:17 baishengguan 阅读(65) 评论(0) 推荐(0) 编辑
摘要: BM25的作用 BM25:best matching 在检索中,经常需要计算query与文本的相关性,而BM25就是这样一种算法,它是TF-IDF算法的延申 BM25的计算过程 针对一个query$Q$,切词后包含$q_1$,...,\(q_n\),query与某个文档$D$的BM25分数为: \( 阅读全文
posted @ 2020-11-08 20:57 baishengguan 阅读(253) 评论(0) 推荐(0) 编辑
摘要: TF-IDF的作用 TF-IDF用以评估一个字词对于一个文件集或一个语料库中其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。 TF-IDF加权的各种形式常被搜索引擎应用,作为文件与用户查询之间相关程度的度量或评级。 TF-IDF的 阅读全文
posted @ 2020-11-07 09:38 baishengguan 阅读(228) 评论(0) 推荐(0) 编辑
摘要: set ts=4 et set noexpandtab colorscheme desert " 搜索忽略大小写 set ignorecase smartcase " 开启实时搜索功能 set incsearch " 高亮显示搜索结果 set hlsearch "关闭vi兼容模式 set nocom 阅读全文
posted @ 2020-11-02 19:17 baishengguan 阅读(89) 评论(0) 推荐(0) 编辑
摘要: 比较有用的wiki https://www.cnblogs.com/futurehau/p/6524396.html https://blog.csdn.net/hero_fantao/article/details/70245387 阅读全文
posted @ 2020-10-09 20:55 baishengguan 阅读(85) 评论(0) 推荐(0) 编辑
摘要: 并发:多个任务可以交叉重叠进行 并行:同一时刻,处理多个任务 多进程:并行,适合计算密集型任务 多线程:并发,适合IO密集型任务 协程:协程是用单进程,单线程的方式实现。协程是更加适合IO密集型任务的一种机制,因为线程还需要线程切换的开销,协程不需要 阻塞IO:内核接收数据+将数据复制到用户空间都被 阅读全文
posted @ 2020-08-09 21:50 baishengguan 阅读(154) 评论(0) 推荐(0) 编辑
摘要: hadoop输入多个文件时获取输入文件名,目的是可以对多个输入文件进行区分 filepath = os.environ["map_input_file"] filename = os.path.split(filepath)[-1] https://blog.csdn.net/catcherther 阅读全文
posted @ 2020-04-03 23:30 baishengguan 阅读(313) 评论(0) 推荐(0) 编辑
摘要: https://blog.csdn.net/wizard_wsq/article/details/50864560 https://blog.csdn.net/quinta_2018_01_09/article/details/93638251 https://www.jianshu.com/p/b 阅读全文
posted @ 2020-03-28 18:02 baishengguan 阅读(103) 评论(0) 推荐(0) 编辑