2019年7月1日
论文《Entity Linking with Effective Acronym Expansion, Instance Selection and Topic Modeling》
摘要： Entity Linking with Effective Acronym Expansion, Instance Selection and Topic Modeling 一.主要贡献 1. propose a supervised learning algorithm to expand mor 阅读全文
posted @ 2019-07-01 18:02 _Meditation 阅读(217) 评论(0) 推荐(0) 编辑
百度百科词条采集
摘要： https://baike.baidu,com/view/? 方式尽可能遍历百科词条 1 # -*- coding: utf-8 -*- 2 # @time : 2019/7/1 14:56 3 import requests 4 import random 5 from multiprocessi 阅读全文
posted @ 2019-07-01 17:55 _Meditation 阅读(905) 评论(0) 推荐(0) 编辑
百度百科采集策略（如何能尽可能采集全所有词条）
摘要： 一.分析 若从分类开始： 1.百科库中显示的分类是不全的，只有一些开放分类。 2.一个分类的数量不固定，每一页最多显示30个。 比如url: 参数解析： https://baike.baidu.com/fenlei/此处替换分类 Limit:30 每个页最多显示30条。 Index:第几页。 Off 阅读全文
posted @ 2019-07-01 17:52 _Meditation 阅读(854) 评论(0) 推荐(0) 编辑
2019年6月24日
论文《A Generative Entity-Mention Model for Linking Entities with Knowledge Base》
摘要： A Generative Entity-Mention Model for Linking Entities with Knowledge Base 一．主要方法 提出了一种生成概率模型，叫做entity-mention model. Explanation: In our model, each 阅读全文
posted @ 2019-06-24 18:09 _Meditation 阅读(567) 评论(0) 推荐(0) 编辑
论文《learning to link with wikipedia》
摘要： learning to link with wikipedia 一、本文目标： 如何自动识别非结构化文本中提到的主题，并将其链接到适当的Wikipedia文章中进行解释。 二、主要借鉴论文： Mihalcea and Csomai Wikify!: linking documents to ency 阅读全文
posted @ 2019-06-24 18:05 _Meditation 阅读(322) 评论(0) 推荐(0) 编辑
2019年6月22日
apache软件包下载地址
摘要： https://mirrors.tuna.tsinghua.edu.cn/apache/ 阅读全文
posted @ 2019-06-22 13:54 _Meditation 阅读(334) 评论(0) 推荐(0) 编辑
spark读取文件机制 源码剖析
摘要： Spark数据分区调研 Spark以textFile方式读取文件源码 textFile方法位于 spark-core_2.11/org.apache.spark.api.java/JavaSparkContent.scala 参数分析： path ：String是一个URI，可以是HDFS、本地文件 阅读全文
posted @ 2019-06-22 13:37 _Meditation 阅读(1259) 评论(0) 推荐(0) 编辑
zookeeper从入门到放弃(转载学习)
摘要： 第1章 Zookeeper入门 1.1 概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 1.2 特点 1.3 数据结构 1.4 应用场景 提供的服务包括：统一命名服务、统一配置管理、统一集群管理、服务器节点动态上下线、软负载均衡等。 第2章 Zookeep 阅读全文
posted @ 2019-06-22 13:34 _Meditation 阅读(533) 评论(0) 推荐(0) 编辑
2019年6月18日
hbase架构和读写过程
摘要： 转载自：https://www.cnblogs.com/itboys/p/7603634.html 在HBase读写时，相同Cell(RowKey/ColumnFamily/Column相同)并不保证在一起，甚至删除一个Cell也只是写入一个新的Cell，它含有Delete标记，而不一定将一个Cel 阅读全文
posted @ 2019-06-18 10:19 _Meditation 阅读(261) 评论(0) 推荐(0) 编辑
2019年6月14日
linux平台下安装 python 模块包
摘要： 一、安装Python Windows平台下： 进入Python官网下载页面下载 python（注意自己的电脑是64位还是32位）, 目前python一般有2.7版本和3.x版本，如果是从事开发，建议2.7版本和最新的3.x版本一起下载安装(当然，看个人喜好)。安装路径最好默认就可以了，建议不要修改安 阅读全文
posted @ 2019-06-14 10:07 _Meditation 阅读(23839) 评论(0) 推荐(0) 编辑