玩聚热点新发现--中国的techmeme

编写者

日期

关键词

郑昀

2007-6-15

Meme 热点 引爆点 techmeme

 玩聚& Techmeme

20059月,techmeme 的前身memeOrandum横空出世,在当时北美也算是刮起了一阵旋风,大家把它和slashdotdigg这些成名站点相提并论,并提出了slashdot效应类似的memeOrandum效应。

techmeme这款Gabe Rivera主导的热点计算引擎,对由他自己定义blog列表进行实时监测,通过追寻blog、新闻媒体url链接来挖掘blogger之间的对话线索,并以对话的形式展现在首页上,成为一个非常有效的内容过滤器,Tells us what's hot and what's not

这种链接挖掘热点的算法在中国并不适用,原因很简单:

中国博客很少在博文正文里嵌入URL链接

同样原因,GooglePageRank算法在博客上也发挥不了太大价值。

 

实际上,从2006年下半年开始,我们一直都在秘密研发Content Engine(内容引擎),其中“热点自动发现(hot point)”就涵盖了techmeme的方向。

 

转眼进入2007年,最近媒体上屡屡提及techmeme

525,新浪翻译Read/Write Web的文章《美著名科技博客:谷歌新闻与Techmeme大比拼》。

如经济观察报20076月出版的CEO经观商业评论刊载了《网络社区这些年》,其中说道“在第一轮互联网泡沫破灭之后,Slashdot的影响力开始逐渐变弱。近年来,新兴的Techmeme开始取代前者的地位。

曾经获评为Microsoft十大最热BloggerAlex Barnett也于523发表文章《How I find stuff I like》说techmeme是他的三个内容过滤器之一:The three main methods I use to find content I'll be interested in are: 2. Techmeme - two or three times daily. Tells me what's hot and what's not.

 

引子

20061月,我撰写并发布了《MemeEngine讨论集(点击此处下载完整PDF文档)。当时也注意到有几个人在媒体上宣布说要复制techmeme,但随后便没有了下文。也许正是因为techmeme的链接分析算法根本无法搬到中国来。

 

一直在路上

20063月,我开始寻找符合中国特色的meme engine之路,很快发现只有文本挖掘算法才能做这件事情。

博客内容的文本挖掘,在中国还有一个大问题要解决。博客比新闻要复杂得多得多:

l        文字风格:博客风格迥异,往往不按牌理出牌,天马行空,远远比规范书写的新闻要难分析。

l        涉及的范围:博客什么都谈论,大到国家大事,小到个人情感,甚至流水帐。

l        信息源分散:国内大大小小数百家BSP,数以百万计个博客发布文章,很难在第一时间收集起来并迅速展开大规模计算。

20069月,我和中科院软件所的张俊林张博士等一起创建了玩聚网,瞄准信息过滤器和人过滤器的未来大方向。

200610月,张博士推出了“热点自动发现”算法。但这时候,算法还不太成熟,在非事件驱动、非新闻驱动的分类中表现不佳,比如:互联网两性,在新闻驱动的明星社会表现则不错。这种情况下还不能对外开放。

在我们为了内容引擎而研发了“主题聚类聚合”“话题时间脉络”算法之后, 又回过头来重新优化了热点自动发现算法。这次的精度就上升到了一个新高度,真正可以做到:

从爬虫抓取到输出各个领域的热点,整个流程不用任何人工、不用编辑审核就能直接放出来给普通用户看。

 

玩聚,一直在路上,朝着成为中国的 techmeme  并超越techmeme进一步成为网络用户的信息过滤器 稳步前进。玩聚,还要把更多的力量投入到针对互联网用户个性化过滤、追踪需求上。

郑昀

 
posted @ 2007-06-15 18:20  老兵笔记  阅读(1176)  评论(0编辑  收藏  举报