玩聚热点新发现--中国的techmeme
编写者 |
日期 |
关键词 |
郑昀 |
|
Meme 热点 引爆点 techmeme |
2005年9月,techmeme 的前身memeOrandum横空出世,在当时北美也算是刮起了一阵旋风,大家把它和slashdot、digg这些成名站点相提并论,并提出了slashdot效应类似的memeOrandum效应。
techmeme这款由Gabe Rivera主导的热点计算引擎,对由他自己定义的blog列表进行实时监测,通过追寻blog、新闻媒体的url链接来挖掘blogger之间的对话线索,并以对话的形式展现在首页上,成为一个非常有效的内容过滤器,Tells us what's hot and what's not。
这种链接挖掘热点的算法在中国并不适用,原因很简单:
中国博客很少在博文正文里嵌入URL链接。
同样原因,Google的PageRank算法在博客上也发挥不了太大价值。
实际上,从2006年下半年开始,我们一直都在秘密研发Content Engine(内容引擎),其中“热点自动发现(hot point)”就涵盖了techmeme的方向。
转眼进入2007年,最近媒体上屡屡提及techmeme。
如
如经济观察报2007年6月出版的CEO经观商业评论刊载了《网络社区这些年》,其中说道“在第一轮互联网泡沫破灭之后,Slashdot的影响力开始逐渐变弱。近年来,新兴的Techmeme开始取代前者的地位。”
曾经获评为Microsoft十大最热Blogger的Alex Barnett也于
引子
2006年1月,我撰写并发布了《MemeEngine讨论集一、二、三》(点击此处下载完整PDF文档)。当时也注意到有几个人在媒体上宣布说要复制techmeme,但随后便没有了下文。也许正是因为techmeme的链接分析算法根本无法搬到中国来。
一直在路上
2006年3月,我开始寻找符合中国特色的meme engine之路,很快发现只有文本挖掘算法才能做这件事情。
博客内容的文本挖掘,在中国还有一个大问题要解决。博客比新闻要复杂得多得多:
l 文字风格:博客风格迥异,往往不按牌理出牌,天马行空,远远比规范书写的新闻要难分析。
l 涉及的范围:博客什么都谈论,大到国家大事,小到个人情感,甚至流水帐。
l 信息源分散:国内大大小小数百家BSP,数以百万计个博客发布文章,很难在第一时间收集起来并迅速展开大规模计算。
2006年9月,我和中科院软件所的张俊林张博士等一起创建了玩聚网,瞄准信息过滤器和人过滤器的未来大方向。
2006年10月,张博士推出了“热点自动发现”算法。但这时候,算法还不太成熟,在非事件驱动、非新闻驱动的分类中表现不佳,比如:互联网、两性,在新闻驱动的明星、社会表现则不错。这种情况下还不能对外开放。
在我们为了内容引擎而研发了“主题聚类聚合”“话题时间脉络”算法之后, 又回过头来重新优化了热点自动发现算法。这次的精度就上升到了一个新高度,真正可以做到:
从爬虫抓取到输出各个领域的热点,整个流程不用任何人工、不用编辑审核就能直接放出来给普通用户看。
玩聚,一直在路上,朝着成为中国的 techmeme 并超越techmeme进一步成为网络用户的信息过滤器 稳步前进。玩聚,还要把更多的力量投入到针对互联网用户个性化过滤、追踪需求上。
郑昀