关于机器学习会议的点评
周志华点评机器学习会议
作者：南京大学周志华老师
微博：http://weibo。com/zhouzh2012
编者提示：这篇文章写于几年前，但现在看来各会议影响力基本一致，有参考价值。但排名不可能做到完全客观，烦请大家仔细阅读周老师文章后的寄语。
说明:纯属个人看法，仅供参考。tier-1的列得较全，tier-2的不太全，tier-3的很不全。同分的按字母序排列。不很严谨地说，tier-1是可以令人羡慕的，tier-2是可以令人尊敬的，由于AI的相关会议非常多，所以能列进tier-3的也是不错的
一. tier-1:
̶ IJCAI(1+):International Joint Conference on Artificial Intelligence。AI最好的综合性会议，1969年开始，每两年开一次，奇数年开。因为AI实在太大，所以虽然每届基本上能录100多篇（现在 已经到200多篇了），但分到每个领域就没几篇了，象machine learning、computer vision这么大的领域每次大概也就10篇左右，所以难度很大。不过从录用率上来看倒不太低，基本上20%左右，因为内行人都会掂掂分量，没希望的就别 浪费reviewer的时间了。最近中国大陆投往国际会议的文章象潮水一样，而且因为国内很少有能自己把关的研究组，所以很多会议都在complain说 中国的低质量文章严重妨碍了PC的工作效率。在这种情况下，估计这几年国际会议的录用率都会降下去。另外，以前的IJCAI是没有poster的，03年 开始，为了减少被误杀的好人，增加了2页纸的poster。值得一提的是，IJCAI是由貌似一个公司的”IJCAI Inc。”主办的(当然实际上并不是公司，实际上是个基金会)，每次会议上要发几个奖，其中最重要的两个是IJCAI Research Excellence Award和Computer & Thoughts Award，前者是终身成就奖，每次一个人，基本上是AI的最高奖(有趣的是，以AI为主业拿图灵奖的6位中，有2位还没得到这个奖)，后者是奖给35岁 以下的青年科学家，每次一个人。这两个奖的获奖演说是每次IJCAI的一个重头戏。另外，IJCAI的PC member相当于其他会议的areachair，权力很大，因为是由PC member去找reviewer来审，而不象一般会议的PC member其实就是reviewer。为了制约这种权力，IJCAI的审稿程序是每篇文章分配2位PC member，primary PC member去找3位reviewer，second PC member找一位。
̶ AAAI(1):National Conference on Artificial Intelligence美国人工智能学会AAAI的年会。是一个很好的会议，但其档次不稳定，可以给到1+，也可以给到1-或者2+，总的来说我给 它”1″。这是因为它的开法完全受IJCAI制约:每年开，但如果这一年的IJCAI在北美举行，那么就停开。所以，偶数年里因为没有IJCAI，它就是 最好的AI综合性会议，但因为号召力毕竟比IJCAI要小一些，特别是欧洲人捧AAAI场的比IJCAI少得多(其实亚洲人也是)，所以比IJCAI还是 要稍弱一点，基本上在1和1+之间;在奇数年，如果IJCAI不在北美，AAAI自然就变成了比IJCAI低一级的会议(1-或2+)，例如2005年既 有IJCAI又有AAAI，两个会议就进行了协调，使得IJCAI的录用通知时间比AAAI的deadline早那么几天，这样IJCAI落选的文章可以 投往AAAI。在审稿时IJCAI的PCchair也在一直催，说大家一定要快，因为AAAI那边一直在担心IJCAI的录用通知出晚了AAAI就麻烦 了。
̶ COLT(1):Annual Conference on Computational Learning Theory。这是计算学习理论最好的会议，ACM主办，每年举行。计算学习理论基本上可以看成理论计算机科学和机器学习的交叉，所以这个会被一些人看成 是理论计算机科学的会而不是AI的会。我一个朋友用一句话对它进行了精彩的刻画:“一小群数学家在开会”。因为COLT的领域比较小，所以每年会议基本上 都是那些人。这里顺便提一件有趣的事，因为最近国内搞的会议太多太滥，而且很多会议都是LNCS/LNAI出论文集，LNCS/LNAI基本上已经被搞臭 了，但很不幸的是，LNCS/LNAI中有一些很好的会议，例如COLT。
̶ CVPR(1):IEEE International Conference on Computer Vision and Pattern Recognition. 计算机视觉和模式识别方面最好的会议之一，IEEE主办，每年举行。虽然题目上有计算机视觉，但个人认为它的模式识别味道更重一些。事实上它应该是模式识 别最好的会议，而在计算机视觉方面，还有ICCV与之相当。IEEE一直有个倾向，要把会办成”盛会”，历史上已经有些会被它从quality很好的会办 成”盛会”了。CVPR搞不好也要走这条路。这几年录的文章已经不少了。最近负责CVPR会议的TC的chair发信说，对这个community来说， 让好人被误杀比被坏人漏网更糟糕，所以我们是不是要减少好人被误杀的机会啊?所以我估计明年或者后年的CVPR就要扩招了。
̶ ICCV(1):IEEE International Conference on Computer Vision. 介绍CVPR的时候说过了，计算机视觉方面最好的会之一。IEEE主办，每年举行。
̶ ICML(1):International Conference on Machine Learning机器学习方面最好的会议之一。现在是IMLS主办，每年举行。参见关于NIPS的介绍。
̶ NIPS(1):Annual Conference on Neural Information Processing Systems。神经计算方面最好的会议之一，NIPS主办，每年举行。值得注意的是，这个会每年的举办地都是一样的，以前是美国丹佛，现在是加拿大温哥 华;而且它是年底开会，会开完后第2年才出论文集，也就是说，NIPS’05的论文集是06年出。会议的名字“Advances in Neural Information Processing Systems”，所以，与ICML\ECML这样的”标准的”机器学习会议不同，NIPS里有相当一部分神经科学的内容，和机器学习有一定的距离。但由 于会议的主体内容是机器学习，或者说与机器学习关系紧密，所以不少人把NIPS看成是机器学习方面最好的会议之一。这个会议基本上控制在Michael Jordan的徒子徒孙手中，所以对Jordan系的人来说，发NIPS并不是难事，一些未必很强的工作也能发上去，但对这个圈子之外的人来说，想发一篇 实在很难，因为留给”外人”的口子很小。所以对Jordan系以外的人来说，发NIPS的难度比ICML更大。换句话说，ICML比较开放，小圈子的影响 不象NIPS那么大，所以北美和欧洲人都认，而NIPS则有些人(特别是一些欧洲人，包括一些大家)坚决不投稿。这对会议本身当然并不是好事，但因为 Jordan系很强大，所以它似乎也不太care。最近IMLS(国际机器学习学会)改选理事，有资格提名的人包括近三年在ICML\ECML\COLT 发过文章的人，NIPS则被排除在外了。无论如何，这是一个非常好的会。
̶ ACL(1-):Annual Meeting of the Association for Computational Linguistics. 计算语言学/自然语言处理方面最好的会议，ACL(Association of Computational Linguistics)主办，每年开。
̶ KR(1-):International Conference on Principles of Knowledge Representation and Reasoning. 知识表示和推理方面最好的会议之一，实际上也是传统AI(即基于逻辑的AI)最好的会议之一。KR Inc。主办，现在是偶数年开。
̶ SIGIR(1-):Annual International ACMSIGIR Conference on Research and Development in Information Retrieval信息检索方面最好的会议，ACM主办，每年开。这个会现在小圈子气越来越重。信息检索应该不算AI，不过因为这里面用到机器学习越来越多，最近几年甚至有点机器学习应用会议的味道了，所以把它也列进来。
̶ SIGKDD(1-): ACM SIG KDD International Conference on Knowledge Discovery and DataMining。数据挖掘方面最好的会议，ACM主办，每年开。这个会议历史比较短，毕竟，与其他领域相比，数据挖掘还只是个小弟弟甚至小侄儿。在几年前还很难把它列在tier-1里面，一方面是名声远不及其他的top conference响亮，另一方面是相对容易被录用。但现在它被列在tier-1应该是毫无疑问的事情了。
̶ UAI(1-): International Conference on Uncertainty in Artificial Intelligence。名字叫”人工智能中的不确定性”，涉及表示\推理\学习等很多方面，AUAI(Association of UAI)主办，每年开。
*Impactfactor(AccordingtoCiteseer03):
IJCAI：1。82(top4。09%)
AAAI：1。49(top9。17%)
COLT：1。49(top9。25%)
ICCV：1。78(top4。75%)
ICML：2。12(top1。88%)
NIPS：1。06(top20。96%)
ACL：1。44(top10。07%)
KR：1。76(top4。99%)
SIGIR：1。10(top19。08%)
Average：1。56(top8。02%)
二. tier-2:
̶ AAMAS(2+):International Joint Conferenceon Autonomous Agentsand Multiagent Systems. AAMAS(2+):agent方面最好的会议。但是现在agent已经是一个一般性的概念，几乎所有AI有关的会议上都有这方面的内容，所以AAMAS下降的趋势非常明显。
̶ ECCV(2+):European Conference on Computer Vision. ECCV(2+):计算机视觉方面仅次于ICCV的会议，因为这个领域发展很快，有可能升级到1-去。
̶ ECML(2+):European Conference on Machine Learning. ECML(2+):机器学习方面仅次于ICML的会议，欧洲人极力捧场，一些人认为它已经是1-了。我保守一点，仍然把它放在2+。因为机器学习发展很快，这个会议的reputation上升非常明显。
̶ ICDM(2+):IEEE International Conference on Data Mining. ICDM(2+):数据挖掘方面仅次于SIGKDD的会议，目前和SDM相当。这个会只有5年历史，上升速度之快非常惊人。几年前ICDM还比不上PAKDD，现在已经拉开很大距离了。
̶ SDM(2+):SIAM International Conference on Data Mining. SDM(2+):数据挖掘方面仅次于SIGKDD的会议，目前和ICDM相当。SIAM的底子很厚，但在CS里面的影响比ACM和IEEE还是要小，SDM眼看着要被ICDM超过了，但至少目前还是相当的。
̶ ICAPS(2):International Conference on Automated Planning and Scheduling. ICAPS(2):人工智能规划方面最好的会议，是由以前的国际和欧洲规划会议合并来的。因为这个领域逐渐变冷清，影响比以前已经小了。
̶ ICCBR(2):International Conference on Case-Based Reasoning. ICCBR(2):Case-BasedReasoning方面最好的会议。因为领域不太大，而且一直半冷不热，所以总是停留在2上。
̶ COLLING(2):International Conference on Computational Linguistics. COLLING(2):计算语言学/自然语言处理方面仅次于ACL的会，但与ACL的差距比ICCV-ECCV和ICML-ECML大得多。
̶ ECAI(2):European Conference on Artificial Intelligence. ECAI(2):欧洲的人工智能综合型会议，历史很久，但因为有IJCAI/AAAI压着，很难往上升。
̶ ALT(2-):International Conference on Algorithmic Learning Theory. ALT(2-):有点象COLT的tier-2版，但因为搞计算学习理论的人没多少，做得好的数来数去就那么些group，基本上到COLT去了，所以ALT里面有不少并非计算学习理论的内容。
̶ EMNLP(2-):Conference on Empirical Methods in Natural Language Processing. EMNLP(2-):计算语言学/自然语言处理方面一个不错的会。有些人认为与COLLING相当，但我觉得它还是要弱一点。
̶ ILP(2-):International Conference on Inductive Logic Programming. ILP(2-):归纳逻辑程序设计方面最好的会议。但因为很多其他会议里都有ILP方面的内容，所以它只能保住2-的位置了。
̶ PKDD(2-):European Conference on Principles and Practice of Knowledge Discovery in Databases. PKDD(2-):欧洲的数据挖掘会议，目前在数据挖掘会议里面排第4。欧洲人很想把它抬起来，所以这些年一直和ECML一起捆绑着开，希望能借ECML 把它带起来。但因为ICDM和SDM，这已经不太可能了。所以今年的PKDD和ECML虽然还是一起开，但已经独立审稿了(以前是可以同时投两个会，作者 可以声明优先被哪个会考虑，如果ECML中不了还可以被PKDD接受)。
*Impactfactor(AccordingtoCiteseer03):
ECCV：1。58(top7。20%)
ECML：0。83(top30。63%)
ICDM：0。35(top59。86%)
ICCBR：0。72(top36。69%)
ECAI：0。69(top38。49%)
ALT：0。63(top42。91%)
ILP：1。06(top20。80%)
PKDD：0。50(top51。26%)
Average：0。80(top32。02%)
三. tier-3:
̶ ACCV(3+):Asian Conference on Computer Vision. ACCV(3+):亚洲的计算机视觉会议，在亚太级别的会议里算很好的了。
̶ DS(3+):International Conference on Discovery Science. DS(3+):日本人发起的一个接近数据挖掘的会议。
̶ ECIR(3+):European Conference on IR Research. ECIR(3+):欧洲的信息检索会议，前几年还只是英国的信息检索会议。
̶ ICTAI(3+):IEEE International Conference on Tools with Artificial Intelligence. ICTAI(3+):IEEE最主要的人工智能会议，偏应用，是被IEEE办烂的一个典型。以前的quality还是不错的，但是办得越久声誉反倒越差了，糟糕的是似乎还在继续下滑，现在其实3+已经不太呆得住了。
̶ PAKDD(3+):Pacific-Asia Conference on Knowledge Discovery and Data Mining. PAKDD(3+):亚太数据挖掘会议，目前在数据挖掘会议里排第5。
̶ ICANN(3+):International Conference on Artificial Neural Networks. ICANN(3+):欧洲的神经网络会议，从quality来说是神经网络会议中最好的，但这个领域的人不重视会议，在该领域它的重要性不如IJCNN。
̶ AJCAI(3):Australian Joint Conference on Artificial Intelligence. AJCAI(3):澳大利亚的综合型人工智能会议，在国家/地区级AI会议中算不错的了。
̶ CAI(3):Canadian Conference on Artificial Intelligence. CAI(3):加拿大的综合型人工智能会议，在国家/地区级AI会议中算不错的了。
̶ CEC(3):IEEE Congress on Evolutionary Computation. CEC(3):进化计算方面最重要的会议之一，盛会型。IJCNN/CEC/FUZZ-IEEE这三个会议是计算智能或者说软计算方面最重要的会议，它们经常一起开，这时就叫WCCI(WorldCongressonComputationalIntelligence)。但这个领域和CS其他分支不太一样，倒是和其他学科相似，只重视journal，不重视会议，所以录用率经常在85%左右，所录文章既有quality非常高的论文，也有入门新手的习作。
̶ FUZZ-IEEE(3):IEEE International Conferenceon Fuzzy Systems. FUZZ-IEEE(3):模糊方面最重要的会议，盛会型，参见CEC的介绍。
̶ GECCO(3):Genetic and Evolutionary Computation Conference. GECCO(3):进化计算方面最重要的会议之一，与CEC相当，盛会型。
̶ ICASSP(3):International Conference on Acoustics，Speech，and Signal Processing. ICASSP(3):语音方面最重要的会议之一，这个领域的人也不很care会议。
̶ ICIP(3):International Conference on Image Processing. ICIP(3):图像处理方面最著名的会议之一，盛会型。
̶ ICPR(3):International Conference on Pattern Recognition. ICPR(3):模式识别方面最著名的会议之一，盛会型。
̶ IEA/AIE(3):International Conference on Industrial and Engineering Applications of Artificial Intelligence and ExpertSystems. IEA/AIE(3):人工智能应用会议。一般的会议提名优秀论文的通常只有几篇文章，被提名就已经是很高的荣誉了，这个会很有趣，每次都搞1、20篇的优秀论文提名，专门搞几个session做被提名论文报告，倒是很热闹。
̶ IJCNN(3):International Joint Conference on Neural Networks. IJCNN(3):神经网络方面最重要的会议，盛会型，参见CEC的介绍。
̶ IJNLP(3):International Joint Conference on Natural Language Processing. IJNLP(3):计算语言学/自然语言处理方面比较著名的一个会议。
̶ PRICAI(3):Pacific-Rim International Conference on Artificial Intelligence. PRICAI(3):亚太综合型人工智能会议，虽然历史不算短了，但因为比它好或者相当的综合型会议太多，所以很难上升。
*Impactfactor(AccordingtoCiteseer03):
ACCV：0。42(top55。61%)
ICTAI：0。25(top69。86%)
PAKDD：0。30(top65。60%)
ICANN：0。27(top67。73%)
AJCAI：0。16(top79。44%)
CAI：0。26(top68。87%)
ICIP：0。50(top50。20%)
IEA/AIE：0。09(top87。79%)
PRICAI：0。19(top76。33%)
Average：0。27(top68。30%)
列list只是为了帮助新人熟悉领域，给出的评分或等级都是个人意见，仅供参考。
特别要说明的是:
1。tier-1conference上的文章并不一定比tier-3的好，只能说前者的平均水准更高。
2。研究工作的好坏不是以它发表在哪儿来决定的，发表在高档次的地方只是为了让工作更容易被同行注意到。tier-3会议上发表1篇被引用10次的文章可 能比在tier-1会议上发表10篇被引用0次的文章更有价值。所以，数top会议文章数并没有太大意义，重要的是同行的评价和认可程度。
3。很多经典工作并不是发表在高档次的发表源上，有不少经典工作甚至是发表在很低档的发表源上。原因很多，就不细说了。
4。会议毕竟是会议，由于审稿时间紧，错杀好人和漏过坏人的情况比比皆是，更何况还要考虑到有不少刚开始做研究的学生在代老板审稿。
5。会议的reputation并不是一成不变的，新会议可能一开始没什么声誉，但过几年后就野鸡变凤凰，老会议可能原来声誉很好，但越来越往下滑。
6。只有计算机科学才重视会议论文，其他学科并不把会议当回事。但在计算机科学中也有不太重视会议的分支。
7、Politics无所不在。你老板是谁，你在哪个研究组，你在哪个单位，这些简单的因素都可能造成决定性的影响。换言之，不同环境的人发表的难度是不 一样的。了解到这一点后，你可能会对high-level发表源上来自low-level单位名不见经传作者的文章特别注意(例如如果<计算机学 报>上发表了平顶山铁道电子信息科技学院的作者的文章，我一定会仔细读)。
8、评价体系有巨大的影响。不管是在哪儿谋生的学者，都需要在一定程度上去迎合评价体系，否则连生路都没有了，还谈什么做研究。以国内来说，由于评价体系 只重视journal，有一些工作做得很出色的学者甚至从来不投会议。另外，经费也有巨大的制约作用。国外很多好的研究组往往是重要会议都有文章。但国内 是不行的，档次低一些的会议还可以投了只交注册费不开会，档次高的会议不去做报告会有很大的负面影响，所以只能投很少的会议。这是在国内做CS研究最不利 的地方。我的一个猜想：人民币升值对国内CS研究会有不小的促进作用(当然，人民币升值对整个中国来说利大于弊还是弊大于利很难说)。
