「数据ETL」从数据民工到数据白领蜕变之旅(三)-除了Excel催化剂之外PowerQuery新物种同样值得期待
在自助式BI时代以前,Excel级别的数据ETL工作,非常低效,动不动就要启用VBA来完成一些常见的需求,自带的原生功能,未能满足大量的繁琐数据ETL刚需功能。
在Excel2010后,PowerQuery以插件的形式横空出现,并最终在Excel2016中得以深度内置,是一款非常难得的轻量化数据ETL工具。
微软官方插件与第三方插件待遇不同
在使用第三方插件的过程中,可以弥补一些数据处理的刚需,但因每个插件的定位及用途不一,暂没有发现哪个像Excel催化剂这样专注做一些高阶的应用,同时第三方插件的使用体验,略低于原生的功能(需要安装、发布、分享等环节麻烦,同时界面操作没法做到原生那般地紧密相联)
在PowerQuery方面,其因是官方的插件,就算在Excel2010或Excel2013中使用,无论安装的成功率保障还是和原生功能的内置方面,都比我们第三方插件要强得多,同时也更容易过IT审核的关卡,毕竟是官方的插件,肯定对电脑没什么病毒后门式的顾虑。
PowerQuery一个很深入的集成性在于,其数据加载的过程中,原生地开发其以Excel智能表的形式加载出来,并且以数据连接的方式和源数据和加工过程相连接,所以非常好的体验在于数据源更新后,只需刷新一下结果表即可按原来配置过的逻辑对数据进行更新。
在第三方插件中,这个过程肯定需要重新在界面上重来一遍,所以重复性逻辑数据更新还是压倒性地好于第三方插件。
在Excel催化剂中,对于PowerQuery非常擅长的领域,Excel催化剂就比较少去开发,所以使用Excel催化剂的用户群体,更佳的方式是同时掌握Excel催化剂+PowerQuery,在两者中根据自己不同场景,选择使用哪个工具来完成,而不应该生硬地在两者中取一,通过复杂的操作才能完成可能对方很轻松胜任的任务。
PowerQuery学习之我见
PowerQuery的学习,并非是Excel高级用户的专利,相反,它更适合于初中级用户去接触,因其内核使用了.NET Framework的底层架构,非常多的.NET语言的特性都在PowerQuery中得以实现。相对Excel的高级函数技术及VBA才能处理的方案,在PowerQuery中变得非常简单。
并且在PowerQuery中,非常强调界面化操作,在界面上操作,非常直观于数据的生成可视化展现,易于理解和检查。同时PowerQuery上的操作过程,并详细记录为步骤的模块,并且步骤可以在有先后顺序的多个步骤间来回切换,感受步骤的前后对数据源产生的影响,非常好用。
**所以,PowerQuery的使用,更合适于对Excel基础操作有所了解,对函数的计算原理有所掌握的群体来使用学习,可以快速地逆袭过往需要Excel高手级别才能完成的事情。
PowerQuery学习资源
在这两年里,PowerBI技术持续地火热,图书、视频市场已经出现非常丰富的中文习资源了。基本上市面上能够找到的热门的学习资料都值得入手学习。
以下这些是笔者有接触过的或购买过的图书,非常不错,可以系统地用来学习。
同样地学习过程中,需要把握和平衡,使用二八原则的学习方式产出是最大的,例如PowerQuery,尽量学习下界面的操作,再加一些通用性套路玩法即可满足大部分的工作场景,复杂的场景虽然PowerQuery可能也可完成,但可能其他方式的实现成本更低如使用Excel催化剂、SQL、SSIS、VBA等方式。
同样地PowerBI社区的一些公众号、博客文章,也是一个很不错的补充学习,如国内最发烧的施阳大神开辟的博客https://pqfans.com/,和其他公众号、知乎等渠道的PowerBI主题文章里也经常有一些碎片化的学习资料。
同样地,PoweBI社区的免费知识星球【PowerBI朋友圈(P圈)】,里面也汇集了社区内大部分的免费学习资源。
结语
本篇从工具的角度,分析在笔者眼中的PowerQuery的功能特性及价值。是轻量级别的中小型数据ETL场景中非常好用的工具,结合Excel催化剂的功能,实现双方的互补,能够给广大普通Excel用户们带来非常大的生产力提升。
笔者只是引路者,真正扎根学习的话,建议到社区里更专业分享PowerQuery工具的老师那里学习。笔者更愿意给读者们带来笔者最擅长的企业级BI工具的分享,敬请关注后续推文。
笔者未来聚焦在数据领域的分享,不限于Excel,会分享更多Sqlserver、dotNET、Azure、PowerBI等话题,升级数据分析的能力,欢迎继续关注。*
系列文章
从数据民工到数据白领蜕变之旅(一)-工具总览 https://www.jianshu.com/p/2bd3f90206ec
从数据民工到数据白领蜕变之旅(二)-重温Excel催化剂经典 https://www.jianshu.com/p/cb89929bb8ae
关于Excel催化剂
Excel催化剂先是一微信公众号的名称,后来顺其名称,正式推出了Excel插件,插件将持续性地更新,更新的周期视本人的时间而定争取一周能够上线一个大功能模块。Excel催化剂插件承诺个人用户永久性免费使用!
Excel催化剂插件使用最新的布署技术,实现一次安装,日后所有更新自动更新完成,无需重复关注更新动态,手动下载安装包重新安装,只需一次安装即可随时保持最新版本!
Excel催化剂插件下载链接:https://pan.baidu.com/s/1Iz2_NZJ8v7C9eqhNjdnP3Q
取名催化剂,因Excel本身的强大,并非所有人能够立马享受到,大部分人还是在被Excel软件所虐的阶段,就是头脑里很清晰想达到的效果,而且高手们也已经实现出来,就是自己怎么弄都弄不出来,或者更糟的是还不知道Excel能够做什么而停留在不断地重复、机械、手工地在做着数据,耗费着无数的青春年华岁月。所以催生了是否可以作为一种媒介,让广大的Excel用户们可以瞬间点燃Excel的爆点,无需苦苦地挣扎地没日没夜的技巧学习、高级复杂函数的烧脑,最终走向了从入门到放弃的道路。
最后Excel功能强大,其实还需树立一个观点,不是所有事情都要交给Excel去完成,也不是所有事情Excel都是十分胜任的,外面的世界仍然是一个广阔的世界,Excel只是其中一枚耀眼的明星,还有其他更多同样精彩强大的技术、工具等。*Excel催化剂也将借力这些其他技术,让Excel能够发挥更强大的爆发!
关于Excel催化剂作者
姓名:李伟坚,从事数据分析工作多年(BI方向),一名同样在路上的学习者。
服务过行业:零售特别是鞋服类的零售行业,电商(淘宝、天猫、京东、唯品会)
技术路线从一名普通用户,通过Excel软件的学习,从此走向数据世界,非科班IT专业人士。
历经重重难关,终于在数据的道路上达到技术平原期,学习众多的知识不再太吃力,同时也形成了自己的一套数据解决方案(数据采集、数据加工清洗、数据多维建模、数据报表展示等)。
擅长技术领域:Excel等Office家族软件、VBA&VSTO的二次开发、Sqlserver数据库技术、Sqlserver的商业智能BI技术、Powerbi技术、云服务器布署技术等等。
2018年开始职业生涯作了重大调整,从原来的正职工作,转为自由职业者,暂无固定收入,暂对前面道路不太明朗,苦重新回到正职工作,对Excel催化剂的运营和开发必定受到很大的影响(正职工作时间内不可能维护也不可能随便把工作时间内的成果公布于外,工作外的时间也十分有限,因已而立之年,家庭责任重大)。
和广大拥护者一同期盼:Excel催化剂一直能运行下去,我所惠及的群体们能够给予支持(多留言鼓励下、转发下朋友圈推荐、小额打赏下和最重点的可以和所在公司及同行推荐推荐,让我的技术可以在贵司发挥价值,实现双赢(初步设想可以数据顾问的方式或一些小型项目开发的方式合作)。