大数据与批量调度的紧密关系

大数据与批量调度的紧密关系

当大数据在手机端花枝招展地跳跃时，你很自豪地说，我知道它是怎么来的，它是从网络另一端来的。可当碰到一个刨根问底的家伙，他又问，那网络另一端的数据又是怎么来的，你是否一脸蒙逼？不，你可能说，作为一枚IT男神，我知道很多情况下，它是一个叫调度的东东指挥着一大群小家伙程序从四面八方不断鼓捣来的。没错，大数据不管你熟不熟，它总是天天在你面前晃动，而那个叫调度神秘的东西，只是和你隔了一张网。

实际上，站在技术的角度，很多时候，调度和大数据就是那么如影相随。如果说把大数据的应用分前台与后台的话，前台就是怎么展示数据、怎么用数据，而后台就是怎么准备数据。要用东西，不正是先要准备好东西吗？这是客观基本逻辑道理，数据也如此。而这个数据的准备过程，很多时候，都是调度这个神秘的家伙，指挥这一大群小家伙程序，排好阵、列好队，每个小家伙程序各司其职，把千千万万、形形色色的数据搬来搬去，变来变去。最后，终于把这些数据放到该放的地方，该洗的洗了，该计算的计算了，妆化好了，衣服穿好了，一切就绪！当大领导坐在办公室，喝一口茶，理一下衣服，不经意在屏幕上轻轻一点，满意地笑了。因为他看到了一组数据，他的宇宙集团今年销售额一亿亿，同时系统还告诉他，我们宇宙集团健康运行，而且高速前进，如果在今后的集团运营中，只要在某个地方稍稍变动，明年销售额一定会是两亿亿。只是在领导满意一笑的瞬间，不知那个叫调度的心情怎样，不知领导是否知道，就是因为那个调度，天天带领着一大群程序小兵，在后台天天忙来忙去，算来算去，才有了领导那不经意的一笑。

这就是大数据与调度的关系，大数据是魅力无穷的，但调度是枯燥无边的。当你因某个数据激荡的背后，其实是由调度程序带领无数小程序，从浩如星海般的大数据中，经过千锤百炼，大浪淘沙，为你做了大量精心的准备。这就好像你到餐厅，点了一份可口的菜，其实背后是相应的总管，带领着很多员工，买原材料的买原材了，库管的库管、厨房打杂的打杂，总之，在你点菜的时候，锅碗瓢盆、油盐酱醋、猪肉牛肉大白菜都准备好，甚至洗好，切好了，你一点，大厨立马挥动大勺，很快做好菜，由前台服务员与你端上来而已。

其实，作位一枚IT男、技术工程师、数据专家，调度这个词语，从来都没离开过你，它经常出现在你方案当中，你用的工具当中。在一张张技术架构图中，经常有一个大大的方框，叫作业调度，出现在最下边、最左边或者最右边，贯穿着整个数据逻辑层。在你用的工具当中，比如ETL工具、BI工具，里边一般都有工作流（它就是调度）、调度器这样的模块。实际上，只要在整个应用体系后台，调度这样的技术体系，随处可见，只是因为你的专注度不同，有时你对它视而不见而也。

没错，这个世界很复杂，技术世界也同样复杂，生命有限，精力有限，你要专注，调度是什么鬼与我无关。但是，你在专注你的领域的同时，一定要关注背后的简单逻辑。数据，不论是小数据，还是大数据，都是未来的生产资料，我们对其关注的核心，不外乎就是怎么用的问题。今天，我们可能更多在思索数据该怎么用，发挥什么样的价值，而大量的数据还在数据生产原地停留，睡觉。如果，有一天，我们找到了更多数据的应用方法，那么，大量的数据一定会被唤醒，而整个社会数据应用的后台，一定是一片极具繁荣的数据准备场景。而作为数据准备的调度总长，你还不认识它吗？