Narrow waist for Network and Data

在计算机网络中,有一个叫做“窄腰”的概念。

这个概念的出现解决了一个关键问题:在任何给定的网络设备上,想象一个堆栈,底层硬件层和顶层软件层。中间可能会存在各种网络硬件;类似地,也存在各种软件和应用程序。需要一种方法来确保无论硬件如何,软件仍然可以连接到网络; 无论软件如何,网络硬件都知道如何处理网络请求。

在网络中,窄腰的角色由互联网协议(IP)扮演,它是为局域网设计的底层联网协议和更高级别的应用程序和传输协议的公共接口。(这是一个很好的解释。)而且(在一个广泛的过度简化)中,这个公共接口成为了计算机的通用语言,使网络互连,设备进行通信,而这个“网络网络”可以发展成为今天丰富多样的互联网。

我们认为,这等同于SQL已成为数据分析的“窄腰。

我们生活在一个数据正在成为“世界上最宝贵资源”的时代(”
“经济学人”,2017年5月)。我们看到了Cambrian 的专业数据库(OLAP,时间序列,文档,图表等),数据处理工具(Hadoop,Spark,Flink),数据总线(Kafka,RabbitMQ)等的红海。还有更多的应用程序需要依赖这种数据基础设施,无论是第三方数据可视化工具(Tableau,Grafana,PowerBI,Superset),Web框架(Rails,Django)还是定制的数据驱动应用程序。

像网络一样,我们有一个复杂的堆栈,底层的基础设施和顶部的应用程序。通常,我们最终编写了大量的胶水代码,使此堆栈工作。但是胶水代码可能很脆弱:需要维护和贴合。

我们需要的是一个公共接口,允许这个堆栈的各个部分相互通信。这个行业已经标准化了。它能让不同层级之间的通信阻碍降到最小。

这就是SQL的力量。和IP一样,SQL也是一个公共接口。

但事实上,SQL 比 IP 复杂的多。因为数据还需要被人类分析。而且SQL创建者最初给它设定的目标就是可读性要高。

SQL完美吗?不,但这是社区中的大多数人都已经了解了这语言。虽然已经有工程师在开发更和谐的语言界面,但这些系统最终会连接到哪里?还是SQL。

所以在堆栈的顶部还有一层。那一层就是我们。

SQL回归

SQL已经回来了。不仅仅是因为使用NoSQL工具编写胶水代码是恼人的。不仅仅是因为培训大家学习无数新的语言成本是巨大的,不只是因为统一标准的重要性。

而且也因为世界充满了数据。它围绕着我们,束缚着我们。首先,我们依靠我们的人类感官和感觉神经系统来处理它。现在我们的软件和硬件系统也越来越智能,可以帮助我们。随着我们收集的数据越来越多,可以更好的让我们了解这个世界,系统的复杂性,存储,处理,分析和可视化的需求只会继续增长。

我们生活在一个脆弱的世界和一百万个不同界面的世界。或许我们可以继续拥抱SQL。一切都遵循能量守恒定律。

posted @ 2017-11-08 12:42  akirajay  阅读(497)  评论(0编辑  收藏  举报