网络统计数据格式
统计数据是对自然和社会现象进行统计工作的结果,统计研究离不开统计数据。可以说凡是人们用某种载体记录下来的、能反映自然界和人类社会某种信息的,就可称之为数据。步入现代信息社会,信息的种类和数量越来越丰富,载体也越来越多。数字是数据,文字是数据,图像、音频、视频等都是数据。统计方法和技术被广泛运用于这些多样化的数据,统计数据的含义已经大大超出传统范畴,通过网络技术构建功能强大的统计数据处理和展示平台势在必行。
在计算机网络技术支撑下进行统计工作,统计数据必须便于计算机软硬件在线或离线进行存储、处理、交换和展示。借鉴计算机技术广泛运用的数据格式和规范,网络统计数据分为:
1、格式化字符:将统计数据按指定特殊字符进行有规律地标记分割,使得计算机容易识别和转换。
例如如某种商品价格和销售量统计数据如下表:
价格(元) | 87 | 76 | 86 | 69 | 85 | 70 | 78 | 83 | 88 | 78 |
销量(台) | 23 | 34 | 20 | 25 | 21 | 28 | 21 | 23 | 19 | 24 |
表1中的价格和销售量数据可以按格式组合书写为:
"87,76,86,69,85,70,78,83,88,78|23,34,20,25,21,28,21,23,19,24"
这里我们分别采用“,”为表格数据列分割符、“|”为表格数据行分割符。
2、数组:所谓数组,就是相同数据类型的元素按一定顺序排列的集合,就是把有限个类型相同的变量用一个名字命名,然后用编号区分他们的变量的集合,这个名字称为数组名,编号称为下标。组成数组的各个变量称为数组的分量,也称为数组的元素,有时也称为下标变量。数组是在程序设计中,为了处理方便, 把具有相同类型的若干变量按有序的形式组织起来的一种形式。这些按序排列的同类数据元素的集合称为数组。
以流行的网页设计脚本语言JavaScript(JS)为例,表1中价格数据可以用一维数组表示:
var myArray=[87,76,86,69,85,70,78,83,88,78];
在JavaScript脚本语言中,“[ ]”为数组标记,意思是把价格数据作为数组赋值给变量myArray。 表1中价格和销售量数据可以用二维数组表示:
var myArray=
[
[87,76,86,69,85,70,78,83,88,78],
[23,34,20,25,21,28,21,23,19,24]
];
文本字符也可以用数组表示,但文本要用单引号或双引号括起来,如:
var myText=['中国','美国','英国','法国','德国'];
3、JSON(JavaScript Object Notation): 一种轻量级的数据交换格式,JSON采用完全独立于语言的文本格式,但是也使用了类似于C语言家族的习惯(包括C、C++、C#、Java、JavaScript、Perl、Python等)。这些特性使JSON成为理想的数据交换语言。 易于人阅读和编写,同时也易于机器解析和生成(网络传输速率)。
从结构上看,所有的数据(data)最终都可以分解成三种类型:
- 第一种类型是标量(scalar):也就是一个单独的字符串(string)或数字(numbers),比如"北京"这个单独的词;
- 第二种类型是序列(sequence):也就是若干个相关的数据按照一定顺序并列在一起,又叫做数组(array)或列表(List),比如"北京,上海";
- 第三种类型是映射(mapping):也就是一个名/值对(Name/value),即数据有一个名称,还有一个与之相对应的值,这又称作散列(hash)或字典(dictionary),比如"首都:北京"。
数据构成的最小单位竟是如此的简单!在编程语言中,只要有了数组(array)和对象(object)就能够储存一切数据了。21世纪初,Douglas Crockford寻找一种简便的数据交换格式,能够在服务器之间交换数据。当时通用的数据交换语言是XML(Extensible Markup Language,可扩展标记语言),但是Douglas Crockford觉得XML的生成和解析都太麻烦,所以他提出了一种简化格式,也就是JSON。
JSON采用完全独立于语言的文本格式,但是也使用了类似于C语言家族的习惯(包括C、C++、C#、Java、JavaScript、Perl、Python等)。这些特性使JSON成为理想的数据交换语言。易于人阅读和编写,同时也易于机器解析和生成(网络传输速率)。
Json的规格比较简单,只用一个页面几百个字就能说清楚,而且Douglas Crockford声称这个规格永远不必升级,因为该规定的都规定了。JSON数据格式规则:
- 并列的数据之间用逗号(", ")分隔;
- 映射用冒号(": ")表示;
- 并列数据的集合(数组)用方括号("[]")表示;
- 映射的集合(对象)用大括号("{}")表示。
上面四条规则,就是Json格式的所有内容。比如,下面这句话:
"北京市的面积为16800平方公里,常住人口1600万人;上海市的面积为6400平方公里,常住人口1800万。"
写成json格式就是这样:
[
{"城市":"北京","面积":16800,"人口":1600},
{"城市":"上海","面积":6400,"人口":1800}
]
如果事先知道数据的结构,上面的写法还可以进一步简化:
[["北京",16800,1600],["上海",6400,1800]]
由此可以看到,json非常易学易用。所以,在短短几年中,它就取代xml,成为了互联网上最受欢迎的数据交换格式。
4、可扩展标记语言(XML):XML是一种用于标记电子文件使其具有结构性的标记语言。在电子计算机中,标记指计算机所能理解的信息符号,通过此种标记,计算机之间可以处理包含各种的信息比如文章等。它可以用来标记数据、定义数据类型,是一种允许用户对自己的标记语言进行定义的源语言。可扩展标记语言可以对文档和数据进行结构化处理,从而能够在部门、客户和供应商之间进行交换,实现动态内容生成,企业集成和应用开发。XML可以使我们能够更准确的搜索,更方便的传送软件组件,更好的描述一些事物。例如电子商务交易等。
XML基本语法规则:
- XML是区分大小写的;
- 所有元素的起始和结束标注必须成对出现,且要正确嵌套;
- 元素属性必须用引号引起来,单、双引号都可以;
- XML名不能包含空格;
- XML名不能以数字开始,但可包含数字。
XML文档片段:
<Root>
<user id="001">
<admin>
<name>fred</name>
<password>150150</password>
<age>22</age>
</admin>
<admin>
<name>yucai</name>
<password>123456</password>
<age>21</age>
</admin>
<admin>
<name>yuhan</name>
<password>123654</password>
<age>22</age>
</admin>
<admin>
<name>meiy</name>
<password>235</password>
<age>26</age>
</admin>
</user>
</Root>
更多参考资料参见:银河统计网之统计数据
©哈尔滨商业大学 银河统计工作室
银河统计工作室成员由在校统计、计算机部分师生和企业数据数据分析师组成,维护和开发银河统计网和银河统计博客(技术文档)。专注于数据挖掘技术研究和运用,探索统计学、应用数学和IT技术有机结合,尝试大数据条件下新型统计学教学模式。