系统论——黑箱方法与机器学习（六）

在人类认识世界、从事科学研究的时候，常常会遇到这样的情况，有一些我们所要认识或控制的客体，由于种种条件的限制，其内部的结构一时不能够 (不允许或不容易，被我们直接观测到，仿佛是一个既不透明且又密封的箱(盒)子，其复杂的结构和神妙的机理，珍藏其中，人们无法从外部或无法打开来直接探察其内部的奥秘。例如人类思维着的大脑，直至目前，人们还不能直接从外部，或通过生理解剖窥视其内部构造细节和思维机理。
系统论是一种研究复杂系统的方法，通过理解系统的整体性和部分之间的相互作用来分析和解决问题。在系统论中，黑箱方法是一种不需要了解系统内部结构和机制，仅通过输入输出关系来研究系统行为的方法。近年来，黑箱方法与机器学习的结合，为系统论的应用提供了新的方向。机器学习通过从大量数据中学习模式和规律，可以在无需明确了解系统内部细节的情况下预测和优化系统行为，这与黑箱方法的思路高度契合。

一、白箱、灰箱和黑箱

对于一种内部结构尚不能直接观测，只能从外部去认识的客体系统，控制论创始人维纳起先称它为“闭盒”(Closed Box)，后来艾什比、维纳又称它为“黑箱”(Black Box，又译出“暗盒”)。黑箱这种认识对象，在现实中简直是随处可见。例如：商店中待顾客选购的电视机；电工中被封闭在盒子内的“四端网络”；军事上不准拆开而要对其内部故障作出判断的“保密的密封投弹瞄准器”；门诊医生面前就诊的“患脑震伤或失语症的病人”；一批受到心理学家跟踪观察的儿童；国家欲实行计划控制的人口系统；如此等等，都可称为“黑箱”。
黑箱的概念是相对的。同一研究对象，对于不同的认识主体，由于主体拥有的经验、技术手段及认识任务的不同，可以是“黑箱”，也可以不是；在不同的历史时期，由于人类认识能力的提高，某一客体开始是黑箱，后来可能是“灰箱”(Grey Box，其内部结构可部分直接观测的系统)，或是“白箱”(White Box，其内部结构可以直接观测的系统)。认识对象是否是黑箱，不仅取决于客体本身，同时也与认识主体有关。认识对象的黑箱属性，是认识过程中主体与客体相互关系的一种反映。可见，“黑箱”并不是对现实某些事物的生动形象的比喻，而是具有认识论和方法论意义的概念。

黑箱理论是控制论重要的基础理论，很多人都听说过却不了解具体的内容。实际上，谈到黑箱理论，就不得不提到白箱和灰箱。就如大家所直观感知的，黑箱指的就是黑色完全看不到里面的箱子，白箱可以算完全透明的箱子。黑箱理论的基点是认为世界上各个事物之间都是相互联系、彼此密不可分的。当一个因素改变，就可能引起其他的事物发生变化，如果因此控制该变量，也就能观测其他的改变。黑箱理论是指对特定的系统开展研究时，人们把系统作为一个看不透的黑色箱子，研究中不涉及系统内部的结构和相互关系，仅从其输入输出的特点了解该系统规律，用黑箱方法得到的对一个系统规律的认识。在控制论中，通常把所不知的区域或系统称为“黑箱”，而把全知的系统和区域称为“白箱”，介于黑箱和白箱之间或部分可察黑箱，则被称之为“灰箱”。一般来讲，在社会生活中广泛存在着不能观测却可以控制的“黑箱”问题。比如，我们每天都看电视，但我们并不了解电视机的内部构造和成像原理，对我们而言，电视机的内部构造和成像原理就是“黑箱”。

二、黑箱理论和方法

为了研究这个黑箱，应该使用哪些一般的方法呢？黑箱内部的那些性质可以探出来，哪些根本探不出来？这就成了认识论和方法论的重要课题，由此发展成一种研究事物的黑箱方法，形成了黑箱理论。很早以前，人们为了研究黑箱这类认识对象，就不自觉地采取了现今被称为“黑箱方法”的一些基本原则：不打开黑箱，而是利用外部观测，考察对象与周围环境的相互联系来了解黑箱的特征和功能，猜测其内部构造和机理。我国人民通过长期考察人体与生活条件的联系，考察人体对各种刺激的反应，逐渐熟悉了人体的各种功能，创立了关于人体生命控制系统的经络学说，总结出一套“望、闻、切、问”，“审证求因”，“辨证施治”的诊断与治疗医学技术和理论，就是典型的事例。但是，自觉地把“黑箱”概念引入方法论领域，把黑箱方法上升为一种具有普遍意义的方法，并赋予它现代科学形态，则应归功于控制论的创始人维纳和艾什比。

2.1黑箱系统的辨识

控制论所研究的对象是技术、生命、社会的控制系统，这是一个极为复杂而又高度活动性的系统，运用近代科学历形成的传统方法，即把复杂的事物分解为简单的元素。把整体肢解为部分,用简单事物来说明复杂事物，用部分来说明整体，显然是无能为力的。例如人脑这个系统，仅大脑皮层就有一百多亿个神经元，每个神经元平均又与约一千个其他神经元相联接，要弄清每一个元素及每一个具体联系几乎是不可能的，即使弄清了也不能简单地说明人脑的整体功能。维纳等人不愧是富于创新精神的科学家。他大胆冲破了近代科学所形成的传统的方法论思想的束缚。继承和发展了古代本质上是从整体、从整体与外界环境的相互联系中研究事物的辩证思维方式，又吸收了近代科学实践中所形成的一套行之有效的精密的科学研究方法(如实验方法、数学方法、模拟方法等)，并且引进入“系统”、“信息”等新的概念，从而形成了适合于控制论研究对象的新方法——控制论黑箱方法。

黑箱方法，也称“黑箱系统辨识法”。通过观测外部输入黑箱的信息和黑箱输出的信息的变化关系，来探索黑箱的内部构造和机理的方法。“黑箱”指内部构造和机理不能直接观察的事物或系统。黑箱方法注重整体和功能，兼有抽象方法和模型方法的特征。通过外部观测和试验，建立输入和输出信息之间的关系，去推断“黑箱”的功能和特性，从而探索出其结构和机理，弄清其全部运动规律的方法，就是黑箱辨识法。社会经济系统是一个极其错综复杂的大系统，除了可观察变量和可控制变量之外，还有许多不可观察和尚不可控制的变量。从这个意义上，可以把社会经济系统视为“黑箱”或“部分可察黑箱” (亦称“灰箱”)。黑箱理论最典型的代表就是卡尔曼经典控制理论，它建立在输入-输出系统的基础上的，龙头当然要看住，龙尾巴当然要捏住，但龙身体为什么就要忽略呢？要是能够看住龙身体，甚至操纵龙身体，也就是说，不光要控制龙尾巴，控制指令还要直接传到龙身体里的那些人，那岂不更好？这就是状态空间的概念：将一个系统分解为输入、输出和状态。输出本身也是一个状态，或者是状态的一个组合。在数学上，卡尔曼的状态空间方法就是将一个高阶微分方程分解成一个联立的一阶微分方程组，这样可以使用很多线性代数的工具。

2.2 黑箱理论的应用

对于黑箱系统，我们可能并不知道，事物真正运行的原理是什么。我们只能看到输入和输出。对于一个电商网站，输入是用户进入网站进行浏览，输出是订单。那用户在浏览网页所做的行为和决策，管理活动、工厂生产、寻医问药等，都可以看作是黑箱。通过监控和分析这些电商用户的消费行为这个黑箱系统，从而预测和管理该输入和输出。

在黑箱上打开几个窗口，来监控黑箱内部的运行。这个窗口就是指标，以下图片来自于《格鲁夫给经理人的第一课》。

“一个好的指标应该是用来衡量具体且可量化的事物”。总结起来，指标要符合之前提到的SMART原则。必须是具体的（Specific）；必须是可以衡量的（Measurable）；必须是可以达到的（Attainable）；是要与其他目标具有一定的相关性(Relevant)；必须具有明确的截止期限（Time-bound）。

2.3 黑箱理论的应用场景

黑箱方法与机器学习的结合在多个领域展现出广阔的应用潜力：

工业自动化：通过机器学习模型分析工业设备的传感器数据，可以实现设备的预测性维护，减少故障率，提高生产效率。
智能城市：在智慧城市的建设中，机器学习可以用于交通管理、能源管理和环境监测等领域，通过分析城市中的各类数据，实现城市资源的优化配置。
医疗健康：在医疗领域，机器学习模型可以用于疾病诊断、药物研发和个性化治疗，通过分析患者的医疗数据，为医生提供决策支持。
金融科技：机器学习在金融行业中的应用包括信用评分、风险管理和投资策略优化，通过对市场数据的分析和预测，帮助金融机构更好地管理风险和提高盈利能力。

黑箱方法与机器学习的结合为我们提供了一种强大的工具，用于理解和管理复杂系统。随着技术的进步和应用的深化，这一方法将不断推动各个领域的发展，为解决现实世界中的复杂问题提供新的思路和手段。

三、机器学习概述

AlphaGo战胜了人类顶尖围棋选手，无人驾驶汽车开始在公路上运行，擅长聊天的机器人可以成为你的朋友，人工智能离我们越来越近，带来很多希望的同时也引起了不少的忧虑和质疑，因为让人摸不透的复杂算法就像是一个黑箱。那么这个黑箱究竟应不应该被打破？又该如何打破呢？
今天各类人工智能相关系统以深度学习算法为突出代表，凭借当今计算机系统及云计算平台提供的强大计算能力，以及欣欣向荣的传统和移动互联网、物联网所带来的日益丰富多样的数据资源，为人们提供了一幅可信的发展图景，相应的算法已在许多领域付诸使用，引起了无限热情期盼，也带来了众多质疑和担忧。如今，深度学习已经贯穿于我们的生活，无论是汽车自动驾驶、AI 医学诊断，还是面部、声音识别技术，无一没有 AI 的参与。然而，尽管人们早已明了深度学习的输入和输出，却对其具体的学习过程一无所知。近日，针对这一问题，奥本大学（Auburn university）计算机科学和软件工程副教授 Anh Nguyen 对图像识别的深度学习算法进行了逐点剖析；无独有偶，加州大学欧文分校（UC Irine) 计算机科学副教授 Sameer Singh 正在制作归因图（attribution maps)，以帮助理解为何自然语言算法懂得与你交谈，并说出一些涉及种族主义的话。

3.1机器学习就是黑箱学习

机器学习（machine learning）是人工智能的一种形式，它使用大量的数据来训练自己对某些问题形成算法。例如，向机器提供成千上万张标有“猫”的照片，它就能学会识别“猫”这一生物。Nguyen 说，机器学习的想法可以追溯到 20 世纪 50 年代，但直到最近，计算机才能够有效地处理大量数据，并得出精确结果。到 20 世纪 90 年代，机器学习算法仅使用简单的概念，但很明显，现实生活中存在各种复杂的问题，从而需要更复杂的算法，这就是深度学习的意义所在。与机器学习不同，深度学习（deep learning）不需要结构化数据作为基础，利用人工神经网络（artificial neural net），即多个神经元一起工作，通过这些“神经元”来考虑数据并对数据进行分类。神经网络非常擅长图像识别，当向它们提供足够的数据后，他们可以挑出人眼看不见的图案或差异。利用这一点，深度学习可以实现自动驾驶汽车的行人侦查或肿瘤筛查。但是，当出现超出其参数范围的输入时，神经网络也会崩溃。在特定的，狭窄定义的任务中，深度学习通常优于人类，但是一旦神经网络失效时，往往会导致严重的后果。如果错误识别的图像发生在肿瘤患者身上或自动驾驶车上时，后果可能是致命的。但问题是这些系统是如此的密集和复杂，人类无法理解它们，对人类来说，深度学习如同一个科技黑箱。

3.2 机器学习的迅猛发展

机器学习是一种基于数据的学习方法，旨在让计算机通过自动分析和学习数据来识别模式、做出预测或决策。其核心系统逻辑包括数据输入、特征提取、模型训练、预测与决策。首先，机器学习系统通过收集大量的数据作为输入，这些数据可以是结构化的（如表格数据）或非结构化的（如图像、文本）。接着，系统进行特征提取，将原始数据转化为可用于模型训练的特征。通过训练过程，机器学习算法根据输入数据调整其内部参数，形成一个能够捕捉数据模式的模型。最后，该模型被用于预测新数据或辅助决策。
机器学习的发展速度极为迅猛，主要得益于以下几个方面：

计算能力的提升：随着计算机硬件（特别是GPU和TPU）的进步，深度学习模型的训练速度和效率大幅提升。这使得以前无法处理的大规模数据集和复杂模型成为可能。
大数据的可获得性：互联网和物联网的发展产生了海量数据，这些数据为机器学习模型提供了丰富的训练素材。数据的多样性和规模有助于提升模型的泛化能力。
算法创新：近年来，机器学习算法（如深度学习、强化学习和生成对抗网络）的不断创新，大幅提高了模型在图像识别、自然语言处理等任务中的表现。
开源工具和社区：如TensorFlow、PyTorch等开源框架的普及，使得研究人员和开发者能够更便捷地构建和测试机器学习模型，推动了该领域的快速发展。

3.3机器学习的应用场景

机器学习的应用已经渗透到多个行业和领域，改变了传统的工作方式：

医疗健康：通过分析医疗影像、基因数据和电子病历，机器学习帮助医生进行疾病诊断、个性化治疗和药物研发。AI辅助的诊断系统已经能够在某些特定任务中超过人类医生的表现。
金融服务：机器学习被广泛应用于信用评分、风险管理、欺诈检测和自动交易。通过分析金融数据和市场动态，机器学习算法能够有效识别风险和机遇。
自动驾驶：在自动驾驶汽车中，机器学习用于道路识别、物体检测、驾驶决策和路径规划。通过实时学习和适应环境变化，自动驾驶系统能够提高行驶安全性和效率。
电商与推荐系统：机器学习在电商平台中用于个性化推荐，根据用户的历史行为和偏好，推荐产品、内容和服务，以提高用户体验和销售转化率。

机器学习的广泛应用不仅提升了各行业的效率和创新能力，还推动了新技术和新产业的发展。随着技术的进一步成熟和普及，机器学习将在更多领域中发挥其潜力，为社会和经济带来深远的影响。随着算法变得更加复杂、更加强大和不透明化，围绕黑箱的问题也进一步深入到哲学上：当我们人类自己的神经网络仍然神秘时，要求AI神经网络完全透明是公平的吗？人类本身的神经网络也是一个黑箱。我们虽然知道一些物理结构，知道它们是如何工作，但对“思想”和“意识”的确切含义仍不清楚。接下来我们是否应该思考，机器模仿人脑并继承其精确、灵活等优点的同时，是否也继承了人性中的偏见？当然，随着未来科学家们在深度学习领域中不断取得的突破，由人类创造的 AI 黑箱终将变成“灰色”。

总结

黑箱方法也给探索系统结构奥秘指出了一条重要的途径。从工程技术到社会领域，从无生命到有生命系统，从宏观世界到微观世界，黑箱方法都有其用武之地。当然，黑箱方法同任何其他方法一样，也有局限性，黑箱方法强调从整体、从整体与外部环境联系中认识事物，而不去深究其内部结构和局部细节，这是它的长处，也是它的不足。结构与功能是辩证的统一，运用黑箱方法来研究系统的功能和行为特性时，由于完全不对其内部结构进行研究，必然不可能更深刻地认识系统的功能和行为特性的基础与本质，运用黑箱法来对系统的内在结构和机理进行推测和辨识时。也必须特别谨慎小心，切莫轻率从事。现代系统辨识理论指出：并非所有系统都可以从它的输入、输出完全确定其结构和参数。正确的态度应当是把黑箱方法与其他科学方法结合起来。取长补短，相得益彰。
黑箱方法与机器学习的结合，极大地扩展了系统论的应用范围。传统的系统分析方法依赖于对系统内部结构的详细了解，而黑箱方法则专注于输入输出的关系，使得复杂系统的研究变得更加灵活和高效。机器学习作为一种先进的黑箱方法工具，通过从大量数据中学习模式和规律，不仅能够实现复杂系统的预测和控制，还能够发现隐藏在数据背后的深层规律。
然而，黑箱方法和机器学习也面临一些挑战。例如，机器学习模型的解释性问题仍然是一个开放的研究课题。由于机器学习模型，特别是深度学习模型的复杂性，通常很难解释模型的决策过程。这在某些关键应用场景中，可能会限制其应用。此外，机器学习模型的训练依赖于大量的高质量数据，数据的可获得性和数据质量也是影响模型性能的重要因素。