第六步 模型的推理与部署

摘要

我们已经用神经网络训练出来了一套权重矩阵，那么在实际生产环境中如何使用这些权重矩阵呢？

如果需要将训练好的网络用到后台服务中，可以直接复用前面章节中的代码：先搭建网络，然后加载权重矩阵，最后调用前向计算即可。

但是如何在桌面端或手机端应用中使用这些权重矩阵呢？这是一个跨平台、跨语言的需求，这就引出了模型文件的概念，后面也直接简称为模型。

模型文件中不仅包含了所有的权重矩阵，还记录了该神经网络的数据流图。这样不同平台、不同语言都可以根据模型文件里的信息构建网络、加载权重矩阵、执行前向计算。

接下来本章先用前面训练好的权重矩阵搭建一个可以手工测试训练效果的应用。然后以问答的形式对模型文件进行介绍，并使用工具观察模型文件的内部结构。再然后以开放式神经网络交换（Open Neural Network Exchange，简称ONNX）格式为例，动手将前面训练好的模型保存为ONNX格式。最后以Windows平台为例，介绍如何在桌面应用中使用ONNX模型。