煤化工行业人工智能开发平台

煤化工行业人工智能开发平台(简称平台)利用神经网络架构搜索与预训练模型迁移学习技术,针对煤化工领域的计算机视觉数据集,自动寻找适用于该数据集的最优模型,并结合各种超参数组合对模型进行优化。平台支持可视化开发,将数据导入、数据管理、模型开发、模型部署的全生命周期流程全部可视化,用户不需要写任何代码就可以完成智能应用的开发和部署。使得无人工智能应用开发经验的用户也能够通过该平台开发煤化工行业的计算机视觉应用,并自动完成模型的部署,从而提高工作效率,降低人工智能应用的开发门槛。

煤化工行业人工智能开发平台主要包括数据管理、模型开发、模型调优、模型部署和模型管理等功能,如下所示。

1.数据管理

本功能实现包括数据上传、数据标注以及数据集划分等功能。数据上传功能实现用户数据上传到平台。数据标注暂时支持手动标注,需要用户自己手动对计算机视觉数据集进行标注。数据集根据用户自定义输入比例进行划分,将数据集划分为训练集和验证集。其中训练集供模型搜索和调优,验证集用于训练时验证模型的好坏。

2.模型开发

模型开发支持业界当前最流行的深度学习框架Pytorch、TensorFlow,以满足用户不同的开发需求。模型生成设置时,可视化界面提供模型生成的各选项,包括模型搜索空间、优化算法。可视化的智能模型设计操作界面提供不少于两类的智能算法,对煤化工领域的智能应用开发提供不同的选择。同时提供多种常用的深度学习模型,用户可以选择预训练模型也可以进行神经架构搜索。 

3.模型优化

提供智能模型压缩优化功能,包含模型量化、模型剪枝等,支持自动模型压缩优化。

(1)模型量化:模型由大量的浮点型权重组成,如果能用float32替代原有的float64表示,模型就近乎减小一倍的体积,量化也是最容易实现的一种压缩方式。

(2)模型剪枝:模型的构成是由许多浮点型的神经元相连接,每一层根据神经元的权重将信息向下传递。但是有一些神经元的权重非常小,这类神经元对整个模型的加载的信息的影响也就微乎其微。如果可以把这些权重较小的神经元删减掉,既减少了模型大小,也不会对模型的效果带来大的影响。

4.模型部署

支持智能模型的统一部署管理,提供两种智能模型部署方式,包括在线服务发布和离线安装包部署。在线服务发布支持对智能模型的引擎封装并快速部署上线,封装后的模型可对外直接提供服务,支持高并发、低延时、弹性伸缩等功能。支持生成简易化安装的智能服务运行包,用户可以离线一键安装。

5.模型管理

提供模型注册和模型版本管理等功能,支持从分租户、分类别、分版本、分视图等四个方面对深度学习模型进行管理。提供模型门户界面,支持模型的编目管理,提供模型详细信息的预览和下载功能。支持注册、发布数据业务领域专用模型。支持数据交换接口和转换适配工具。提供模型资源和调用功能,支持API接口获取与交互操作界面,支持统一的访问入口。




煤化工行业人工智能开发平台(简称平台)利用神经网络架构搜索与预训练模型迁移学习技术,针对煤化工领域的计算机视觉数据集,自动寻找适用于该数据集的最优模型,并结合各种超参数组合对模型进行优化。平台支持可视化开发,将数据导入、数据管理、模型开发、模型部署的全生命周期流程全部可视化,用户不需要写任何代码就可以完成智能应用的开发和部署。使得无人工智能应用开发经验的用户也能够通过该平台开发煤化工行业的计算机视觉应用,并自动完成模型的部署,从而提高工作效率,降低人工智能应用的开发门槛。

煤化工行业人工智能开发平台主要包括数据管理、模型开发、模型调优、模型部署和模型管理等功能,如下所示。

1.数据管理

本功能实现包括数据上传、数据标注以及数据集划分等功能。数据上传功能实现用户数据上传到平台。数据标注暂时支持手动标注,需要用户自己手动对计算机视觉数据集进行标注。数据集根据用户自定义输入比例进行划分,将数据集划分为训练集和验证集。其中训练集供模型搜索和调优,验证集用于训练时验证模型的好坏。

2.模型开发

模型开发支持业界当前最流行的深度学习框架Pytorch、TensorFlow,以满足用户不同的开发需求。模型生成设置时,可视化界面提供模型生成的各选项,包括模型搜索空间、优化算法。可视化的智能模型设计操作界面提供不少于两类的智能算法,对煤化工领域的智能应用开发提供不同的选择。同时提供多种常用的深度学习模型,用户可以选择预训练模型也可以进行神经架构搜索。 

3.模型优化

提供智能模型压缩优化功能,包含模型量化、模型剪枝等,支持自动模型压缩优化。

(1)模型量化:模型由大量的浮点型权重组成,如果能用float32替代原有的float64表示,模型就近乎减小一倍的体积,量化也是最容易实现的一种压缩方式。

(2)模型剪枝:模型的构成是由许多浮点型的神经元相连接,每一层根据神经元的权重将信息向下传递。但是有一些神经元的权重非常小,这类神经元对整个模型的加载的信息的影响也就微乎其微。如果可以把这些权重较小的神经元删减掉,既减少了模型大小,也不会对模型的效果带来大的影响。

4.模型部署

支持智能模型的统一部署管理,提供两种智能模型部署方式,包括在线服务发布和离线安装包部署。在线服务发布支持对智能模型的引擎封装并快速部署上线,封装后的模型可对外直接提供服务,支持高并发、低延时、弹性伸缩等功能。支持生成简易化安装的智能服务运行包,用户可以离线一键安装。

5.模型管理

提供模型注册和模型版本管理等功能,支持从分租户、分类别、分版本、分视图等四个方面对深度学习模型进行管理。提供模型门户界面,支持模型的编目管理,提供模型详细信息的预览和下载功能。支持注册、发布数据业务领域专用模型。支持数据交换接口和转换适配工具。提供模型资源和调用功能,支持API接口获取与交互操作界面,支持统一的访问入口。