华为云MVP高浩:打破AI开发瓶颈,解决数据、算法、算力三大难题

时间:2024-03-01 21:57:54
摘要:在高浩看来,大量的数字蓝领人才和AI应用开发人员构成了当前AI行业发展人才之基,这也为高校学生就业初期从事的工作指明了方向,而华为ModelArts平台在教育领域有着天然的数据、算法优势,非常适合AI教学。

高浩,华为云MVP,南京航空航天大学硕士毕业,曾就职于某研究所集团公司。先后从事大数据开发与数据挖掘工作,擅长机器学习和数据分析。现任江苏知途教育科技有限公司人工智能课程研发负责人,“1+X” 计算机视觉应用开发认证(初级,中级)副主编,高级认证讲师。

从人工智能被写入*工作报告,到如今高校遍地开花的人工智能专业,AI作为下一阶段科学变革浪潮的新引擎,正在渗透到各行各业,当行业进入高速发展期,市场对高端人才的需求和依赖性也随之攀升。

高浩一直从事大数据开发与数据挖掘工作,擅长机器学习和数据分析,现在担任江苏某教育科技公司的人工智能课程研发负责人。

在他看来,大量的数字蓝领人才和AI应用开发人员构成了当前AI行业发展人才之基,这也为高校学生就业初期从事的工作指明了方向,而华为ModelArts平台在教育领域有着天然的数据、算法优势,非常适合AI教学。

为什么选择ModelArts?

AI应用的开发非常复杂,主要体现在开发流程冗长、烦琐,包括数据准备、算法开发、模型开发、应用生成、部署和维护等多个环节,链路很长,每个环节都需要大量人力和计算资源的投入。

AI开发需要的实验环境或者平台资源昂贵,传统的实践教学体系与市场岗位、企业项目脱、产业发展、以及个人职业发展脱节。

除此之外,AI的三个关键要素:算法、算力和数据,一方面推动了AI技术的应用落地,但也提高了学习上手的门槛。

考虑到这些难题,高浩在调研了多家厂商的开发平台后,最终选择了一站式AI开发平台ModelArts。“算法可以采用平台中已有的通用算法,缩短建立时间,降低技术人员的入门门槛。算力可以根据按需方式租用GPU服务器,降低研究的前期投入。”

高浩表示,ModelArts的教学指南非常完整,它系统地介绍了AI应用开发全流程及其子流程,包括数据准备、算法选择和开发、模型训练、评估和调优等,以及人工智能应用开发场景化实践。

通过一整套工具链和方法传递,每个开发者都可以借助ModelArts在具体业务场景下更快、更高效、更低成本地开发AI应用,从而更好地解决实际问题。高浩认为,这样从教学实施角度上也更有普适指导意义。

为了进一步阐释ModelArts的易用性,高浩详细演示了一个基于ModelArts和HiLens的云、边、端协同的AI应用开发案例。

快速上手ModelArts

ModelArts 的“一站式”体现在它囊括了AI开发的各个环节,包括数据处理、算法开发、模型训练、模型部署等等,而且面向不同经验的开发者,提供相匹配的使用流程。

内容方面,ModelArts支持图像分类、图像检测、视频分析、语音识别、产品推荐、异常检测等多种AI应用场景。功能方面,它支持从数据处理到算法开发、训练、部署、开发流程管理等多种功能。如下图所示:

其中,核心部分主要包括数据处理和模型的管理。

1、数据的处理

在ModelArts中,我们都是以数据集为数据基础,进行模型开发或训练等操作的。创建数据集前需要获取访问OBS的权限。

目前,ModelArts支持如下9种类型的数据集,包含图片、音频、文本和其他类别:

• 图像分类

• 物体检测

• 声音分类

• 语音内容

• 语音分割

• 文本分类

• 命名实体

• 文本三元组

• *格式

针对创建好的数据集,可以执行标注数据、发布、版本管理、修改、导入和删除等操作。

以图像分类为例,只需要给图片添加相应的标签即完成标注。物理检测的话,则需要在图片中使用标注框来框出标注对象,并打上标签,其余与图像分类相似。

此处强调一下命名实体数据集,命名实体场景是针对文本中的实体片段进行标注,如“时间”、“地点”等。与文本分类不同的是,它需对片段进行标注,而不是全文。

文本三元组标注则适用于标注语句当中形如(主语/Subject,谓词/Predicate,宾语/Object)结构化知识的场景,标注时不但可以标注出语句当中的实体,还可以标注出实体之间的关系,其在依存句法分析、信息抽取等自然语言处理任务中经常用到。

声音方面,主要是根据播放内容,在 “语音内容”文本框中填写音频内容,完成标注。

2、模型训练管理

数据处理完成后,接下来就是模型的训练。ModelArts可以基于不同的数据选择不同规格的资源池(CPU或GPU),根据用户选择的数据量和资源不同,模型训练通常耗时几分钟到几十分钟不等。

同时,ModelArts也支持查看模型训练的情况并及时调整模型参数。

除支持用户自己开发的模型外,ModelArts还提供了AI市场算法,开发者能直接使用已有的算法,再通过简单的调参得到一个满意的模型。

模型训练之后,ModelArts模型管理可导入所有训练版本生成的模型,统一管理迭代和调试的模型,同时它还支持从模板、容器镜像以及OBS等场景导入模型,方便模型的部署上线。

另外,ModelArts提供了模型转换功能,可以将已有的模型转换成所需格式,以便应用于算力和性能更高的芯片上。举个例子,用Tensorflow框架训练的模型,使用转换功能可转换成om格式,即可在昇腾芯片上部署运行。

端侧看HiLens,让AI应用快速落地

学会用ModelArts做好模型训练后,端侧的开发平台HiLens可以让AI应用落地更简单,高浩也谈了谈他使用HiLens的感受。

HiLens是端云协同多模态AI开发应用平台,它提供简单易用的开发框架、开箱即用的开发环境、丰富的AI技能市场和云上管理平台,对接多种端侧计算设备如HiLens Kit,支持视觉及听觉AI应用开发、AI应用在线部署、海量设备管理等。

高浩表示,购买HiLens Kit的普通用户如果需要快速安装技能到设备,使其具备AI能力,可以到技能市场购买技能,基本流程如下:

对于具备编程能力的用户,也可以选择自己创建技能。

购买或者创建好技能后,就是对其进行部署,具体可以前往数据管理查看技能效果。

基于HiLens,高浩准备开发了一个检测施工现场作业人员是否佩戴安全帽的应用。

他在创建好相对应的技能后,使用HDMI视频线连接HiLens Kit视频输出端口和显示器,然后点击后台管理中的启动技能,当状态变为“运行中”,表明技能成功运行在端侧设备上。

最后应用的结果如下:

总的来说,开发这样一个检测工地施工安全的应用其实很简单,先用云端的ModelArts进行数据处理和模型训练,然后再借助HiLens将模型部署到端侧,最后就能得到一个可以落地的AI应用。

本文分享自华为云社区《【智能时代,AI无处不在】华为云MVP高浩:打破AI开发瓶颈,解决数据、算法、算力三大难题》,原文作者:我们都是云专家。

 

点击关注,第一时间了解华为云新鲜技术~