美团云深度学习平台-快速开始

云计算 waitig 748℃ 百度已收录 0评论

概述

本模块将会以经典的例子:MNIST手写数字识别 来带你快速入门DLS服务,并了解DLS的基本功能,包括:

  • 数据的存储与操作
  • 项目的概念与操作
  • 任务的基本操作

本文档中涉及的演示代码和数据集来源于网络,你可以在这里下载到:MNIST.zip(https://s3.meituan.net/v1/mss_0e5a0056f3b64f79aa4749ffa68ce372/cms001/MNIST.zip)

创建项目

在美团云控制台“数据处理与AI”菜单下,找到“深度学习平台”,点开后会进入深度学习平台。点击深度学习平台左侧导航“任务”,会看到项目列表。在创建任务之前需要先创建一个项目。项目是任务的集合,一个项目下可以包含若干个任务。点击项目之后,可以进入任务列表。
这里写图片描述

代码与数据上传

创建任务前,需要先上传任务涉及到的运行代码和数据集。数据需要上传至DLS的文件服务,文件系统是HDFS。点击DLS左侧导航“文件”,可以进入文件管理页面。您可以创建文件夹,上传代码和数据集。
这里写图片描述
我在“mnist-files”文件夹下创建了“input”和“output”两个文件夹,其中将代码文件和数据集存放至input中,output存放一些输出文件。当然这里你可以随意命名,只需要在创建任务时,匹配对应的目录即可。
这里写图片描述
进入“input”文件夹下,点击“上传”,选择对应的代码文件和数据集,我这里预先准备了mnist.py、train.tfrecords和test.tfrecords这三个文件,其中mnist.py是代码主文件,train.tfrecords和test.tfrecords分别是训练集和测试集。如果您的代码文件有多个的话,需要您将多个文件打包上传,建议使用tar.gz。
这里写图片描述

创建任务并启动

点击“任务”,切换到任务的项目列表,点击“mnist”,进入项目下的任务列表,点击“新建任务”,配置任务的相关内容。
这里写图片描述

计算资源配置

其中,新建任务需要配置三部分内容:“计算资源”、“输入输出”、“基础信息”。其中,“计算资源”是任务运行的计算资源环境,我们支持CPU和GPU两大类,每个大类都支持“分布式”和“单机”模式。因为我这里是一个简单的业务模型,所以我选择的计算资源为“CPU-单机”。
这里写图片描述

输入输出配置

接下来需要配置输入输出内容,这里的例子比较简单,代码文件只有一个mnist.py。我们在“代码文件”这一行,点击“文件选择”按钮,在弹出的文件选择框中选中mnist.py文件,点击确认,这样我们就完成了代码文件的配置。 由于我们只有一个代码文件,所以系统会默认将mnist.py同时指定为“启动代码文件(Main)”,“启动代码文件(Main)”这个输入框就不需要填写了。 当您的代码文件是由多个文件组合成的压缩包时,您将此压缩包配置成代码文件的同时,还需要在“启动代码文件(Main)”这一行手动配置启动代码(main)在压缩包中的地址。例如,启动代码在解压后的文件夹的根目录,这里直接输入文件名即可,否则,您需要填写完整的相对目录,如“mnist/mnist.py”。
这里写图片描述
接下来我们需要配置训练数据和模型保存地址。在这里配置的两个目录您可以在代码中分别以–datadir和–modeldir这两个命令行参数获取对应的值。相应代码示例如下:

parser = argparse.ArgumentParser()

#配置训练数据的地址
parser.add_argument('--data_dir', type=str, default='', help='input data path')
#配置模型保存地址
parser.add_argument('--model_dir', type=str, default='', help='output model path')

FLAGS, _ = parser.parse_known_args()

如果您还有一些其他的参数,例如训练轮数、batch大小等,您可以在代码中使用,并在“启动参数”输入框进行参数赋值。

基础信息

在基础信息这里,我们需要定义“任务名称”、“任务备注”、“任务完成通知”以及创建后是否立即启动等信息。这些都配置完成之后,点击“确认新建”,则任务创建完成,开始调度运行。
这里写图片描述

任务启动与运行

回到项目中的任务列表,我们可以看到任务处于“调度中”或“运行中”,这个时候您可以去做别的工作,等待任务的运行完成。如果你配置了“任务完成通知”的联系人,在任务完成时,您将会收到任务完成的通知(短信和邮件)
这里写图片描述

查看任务详情

点击任务名称可以进入到任务的详情页,您可以在这里查看任务的详细信息,包括计算资源、输入输出和基本信息。
这里写图片描述

任务日志查看

我们提供了任务的日志查看功能,点击任务列表或任务详情页中的TrackingUI按钮,即可查看任务在各个节点上的运行日志。
这里写图片描述

这里写图片描述
如日志所示,我们当前的模型的准确率是79%。


本文由【waitig】发表在等英博客
本文固定链接:美团云深度学习平台-快速开始
欢迎关注本站官方公众号,每日都有干货分享!
等英博客官方公众号
点赞 (0)分享 (0)