EvalAI：评估AI的最新水平

【文件属性】：
文件名称：EvalAI：评估AI的最新水平
文件大小：19.2MB
文件格式：ZIP
更新时间：2021-02-02 08:25:25
python angularjs docker challenge machine-learning EvalAI是一个开源平台，用于大规模评估和比较机器学习（ML）和人工智能（AI）算法。 近年来，将解决给定任务的算法与其他现有方法进行比较变得越来越困难。 这些比较在算法实现，使用非标准数据集拆分和使用不同评估指标方面存在细微差异。 通过提供*排行榜和提交界面，我们可以使研究人员更轻松地重现论文中提到的结果，并进行可靠，准确的定量分析。 通过提供基于map-reduce框架的快速，健壮的后端，以加快动态评估速度，EvalAI旨在使研究人员更轻松地从技术论文中复制结果并进行可靠，准确的分析。 产品特点 自定义评估协议和阶段：我们允许创建任意数量的评估阶段和数据集拆分，使用任何编程语言兼容，并在公共和私人排行榜中组织结果。 远程评估：某些大规模的挑战需要特殊的计算能力来进行评估。 如果挑战需要额外的计算能力，挑战组织者可以轻松地添加自己的工作程序节点集群来处理参与者的提交，同时我们负责托管挑战，处理用户提交和维护排行榜。 内部环境评估：EvalAI允许参与者以docker映像的形式提交其代理的代码，并根据评估服务器上的测试环境进行评估。 在评估过程中，工作人员将获取图像，测试环境