据外媒GameSpot报道,《盗贼之海》开发者宣布将在游戏两周年活动期间推出新版本“火之心”。

据悉,这次“火之心”(Heart of Fire)更新的内容非常丰富,增加了更多的故事元素到游戏中,以及新的香蕉主题的化妆品,让你的宠物和武器装扮别具一格。

为了让模型迭代过程更加可操作,并能够提供更多的信息,Manifold 应运而生,它是一个用于机器学习性能诊断和模型调试的可视化工具。Manifold 是一个独立的 Web 工具和 Python 包,它有 3 个主要优势:

与 Jupyter Notebook 集成。Manifold 接受作为 Pandas DataFrame 对象的数据输入,并在 Jupyter 中呈现该数据的可视化效果。由于 Jupyter Notebook 是数据科学家和机器学习工程师使用最广泛的数据科学平台之一,因此这种集成让用户得以能够在不中断正常工作流的情况下分析他们的模型。

Manifold 通过以下三个步骤帮助用户发现模型需要改进的区域:

亚军电子科技大学章凡、广东工业大学刘岱远、华南理工大学叶青照、重庆邮电大学林智敏组成的「Conquer 团队」,获奖作品《多模式专家发现算法》。 针对知乎 app 对问题寻找最佳匹配的专家回答任务,提供了一个多模式的解决方案。其中,对于特征工程考虑了全局特征,时间滑窗特征,匹配特征,句嵌入特征,图特征,排序特征,Word2vec 等;对于模型,针对赛题的设计并修改了多种模型,最后进行融合,其中包括:LightGBM,CatBoost,Multi-ESIM,DSSM,LSTUR。

随着机器学习越来越成为相关业务不可分割的部分,提供使模型更透明且易于理解工具就显得更加重要,这一工具可以使得开发者能自信自如地使用机器学习生成的预测。但考虑到机器学习模型本质上是不透明的复杂性,则需要通过新兴的机器学习可视化来解决这个问题。

并且游戏将加入“Tall Tale”(可理解为奇闻怪事)的一些新任务,届时还将看见比如火焰陷阱等一些新的事物。

开发者希望通过可视化原型显示了数据空间中的模型性能,根据其性能(x 轴)和其中一个特征的值(y 轴)定位每个数据点,但该方法存在 3 个主要挑战:

比较 首先,给定一个具有一个或多个机器学习模型输出的数据集,Manifold 比较并突出显示模型或数据子集之间的性能差异。 切片 该步骤允许用户根据模型性能选择感兴趣的数据子集以便进行进一步的检查。 属性 然后,Manifold 突出显示所选数据子集之间的特征分布差异,帮助用户找到性能结果背后的原因。

目前,Manifold 的开源版本提供了 npm 软件包版本,而对于 Jupyter Notebook 的绑定,则提供了一个 Python 包版本。要开始使用 Manifold,请按照 GitHub Repo 中的文档进行操作并在本地安装,或者查看 Uber 的演示网站。

雷锋网 AI 开发者   雷锋网(公众号:雷锋网)

季军华南理工大学的陈雄君、陈垂泽、黎潇潇组成的「MemoryError 团队」,获奖作品《基于用户画像和文本信息的问题推荐策略》。 基于用户画像和文本信息对新问题进行用户推荐,高效地将用户新提出的问题邀请其他用户进行解答,以及挖掘用户有能力且感兴趣的问题进行邀请下发,优化邀请回答的准确率,提高问题解答率以及回答生产数。

更多相关资讯请关注:盗贼之海专区

北京智源人工智能研究院副院长、清华大学计算机系副主任、教授唐杰在颁奖大会上表示,北京人工智能研究院采用新的科研组织形式和人才引进培养模式,推动人工智能发展方向和理论、方法、工具、系统等方面的关键性突破。2019 年智源先后组织了 10 次竞赛,本次比赛是智源 2019 人工智能大赛的任务之一。

用户可通过 2 种方式使用 Manifold,即:通过 Python 包或 npm 包(通过网页)。由于代码可重用性和模块化对两个工作流的共存至关重要,因此,Python 和 JavaScript 代码库也被组织成了 3 个不同的功能模块:

本文由游民星空制作发布,未经允许禁止转载。

因为有太多的点,无法清楚地识别模式;需要通过抽离或减少点来揭示模式; 难以确定哪些特征对于 y 轴最有价值,以便识别出相关模式; 随着模型数量的增加,不同模型之间的比较变得更难;

随后,知乎技术副总裁李大任表示,此次与智源联合举办算法比赛,一方面是为了吸引人工智能算法领域从业者和爱好者加入,产出更多技术成果。另一方面,知乎也希望通过比赛开放部分数据,为国内人工智能发展提供一些助力。接下来,知乎还将在开放数据方面做更多努力。

与 Python 相比,处理数据密集计算对 JavaScript 计算引擎来说是个挑战。为了让开发者看到有意义的模式,需要大约计算 1 万个数据记录(「行」)。除了其他操作,KL 发散的聚类和计算需要在前端进行,这可能会造成速度瓶颈。根据测试结果,开发者在更新性能比较视图中的簇数量时,使用纯 JavaScript 实现的计算可能需要 10 多秒时间。

在 Manifold 的第一个开源版本中,Uber 添加了各种特性,使模型调试比内部迭代更容易。版本 1 的特性包括:

基于每个实例预测损失和其他特征值的交互式数据切片和性能比较。 用户将能够根据预测损失、基准真相(Ground Truth)或其他感兴趣的特征对数据进行切片和查询。这个特性将使用户能够通过通用的数据切片逻辑快速验证或拒绝其假设。

通用二进制分类和回归模型调试的模型无关性支持。开发者将能够分析并比较各种算法类型的模型,使他们能够辨别不同数据切片的性能差异。 对表格特征输入的可视化支持,包括数字、类别和地理空间特征类型。 利用每个数据切片的特征值分布信息,用户可以更好地了解某些性能问题的潜在原因,例如,模型的预测损失与其数据点的地理位置和分布之间是否存在相关性。

为了应对这个挑战,Manifold 在设计之初则考虑到了机器学习模型服务,并从分类和回归模型开始入手;这也使得该工具可以通过揭示数据子集之间的特征分布差异为机器学习模型开发黑盒提供更高的透明度。

作为一家知识内容平台,知乎同样重视技术创新价值的挖掘。自 2016 年引入机器学习技术以来,知乎已经将人工智能、算法技术应用到社区内容和产品体验的各个环节中。目前,知乎算法团队已经搭建了一套基础生态体系,通过算法实现了用户画像、内容分析、内容个性化推送等,其效率比过去的人工运营方式提高了数十倍。

雷锋网原创文章,。详情见转载须知。

此外,它还可以显示对于每一个数据子集,一些候选模型将有怎样的预测准确性差异,从而为一些高级处理(如模型集成)提供数据根据。

《盗贼之海》新的“火之心”更新预计将于北美时间3月11日登陆PC和Xbox平台,敬请期待。

但由于依赖 Python 后端会降低了 Manifold 的灵活性,难以实现组件化,这也成了在将 Manifold 和企业机器学习生态系统集成时的一个缺点。因此,除了 Python 计算外,Manifold 用 GPU 加速器添加了第 2 个用户工作流,该 GPU 加速器是用更加灵活的 JavaScript 编写而得。下图展示了两个工作流如何与 Manifold 集成的过程:

Manifold 利用可视化分析技术让机器学习开发者能够超越总体指标检测模型无法精准预测的数据子集;它还通过揭示性能表现较好和较差数据子集之间的特征分布差异,来说明模型性能表现不佳的潜在原因。

识别影响模型性能的数据段,以及这些数据如何影响模型的性能; 评估这些数据段的聚合特征,以便识别某些模型行为背后的原因。

基本相似的数据点不会重复出现在图表上,只突出显示最主要的高层差异; 因为减少了图表中各种形状的数量,所以可以在同一图表中绘制不同的模型,以更好地加以比较;

雷锋网原创文章,。详情见转载须知。

通过组件化并将其包含在 npm 包中,Manifold 具有更好的灵活性,既可以用作独立服务,也可以集成到其他机器学习系统(如 Michelangelo)中。

模型无关性; 模型性能评估的可视化分析,超越了模型性能汇总统计,以此来提高准确性; 将可视化分析系统和标准模型训练计算分开的能力,帮助更快和更灵活进行模型开发;

Manifold 界面包括两个部分,分别是性能比较视图和特征属性视图。其中,性能比较视图,由带有小提琴编码的多路图组成,用于比较模型和数据段之间的性能;

雷锋网 AI 开发者   雷锋网(公众号:雷锋网)

在这之后,本次大赛颁奖现场随即展开了一场产学研融合的技术分享会。来自清华大学计算机系长聘副教授、智源学者刘知远,清华大学计算机系副教授、博士生导师张敏以及知乎算法团队负责人孙付伟均围绕推荐算法发表了相关的主题演讲,为在场的学术青年们解析了推进算法背后的难点与优化切入点,现场提问不断,学术氛围非常浓厚。

因此,我们把 TensorFlow.js 作为线性代数实用库来实现我们的 k 均值聚类和 KL 发散计算。因为这种类型的计算可以被矢量化,从而可以利用 WebGL 加速,所以更新同样数量的簇的任务可以在不到 1 秒的时间里完成,超过原来性能的 100 倍。

1 2 3 下一页 友情提示:支持键盘左右键“← →”翻页

数据转换器,一种将来自其他内部服务(如 Michelangelo)的数据格式转换为 Manifold 内部数据表示格式的功能; 计算引擎,一种负责运行聚类和其他数据密集计算的功能; 前端组件,Manifold 可视化分析系统(其 Python 包使用了 JavaScript 前端组件的内置版本)的用户界面。

为了提前解决这些问题,开发者实现了一些聚合 / 简化操作;即:不单独表示每个数据点,而是把它们组成子集。在开发中,无需使用 y 轴来编码特定特征的值,而是使用了表示不同数据子集的分类轴。该方法演变成了最终的性能图表,并具有两个显著的优点:

而特征属性视图,由两套特征分布直方图构成,用于比较两个选定数据段的特征。

传统上,数据科学家在开发模型时,他们使用汇总分数,例如:对数损失、曲线下面积(AUC)和平均绝对误差(MAE)来评估每个候选模型。尽管这些指标提供了有关模型执行情况的直观数据,但它们并未传达有关模型执行不佳的原因以及如何改善模型性能的大量信息。因而,模型构建者倾向于依赖反复试验和误差来决定如何改善模型。

同时,借助 Manifold 的设计,开发者也颠覆了传统机器学习模型的可视化,无需检查模型,而是直接通过以下方式检查各个数据点:

以前的机器学习可视化方法通常包括:直接可视化内部结构或模型参数和受底层算法约束的设计,但这可能导致无法扩展到可以处理更大范围内的通用用例。

一种名为“Blunderbomb”新型可投掷炸弹将加入游戏,主要作用是在紧急情况下击退敌人。当然也可以用来对付其他玩家,把他们从梯子上炸下来,从船边炸下来,甚至从轮子、索具或绞盘上炸下来。

因为大多数用于机器学习的可视化工具需要额外的计算处理,超过了模型训练后端具备的计算处理能力,所以在把它们与其它机器学习系统集成在一起可能很复杂且不可扩展。Manifold 针对这种情况提出了解决方案,通过在可视化分析系统中分开处理训练模型所需的计算,可以进行更快的迭代,并得到了更简洁直观的数据接口。

由于生成 Manifold 可视化涉及一些密集的数值计算(聚类、KL 发散),计算性能不足会拖慢用户界面的渲染,影响到整个用户体验。因此,Manifold 使用了 Python 并利用其 DataFrame 处理和机器学习库(如 Pandas 和 Scikit-Learn)实现所有重量级的计算。

而在工具的「性能比较」视图中显示模式的关键,在于把测试数据集分成子集。在 Manifold 中,子集是基于一个或多个性能列的聚类算法自动生成的,于每个模型,具有相似性能的数据被分到同一个组中(因为该算法确保模型 X 的性能对于子集 Y 中不同的数据点是一致的)。下图则说明了这个过程: