实时ML监测:新文物与DagsHub的集成
回到博客主页

实时ML监测:新文物与DagsHub的集成

机器学习生产 2021年10月19日

训练深度学习模型是非常耗时的。甚至在开始运行之后,在某些情况下,您必须等待运行结束才能分析结果。在其他情况下,您可以可视化实时指标,但您需要手动检查运行的状态,这导致每3分钟检查一次实验管理工具,就像您在等待一些测试结果一样。甚至不要让我开始创建自定义或特别的指标。

实时实验监测的好处

由于这些原因,使用专门的监视解决方案实时观察实验的性能为您的工作流程提供了显著更高的效率。这是我们与new Relic和DagsHub的新集成背后的动机,使它更容易监控,可视化,分析和同步所有数据从您的运行实时。

新的集成为数据科学工作流程提供了几个好处:

  • 监控:使用New Relic实时监控您的实验性能。
  • 警告:轻松设置警报的行为,您关心。不管它是一个度规低于或高于某个值还是一个误差出现。获得通知和反应,而不需要坐在你的电脑前整个培训。
  • 定制:在DagsHub中可视化性能数据,并在New Relic中创建自定义可视化。定义适合您需求的特别定制指标。
  • 集成:使用DagsHub无缝集成MLflow的实验跟踪,New Relic中的实验监控和警报,以及使用DVC的数据和模型管理和使用Jenkins的自动化。这一切都不需要DevOps的工作。

新文物与大哥大概况

New Relic是一个可观察性平台,可以帮助您构建更好的软件。您可以从任何数字来源引入数据,这样您就可以完全监视、分析和理解您的指标以及如何改进它们。

DagsHub是数据科学家和机器学习工程师对他们的数据、模型、实验和代码进行版本化的平台。它允许您和您的团队轻松地共享、评审和重用您的工作,为机器学习提供一个GitHub体验。DagsHub是建立在流行的开源工具和格式上的,使它易于与您已经使用的工具集成,例如,New Relic。

开始

开始,dota雷竞技,创建一个新项目.在DagsHub中选择New Relic集成,你可以在这里找到更多细节。连接您的存储库并在New Relic文档中开始监视是可用的在这里

关键特性

这里有一些事情可以尝试与新的DagsHub - new Relic集成::

  • 添加一个警告:可以从图表中的条件创建警报。您可以命名和自定义条件。一旦创建了警报条件,就可以选择在不同的通道中如何收到通知。
  • 分析指标:您可以编写和执行自定义查询,以从所有源获取信息并分析结果。下面是一个例子:
  • 建立一个指示板:使用New Relic仪表板实时可视化所有的培训和评估指标。有几十个图表选项来理解和分享结果。所有实验数据也自动同步到DagsHub。

加入我们的现场演示和MLOps讨论

加入DagsHub联合创始人/首席执行官Dean Plean和New Relic首席研究员Ori Cohen博士,讨论MLOps的状态,演示新的集成和MLOps研究的实际见解。报名在这里
加入:Meetup - MLOps的状态


实时实验的完全透明

监控和警报提供了优化培训工作流程的新方法,增加了透明度、可定制性和效率。你可以很快开始在这里

标签

院长Pleban

DAGsHub联合创始人兼首席执行官。构建数据科学协作之家。对机器学习、物理和哲学感兴趣。加入https://DAGsHub.com

太棒了!您已经成功订阅。
太棒了!接下来,完成签出以获得完全访问权限。
欢迎回来!您已经成功登录。
成功!您的帐户已完全激活,您现在可以访问所有内容。