DagsHub与Colab集成:以零MLOps构建和训练ML模型
回到博客主页

DagsHub与Colab集成:以零MLOps构建和训练ML模型

谷歌Colab 2023年5月15日

DagsHub用户现在可以直接从DagsHub(包括免费GPU)在Colab环境中打开笔记本,也可以使用Git或DVC进行版本和提交。无缝构建,训练和协作的ML模型与零MLOps摩擦。

请查看例如笔记本电脑它还使用DagsHub Client进行版本控制

在DagsHub,我们致力于通过为您完成MLOps繁重的工作来简化机器学习的开发周期。今天,我们激动地宣布,我们在这一领域取得了重大进展,这是我们旅程中的一个重要里程碑DagsHub加入了一个非常小而独特的工具组(GitHub和hug Face)与Google Colab集成。

让我们来探索最佳电子竞技即时竞猜平台。一下这种集成带来的令人兴奋的新功能。

什么是Google Colab?

谷歌Colab是一个基于云的平台,为数据科学和机器学习任务提供了一个免费的交互式计算环境。它为用户提供了一个类似Jupyter notebook的界面,允许他们编写和执行代码,执行数据分析,并使用流行的库(如TensorFlow和PyTorch)创建可视化。

Colab的主要优势之一是它的云基础设施,它允许用户访问强大的gpu和tpu来加速计算。此外,Colab通过支持实时编辑、评论和共享笔记本来促进协作,使其成为基于团队的项目和知识共享的理想选择。

DagsHub和谷歌合作-关闭机器学习训练生命周期

通过与Google Colab的新集成,DagsHub用户现在可以直接从DagsHub在Colab环境中打开笔记本,也可以使用Git或DVC进行版本和提交。

这些新功能结束了机器学习训练生命周期,因为您现在可以使用DagsHub构建一个完全可重复的管道,在Colab中训练您的模型,并提交所有项目组件,包括数据、训练模型、实验等等还有Colab笔记本本身,回到DagsHub。

版本控制Colab笔记本使用Git或DVC在DagsHub

DagsHub和Colab的集成在笔记本版本控制方面带来了重大改进,因为用户可以使用DVC对Git难以实现的大型笔记本进行版本化。

这意味着如果你正在构建一个非常复杂和冗长的笔记本或使用沉重的情节,你不再需要以“石器时代”的风格(v1)来版本它们。ipynb v_final。ipynb v_final_final。ipynb,…)在你的google drive或S3 bucket上,但可以使用基于Git的行业标准工作流。

不仅如此,DagsHub支持笔记本dif笔记本电池评论由Git和DVC进行版本控制。这为机器学习团队解锁了协作功能,而无需转移到第三方平台或在Slack或Discord上分享截图。DagsHub甚至支持交互式笔记本输出可视化,这意味着如果您正在使用流行的工具,如Pandas Profiling或SweetViz,您将能够在提交HTML输出后与它们进行交互。

如何在DagsHub上使用Git或DVC版本Colab笔记本?

您可以使用DagsHub客户端使用Git或DVC版本Jupyter和Colab笔记本。要做到这一点,我们将使用save_notebook需要以下参数的功能:

  • 回购(str):格式的存储库用户/回购
从dagshub。导入save_notebook(repo="nirbarazida/chexnet")

也可以采用以下参数:

  • 路径(str):在存储库中保存笔记本的位置(包括文件名)。如果文件名没有指定,我们将把它保存为“notebook-{datetime.now}”。Ipynb”在指定文件夹下
  • 分支(str):应该保存笔记本的分支。如果没有指定,会提交到默认的回购分支吗
  • commit_message(str):更新的提交消息
  • 版本控制(str): ['git'|'dvc']笔记本的VCS版本

请查看例如笔记本电脑它还使用DagsHub Client进行版本控制

标签

近红外光谱Barazida

数据科学家@ DAGsHub

太棒了!您已成功订阅。
太棒了!接下来,完成签出以获得完全访问权限。
欢迎回来!您已成功登录。
成功!您的帐户已完全激活,您现在可以访问所有内容。