您的位置:  首页 > 技术杂谈 > 正文

一切都是为了更高效(写在国内第一次DataOps + MLOps meetup之后)

2022-03-15 10:00 https://my.oschina.net/u/3742410/blog/5488126 谭中意 次阅读 条评论

上周六即3月12日,星策开源社区组织了国内第一次DataOps + MLOps的meetup,感谢CSDN和51CTO同步直播,活动圆满结束。

现在简单回顾一下。

1. 为什么组织这么一场Meetup?

是因为我感觉到,DataOps和MLOps虽然在国外已经开始流行了,但是在国内还是比较陌生的,有必要组织这样的活动,让更多的工程师了解DataOps和MLOps是什么,能够干什么,对业务的价值,以及其中的技术难点和相应比较成熟的技术方案都有什么。

2. 各种Ops的异同

最近几年DevOps之后出现了各种Ops,包括DevSecOps,GitOps,AIOps,NoOps,DataOps,MLOps,FeatureOps,ModelOps等等。他们的相同点都是各种Ops任务(Operation)的自动化,都包含相应的流程、工具和角色;不同点是面向不同的领域,涉及不同的角色,以及自动化的任务不同而已。核心还是为了更高效,手段还是自动化。

DataOps是在数据分析领域,目标是为了提高数据分析的质量并缩短周期,涉及角色包括数据科学家、数据工程师,IT工程师等,任务包括数据搜集,数据ETL,数据可视化等

这个图很好的表示了DataOps的全部过程。

 

接着来说MLOps,它面向的领域是机器学习,目标是提高机器学习落地的效率,涉及角色包括AI科学家、AI数据工程师、IT工程师,任务包括场景定义,数据搜集和整理,模型训练和部署,持续监控和更新等。同样用一个图来表示如下。

 

用一张表来总结DevOps和DataOps以及MLOps的区别。
(CI:continuous Integration,持续集成;CD:Continuous Deploy,持续部署;CT:Continuous Training,持续训练;CM:Continuous Monitoring,持续监控)

各种Ops   对象过程
DevOps    CodeCI + CD
DataOps    Code + Data CI + CD
MLOpsCode + Data + ModelCI + CD + CT +CM

 

3.  Meetup 议程

(1)我首先分享了我对DataOps和MLOps的理解,见上文。

(2)Apache DophinScheduler的PMC leader 郭炜,江湖人称郭大侠分享了他对DataOps的洞察,并重点介绍了被他称之为“DataOps领域内的K8S”----Apache DophinScheduler项目,它作为一个支持可视化操作,分布式的数据操作编排系统,从定位上来看确实很像云原生领域内的K8S。

(3)OpenMLDB的架构师 陈迪豪同学分享了他对MLOps的认识,并重点介绍了他重点参与的开源项目,OpenMLDB。OpenMLDB能极大的提升机器学习上线的效率,并降低机器学习从业人员的门槛。因为它可以支持用SQL进行特征提取,然后把对应提取的SQL语句直接上线,这样保证了训练和预测所使用到的数据和代码的一致性,高效的解决数据一致性的问题。此外OpenMLDB还有很多优点和特性,欢迎看他的PPT和视频。

4. 总结。

DataOps和MLOps作为各种Ops中的后起之秀,可以在各自领域即数据分析和机器学习领域,起到很大的作用。虽然国内现在还不是很流行,相信随着国内大数据和机器学习在更多企业的落地,尤其是企业数字化转型的推进会极大促进这两者的进一步发展。

 

5.  附上这次meetup的视频

  • DevOps后的各种Ops相同点和区别在哪?——谭中意

链接:https://www.bilibili.com/video/BV16P4y1M7xC?spm_id_from=333.999.0.0

  • DataOps &DolphinScheduler——郭炜

链接:https://www.bilibili.com/video/BV1FT4y1U7Kp?spm_id_from=333.999.0.0

  • 使用OpenMLDB打造MLOps场景应用——陈迪豪

链接:https://www.bilibili.com/video/BV1FS4y1D7gB?spm_id_from=333.999.0.0

 

6.  最后,我们组建了MLOps的爱好者讨论群,目前有超过100多人已经加入,每天讨论各种相关技术问题,欢迎爱好者加入。

展开阅读全文
  • 0
    感动
  • 0
    路过
  • 0
    高兴
  • 0
    难过
  • 0
    搞笑
  • 0
    无聊
  • 0
    愤怒
  • 0
    同情
热度排行
友情链接