您的位置:  首页 > 技术杂谈 > 正文

Alluxio 2.9版本5大更新亮点详解

2022-12-01 11:00 https://my.oschina.net/u/5904778/blog/5601712 Alluxio 官方 次阅读 条评论

Alluxio 2.9版本5大更新亮点详解

全球首创的开源数据编排软件开发商Alluxio,近日宣布2.9免费开源社区版和2.9企业版正式对外发布!

本文将为您快速盘点2.9的那些更新亮点:

2.9正式版本(GA)具备较强的稳定性、良好的支持性以及企业级特性。本文将介绍Alluxio的新架构以及该架构如何赋能世界头部企业在跨区域、跨计算引擎与存储系统的大数据分析和AI 应用场景下实现增长、增强敏捷性。

Alluxio 2.9 版本增加了跨环境集群同步功能,支持横向扩展的多租户架构;显著改进在Kubernetes上部署的工具集和指南,增强了Alluxio的可管理性;此外,新版本还通过优化S3 API 实现安全性和性能上的提升。

企业可以通过Alluxio打造跨计算和跨存储的多云数据平台。Alluxio可以与Spark、Presto、Trino、PyTorch 和 Tensorflow 等一起部署于任何云平台,如 AWS、GCP 和 Azure。同时,Alluxio还可以部署在私有云数据中心或公有云在 Kubernetes 上使用。

Alluxio社区版功能亮点

以下功能Alluxio 2.9社区版和企业版均支持

Master节点健康状态监测

Alluxio master 现在定期检查各类资源的综合使用情况,包括 CPU 和内存使用情况,以及通过几个影响性能的内部关键数据架构推断系统的整体状态。可以通过查看 master.system.status 指标获取Master节点健康状态:

  • 闲置
  • 正常运行
  • 繁忙
  • 过载

关于如何使用此功能,可点击“详细信息”查看文档,了解有关监测功能的更多内容。

Worker 节点上的分页式存储(试验功能)

新版本支持更细粒度的存储。以往Alluxio只支持64MB块存储,新版本支持1MB的分页级存储,数据能以更细的颗粒度缓存在Alluxio worker 节点上。

此功能是为了通过提高缓存的效率而增强性能,当应用首次访问底层存储时,可以减少读放大。

可查看文档,了解如何使用:

Alluxio企业版功能亮点

下列功能仅限于Alluxio企业版

新增跨环境集群同步功能

租户隔离可有效防止不同团队在访问共享数据湖存储时产生竞争。Alluxio通过新增的跨集群同步功能,提高了在Kubernetes上跨租户或跨环境部署多个Alluxio集群时的可扩展性。

多Alluxio集群的联合(federation)是通过元数据同步实现的。不同的Alluxio实例之间知道各自对于元数据的修改情况,实现元数据的互通,从而自动保持元数据同步。当部署卫星集群架构时,此功能尤其有用,数据生产者在更新数据湖时可与数据消费者实现隔离。

开始部署前,可通过点击查看文档

新增Kubernetes Operator,提升Alluxio的可管理性

在Kubernetes上运行Alluxio有助于将部署策略标准化,使得数据技术栈可移植到任何环境。新版本增加了Alluxio Operator,可简化多个Alluxio集群的部署和管理。

管理员如今可以通过CRD(自定义资源)轻松部署和管理Alluxio。使用Alluxio Operator可降低管理多个Alluxio实例的负担。

开始部署前,可点击查看文档,了解详情。

强化S3 API安全性

新版本进一步强化了S3 API功能,管理员可通过统一命名空间来集中管理身份验证和访问控制策略,实现无论是在本地还是跨云异构存储均能达到统一的安全保护。

新版本增加了对S3 API开放式身份验证协议的支持,确保在处理Alluxio的用户请求之前对其进行验证。这项新功能允许数据平台团队连接到身份管理系统(例如 PingFederate),并使用单点登录 (SSO)。

开始部署前,可点击查看文档,了解详情。

想要了解更多关于Alluxio的干货文章、热门活动、专家分享,可点击进入【Alluxio智库】

展开阅读全文
  • 0
    感动
  • 0
    路过
  • 0
    高兴
  • 0
    难过
  • 0
    搞笑
  • 0
    无聊
  • 0
    愤怒
  • 0
    同情
热度排行
友情链接