比特币

Elastic 构建 Elastic Cloud Serverless 的技术革新之路

比特币
Elastic's journey to build Elastic Cloud Serverless

探索 Elastic 如何通过架构重构和技术创新打造高效、灵活的 Elastic Cloud Serverless 平台,满足现代云计算环境下用户对无服务器服务的需求,实现性能与成本的最佳平衡。

随着云计算的快速发展,企业和开发者对基础设施管理的需求日益简化,无服务器架构逐渐成为云服务的主流趋势。Elastic,作为搜索和数据分析领域的领导者,顺应这一趋势,将传统状态化架构的 Elasticsearch 生态系统转变为一套完全托管、支持无服务器的 Elastic Cloud Serverless 平台,为用户带来了极致的使用便捷性和资源优化效果。Elastic Cloud Serverless 这一创新云原生平台通过深度技术重塑,从架构设计、存储选型、容器编排,到网络管理、弹性扩展以及计费模型,涵盖了构建现代高性能云服务的方方面面。 Elastic 选择向无服务器架构转型,主要受到用户需求变化的驱动。现代用户不再希望花费大量精力在资源容量规划、集群监控和扩展调整上,而更注重专注于核心业务。通过无服务器平台,Elastic 为用户提供了动态自动伸缩的计算资源管理,彻底消除因资源预配置和运维复杂性导致的阻碍,带来了按需付费和高效利用资源的双重好处。

从技术角度来看,Elastic 打破了传统 Elastic Cloud Hosted(ECH)原本依赖本地 NVMe 固态存储或托管磁盘保证数据持久性的状态化架构,将数据存储层完全迁移到云厂商原生的对象存储。这一架构转变既实现了计算与存储的彻底分离,也极大提升了系统在大规模分布式环境下的弹性和可维护性。借助云服务提供商多可用区内置的冗余机制,对象存储在保证数据耐久性的基础上摒弃了对复杂复制策略的依赖,降低了底层基础设施的运维负担。 当然,将性能要求极高的 Elasticsearch 工作负载搬到对象存储,也带来了严峻挑战。尤其是写入操作中的传输日志(translog)更新与数据刷新,这类操作频繁调用对象存储 API,极易导致成本激增和性能瓶颈。Elastic 通过实现每个节点的 translog 缓冲,批量合并写入请求,显著降低了写放大效应。

此外,将刷新操作与对象存储写入解耦,改为先将刷新后的片段直接推送至搜索节点,再延迟写入对象存储,减少了刷新相关 API 调用数量达两百倍,且完全不牺牲数据一致性与持久性保障。这些细节优化是 Elastic 无服务器方案显著提升运行效率的关键所在。 在容器编排层面,Elastic 放弃了自研集群管理方案,转而选择 Kubernetes(K8s)作为底层调度平台。Kubernetes 成熟且生态丰富,支持多云供应商,并具备标准化接口,使 Elastic 能够专注于核心功能开发,降低了基础设施管理复杂度。在 Kubernetes 的部署中,Elastic 优先采用云服务商提供的托管 Kubernetes 服务,既加快了部署速度,也降低了维护成本。同时,通过参与和贡献 Crossplane 开源项目,Elastic 实现了跨多云环境下一致的基础设施即代码管理,利用 Kubernetes CRD(自定义资源定义)统一控制不同云上的计算、存储及数据库资源。

网络层方面,Elastic 为确保大规模 Kubernetes 集群中网络性能与安全态势一致,选择了基于 eBPF 技术的先进方案 Cilium 作为主要的容器网络插件(CNI)。由于不同云平台的实现差异,Elastic 采用混合策略,在支持本地化 Cilium 的云环境中使用云原生版本,在 AWS 上则维持自管理方案,以此兼顾性能、复杂度和安全考虑。 面对入口流量管理,Elastic 延续了 Elastic Cloud Hosted 中已有的成熟代理架构,避免用通用反向代理取代,由此节省了功能重写和符合合规要求的时间。该代理不仅支持复杂流量过滤,还能兼容 AWS PrivateLink、Google Cloud Private Service Connect 以及满足联邦信息处理标准(FIPS)TLS 终止需求,确保在安全合规和功能性上优于市面上许多标准组件。 在 Elastic Cloud Serverless 平台的基础设施管理方面,设计了多层管理体系。统一层为服务运维人员提供了一致的 Kubernetes CRD 接口,用于定义集群属性及调度需求;管理层充当跨云 API 的中间代理,支持请求转换及状态同步;工作负载层运行用户实际使用的应用程序,诸如 Elasticsearch 和 Kibana 等。

通过双管理集群策略,Elastic 能够进行 Canary 发布,大幅减少升级风险,并有效应对规模扩展中的 Crossplane 性能瓶颈。 考虑到云服务资源并非无限,Elastic 研发了基于优先级的容量池管理机制,实现多层次资源调度与预留。动态迁移能力保证在某一实例类型资源耗尽时,系统可迅速切换到替代资源池,从而避免服务中断,为用户提供持续、稳定的服务体验。 对于 Kubernetes 集群的持续升级,Elastic 构建了自动化流水线。新版本测试合格后,通过集中配置启动控制平面升级,接着使用自定义控制器实现蓝绿部署升级节点池。升级过程中,客户应用负载平滑迁移,保障服务连续性及性能稳定。

系统整体架构采用基于“Cell”的设计,功能模块与集群完全隔离。在不同 CSP 账号内独立部署,既避免了云服务配额瓶颈带来的干扰,也提升安全与故障隔离能力。模块划分细粒度,使得扩容和故障恢复更为灵活高效。结合 Canary 发布策略,平台在演进过程中风险进一步降低,研发迭代更加稳健。 Elastic Cloud Serverless 控制面与数据面采用了“推送模型”,控制面主动下发配置至区域 Kubernetes 集群,而非被动拉取。此策略降低了故障恢复复杂度,使得数据面集群在控制面不可用时可独立运行,提高系统整体健壮性和调度管理的简洁性。

弹性伸缩是无服务器平台的核心能力。Elastic 开发了自定义的弹性伸缩控制器,基于多维指标(CPU、内存及自定义工作负载指标)实时调整资源,支持水平方向及垂直方向的扩缩容。特别是针对 Elasticsearch 的搜索层和索引层,结合 Elasticsearch 专门的无服务器 API,系统能准确估算所需的副本数量及计算资源。多级推荐、映射、稳定与限制机制共同作用,防止剧烈波动,保证性能与资源利用的最高效平衡。搜索层还结合搜索负载特征如线程池负载等指标,动态调整资源分配,确保响应速度和吞吐量始终符合 SLA 要求。 无服务器服务与用量计费模型密不可分。

Elastic 构建了灵活的按需定价系统,覆盖 Observability、Security 和 Elasticsearch 核心产品。观测与安全业务基于数据摄取与保存量分层计费,搜索服务则依据虚拟计算单位(ECU)计算使用量。计费架构由使用数据管道和账单计算管道两大核心组成,使用数据通过使用 API 收集,经过服务端处理并缓存至对象存储,确保区域及云平台间数据传输可靠且持久。后续账单处理管道从存储读取数据,进行单位换算、过滤与产品映射,再由账单计算引擎转换为可计费记录,支持分层定价和延期数据的“自愈”结算,保障计费的准确性与透明度。 Elastic Cloud Serverless 的研发之旅不仅是一场技术架构的变革,更代表了 Elastic 企业文化的深刻演进。在这过程中,技术团队从被动响应问题到主动优化系统性能,持续推进自动化,极大释放了研发与运营资源。

多云支持、网络安全保障以及智能弹性伸缩等技术创新,为用户提供了稳定高效且成本可控的云端服务环境。 未来,Elastic 将继续专注于扩展无服务器平台的功能,推出新的实时数据分析与搜索能力,配合新兴的 AI 技术,助力用户发掘数据价值。Elastic Cloud Serverless 代表着云原生架构与企业实践的有机融合,为全球用户在不断变化的数字经济中提供强大的技术支撑和灵活的云端解决方案。

加密货币交易所的自动交易 以最优惠的价格买卖您的加密货币 Privatejetfinder.com

下一步
The Big Reason Oil Prices Are Rising Today—It Has Nothing to Do With Iran
2025年09月24号 15点55分12秒 油价飙升背后的真正原因:与伊朗无关的全球能源变局

随着国际油价持续攀升,市场纷纷猜测是否与中东局势,特别是伊朗有关。然而,油价上涨的根本原因源于更为复杂的全球能源供需格局变化和经济因素。深度解析当前油价走势背后的关键驱动力,帮助投资者和消费者理清真相。

Lalo Schifrin, Film Composer Who Wrote 'Mission: Impossible' Theme, Dies at 93
2025年09月24号 15点59分21秒 传奇电影配乐大师拉洛·斯基夫林逝世,永恒的《碟中谍》主题作曲家

拉洛·斯基夫林是融合爵士与古典音乐的电影配乐巨匠,以创作《碟中谍》主题曲闻名全球,他的离世标志着一个电影音乐时代的终结。

Myths and mythconceptions: what does it mean to be a programming language?(2021)
2025年09月24号 16点00分30秒 破解编程语言的迷思:真正的编程语言意味着什么?

探讨现代编程语言的定义与误区,揭示软件开发中广泛存在的神话,分析编程语言在真实世界中的角色及其发展趋势。

The Washington Post Will Ask Some Sources to Annotate Its Stories
2025年09月24号 16点02分04秒 华盛顿邮报创新互动模式:让新闻来源为报道亲自注解

探讨华盛顿邮报推出的‘From the Source’项目,如何通过邀请报道中提及的消息来源为文章进行注解,加强信息透明度和读者互动,提升新闻可信度与用户停留时间。分析该举措的潜在优势与挑战,为媒体数字化转型与读者参与提供新的思路。

The Big Loser From the ‘Genius Act’ Is $156 Billion Crypto Giant Tether
2025年09月24号 16点03分08秒 价值1560亿美元加密巨头Tether:‘天才法案’中的最大输家

探讨美国‘天才法案’对加密货币行业,尤其是价值1560亿美元的稳定币巨头Tether(泰达币)所带来的深远影响,分析其面临的挑战与未来发展前景。

The Wheel (Direction)
2025年09月24号 16点03分52秒 掌控人生方向的智慧:从探索到驾驭的心路历程

探讨如何在人生旅途中逐步掌握方向,从最初的学习和探索,到最终坚定地握紧方向盘,找到属于自己的道路和目标。

VMware perpetual license holder receives audit letter from Broadcom
2025年09月24号 16点05分36秒 Broadcom对VMware永久许可证用户发起合规审计引发业界关注

Broadcom自2023年终止销售VMware永久许可证后,开始对仍使用永久许可证且未续约支持服务的用户发起合规审计,导致众多企业面临高额费用和法律风险,同时引发行业内对企业软件许可政策及合规管理的广泛讨论。