大连网站建设好的公司,公众号怎么做文章推广,友情链接页 wordpress,网站的优化怎么做10月18日#xff0c;在 QCon 全球软件开发大会 2024#xff08;上海站#xff09;#xff0c;火山引擎边缘云资深架构师徐广治围绕火山引擎边缘计算产品背后的算力底座 - 边缘云原生操作系统#xff0c;探讨如何实现算力服务的混合部署和跨区域弹性调度#xff0c;以及在…10月18日在 QCon 全球软件开发大会 2024上海站火山引擎边缘云资深架构师徐广治围绕火山引擎边缘计算产品背后的算力底座 - 边缘云原生操作系统探讨如何实现算力服务的混合部署和跨区域弹性调度以及在小型化、集成化、轻量化基础上的技术创新并展开介绍了边缘云原生操作系统的研发动因、面临挑战、架构设计和未来演进方向。 演讲内容主要包括了五部分边缘云行业现状和发展历程边缘场景的技术挑战边缘云原生操作系统业务应用实践演进和未来思考。 以下是演讲实录 大家好很高兴有机会和大家分享火山引擎边缘云在边缘计算场景架构设计上的思考和实践我今天分享的主题是《边缘云原生操作系统设计与思考》。分享分为五个部分 第一部分边缘云当前的业务状态以及历史发展路径 第二部分边缘场景存在的技术挑战和解决思路 第三部分在技术挑战、业务发展的背景下火山引擎边缘云的思考与实践也就是边缘云原生操作系统 第四部分云原生操作系统之上的应用即边缘云的产品矩阵和行业应用 最后回归技术主线畅想边缘云技术架构的未来。 1.边缘云行业现状和发展历程
从 06 年 AWS 推出 EC2 、S3 到今天已经过去了 18 年云计算早已不是一个新鲜词汇从当前业务来看我们能看到云计算从中心到中心边缘的发展趋势为什么会有这样的变化呢在业务角度有三个关键的诱因 第一越来越多的本地化应用。最近 Meta 发布了新的 AR 智能眼镜APPLE 也有 Vision Pro 这些都是典型的 AR/VR 应用的场景随着更多工业制造、网络直播、智慧园区、自动驾驶、云游戏等本地化应用的崛起促使计算资源从中心走到边缘。 第二基础设施的演变。正因为应用就近部署的需求基础设施正在从中心向边缘靠拢形成靠近客户的三种边缘基础设施形态现场边缘、近场边缘和云边缘这三种基础设施分别提供不同的延时保证和资源现场边缘的延时是 1-5 ms近场边缘是 5-20 ms云边缘是 20-40 ms。 第三算力和网络的结合。有了靠近用户的基础设施、广泛分布的网络和算力企业因此产生了对最优算力访问链路的需求期望能找到靠近客户的算力和靠近算力的存储这就是算力和网络的融合。通过算网融合可以为企业提供更好的云服务。 这三个业务诱因驱动云计算向边缘迈进。 除了业务诱因我们也观察到了业务驱动力之外的技术演进背景。从应用架构的角度来看当前应用将看到三类资源 终端资源提供实时的服务响应具备友好的硬件形态可以是用户使用的手机、平板、车机等能为应用提供最好的呈现同时还具备通用的辅助算力 中心资源提供弹性资源池可以方便地进行数据计算和聚合支持敏捷的开发流程 边缘资源提供就近的接入服务覆盖广域的城市和运营商具备对整个网络的精确感知能力可以快速找到就近的算力和资源。 传统的中心部署架构已经不能充分利用云、边、端这三者的资源不能充分发挥三者的组合优势因此我们观察到应用正在从集中部署迈向云边端混合部署的新架构。 同时云计算也开启了边缘时代。据 IDC 预估到 2024 年底全球在边缘计算上的开支将达到 2320 亿美元另外据 Gartner 预估到 2025 年底全球 75% 的企业生成数据将会在边缘产生和处理。另外从市场发展上看IDC 预估到 2026 年中国边缘云的市场增速年复合增长率可达到 40% 。在这样的蓬勃发展背后是越来越多业务和边缘的结合这些业务的发展可分为三个阶段萌芽期、爆发期、成熟期。随着时间的推移像 vCDN、直播这类业务会趋于成熟而像自动驾驶、AR 等业务将迎来爆发共同推动边缘云的进一步扩张。 这里也跟大家简单介绍一下边缘云的发展历程。 阿卡迈在 1998 年首次提出了 CDN 的概念从那之后内容分发网络成为了 APP 、网站、客户端背后的基础服务通过就近缓存内容提升了数据的访问效率。 到了 2002 年微软和 IBM 与阿卡迈合作将 .Net 和 J2EE 服务部署到了CDN PoP 节点这形成了最早的边缘计算的概念。 到 2009 年CMU 提出了 Cloudlet 的概念将 VM 与边缘基础设施结合这就有了在边缘提供 IaaS 服务的雏形到 2012 年我们迎来了万物互联的物联网时代也因此产生了处理海量数据的需求于是雾计算、MEC 的概念相继出现从那时到现在我们迎来了云计算和边缘的结合。边缘云在端和中心云之间提供弹性、轻量、低延时的云服务。 2.边缘场景的技术挑战 了解了整个边缘云业务状态和发展历程之后再来聊聊发展背后对技术上的挑战。从整体看边缘场景有四个挑战分别是海量节点管控、小型化约束、弱网环境、复合场景。 挑战一海量节点管控。从宏观角度来看要提供就近的算力和网络就要从地理位置上接近客户的业务这意味着我们面对的是广域分布的物理资源。火山引擎边缘云在全球有 2500 多个节点如何高效管理节点、如何调度节点上的异构资源是关键挑战之一 挑战二小型化约束。从节点本身来看与传统中心云不同单个边缘节点的资源是有限的这就对我们管控的资源开销提出了要求如何做到小型化、轻量化如何做到最大限度售卖节点资源 挑战三弱网环境。从网络环境上看大多数边缘节点之间以及节点和中心机房的连接都采用公网通信这导致了网络环境的问题可能存在网络中断、连接不稳定的情况也存在安全上的隐患 挑战四复合场景。从业务维度来看的当前面向的边缘业务场景比较复杂需要技术具备较高灵活性需要提供多形态算力支撑包括虚拟机、裸金属、容器等等。还需要考虑不同硬件环境比如 x86 arm异构计算需要 GPU 需要算力的 ASIC 。 2.1管理广域分布的边缘算力资源 首先我们来看看如何纳管、调度广域分布的算力资源两个非常关键的因素抽象、编排。抽象意味着标准化从资源维度出发足够好的抽象和标准化才能形成统一的资源池不同的 CPU 型号也可以通过抽象和统一的指令集来提供。从服务维度出发基于多数量节点每个节点部署着不同异构服务好的服务抽象可以将服务原子化从而为部署和运维提供便利。基于良好的抽象和编排能力就能实现资源和服务的标准、统一以及服务的灵活组合从而达到为客户提供差异化算力的目的。因此在管控关于分布的算力资源好的抽象和编排能力很重要。 2.2在节点内实现资源的最大化利用
小型化是边缘场景特有的问题相较于传统中心云环境单个边缘节点的资源有限如何在这个背景下为客户最大化提供可售卖资源就成了一个问题。要解决这个问题有两个同时要做的事情 第一点是按需混部。每个节点可以按照业务需求发布算力和对应服务例如不需要云盘就不用部署云盘按需混部服务是做到小型化的路径之一。混部又包含两点第一是算力的混部虚拟机、容器实例、函数这些算力本身就是混部的混合部署在同样的资源池上。其次是服务的混部例如本地盘、云盘这类存储服务VPC、LB 等网元服务这些服务按照节点的需求混合部署共享同个物理资源。算力和服务混部的底层依赖统一资源池和统一调度也需要关联的资源隔离机制和对应系统实现。 第二点是在管控层面实现极致的轻量化。这又有两个要点第一点相对传统是做边缘管控组件的轻量化降低组件数量和组件的资源开销。另一点更重要就是要做管控分层把非必要逻辑从边缘抽离出来形成中心/区域 边缘的多级管控形态边缘仅保留数据缓存和基础能力通过这种方式来大幅降低边缘开销。 2.3弱网环境下的服务连续性
边缘节点之间、边缘节点与中心节点之间大多数采用公网连接。然而公网链路上存在很多传输的不确定性有可能存在传输链路抖动、机房故障、区域断网等情况怎么在弱网环境下保证服务的连续性依靠边缘的两个核心要点 第一是边缘自治。边缘自治意味在网络抖动/中断的情况下边缘集群仍能继续维持集群内算力服务运行。 第二是系统化的数据传输保障方案。怎么保证云边服务之间、算力应用之间的网络通信稳定、可靠这就需要系统化的解决方案 - 云边通道。云边通道在高可用维度提供在机房故障网络链路故障等场景下的数据传输能力同时也提供了鉴权和加解密能力保障了公网传输的数据安全。 2.4边缘业务场景的多形态算力需求
为了支持边缘泛 CDN、云游戏、车联网、AIGC 等广泛应用场景边缘侧需要提供虚拟机/裸金属/容器/函数多种算力形态叠加底层异构算力资源这也要求技术架构具备足够广的覆盖面和较高的灵活性。 上述技术挑战促使着边缘技术架构的持续演进大体可以分为三个阶段 第一个阶段是面向资源的传统虚拟化主要方式是通过 hypervisor 和上层管控实现资源隔离这里比较有代表性的是基于 OpenStack 的传统 IaaS 架构 第二个阶段是随着 K8s 兴起的云原生技术借助云原生可以降低运维复杂度实现面向应用的统一调度、统一编排但是依然没法彻底应对上述边缘场景的技术挑战这也就引出了架构演进的第三个阶段 第三个阶段是面向边缘场景和应用通过将云原生与边缘特性结合形成边缘独有的技术方案也就是边缘原生在火山引擎的落地实践就是我们的边缘云原生操作系统。 3.边缘云原生操作系统
边缘云原生操作系统统一纳管了字节跳动边缘计算硬件资源在小型化、集成化、轻量化的基础上为业务就近提供虚拟机、裸金属、容器等多形态算力实现算力服务混合部署、跨区域弹性调度。 边缘云原生操作系统拥有 4 个核心特点 统一资源纳管调度纳管全球边缘云硬件资源为边缘应用提供统一资源调度支撑 算力服务按需混部按需混部单节点计算实例和关联服务降低节点资源开销提高服务灵活性 云边分层轻量化管控部分上移边缘管控逻辑在保证自治能力的基础上最大化节点可售卖资源 云边边边协同支持基于全球云网基础设施和云边、边边数据通道提供可靠数据传输支持 从架构上来看边缘云原生操作系统有八个组成部分 编排中心面向应用、服务编排需求编排中心提供集群编排、多应用编排、中间件编排、多集群管理等核心能力基于这些能力实现服务的按需混部和对客户交付侧的支撑 调度中心调度中心通过在线、离线调度实现对异构资源的池化和统一调配保障资源交付效率及资源交付稳定性支撑持续资源运营、治理 可观测中心要掌控边缘离散分布的算力资源和支撑服务状态系统提供的可观测能力就非常关键可观测中心支持资源、服务、产品观测提供一站式观测平台支撑对外可观测产品和内部系统运维及质量保障 运维中心基于编排中心、可观测中心能力运维中心统一支撑云原生操作系统自身组件和上层算力应用日常运维和稳定性保障 云边中间件提供中间件统一接入平台具备云边通道等边缘场景核心能力支撑云边、边边场景编排、运维、服务、数据多维度协同 边缘轻量管控指算力产品底层依赖的计算、存储、网络管控为了实现边缘的轻量化实现了两个层面的工作一个是分层管控把业务逻辑、数据处理、数据持久化上移另一个是精简管控逻辑本身 边缘云原生套件这部分是定制的云原生组件包含基础的 K8s、ETCD 等服务定制化的工作一是保障组件在边缘场景下的安全性和稳定性二是在资源占用和带宽占用维度对组件做的轻量化 边缘轻量基础环境标准化的操作系统环境、内核、固件基线包含在边缘场景下对操作系统层面进行的的轻量化裁剪也包含支撑算力的高性能虚拟化实现 在八大能力之下是底层的资源池包括现场边缘、近场边缘、云边缘的硬件资源在这之上是对外提供的不同形态的算力产品包括边缘计算节点虚拟机/裸金属、边缘容器、边缘函数及周边服务这些共同构成了小型化、集成化、轻量化的边缘云原生操作系统。 3.1纳管边缘异构硬件统一在离线资源调度
前述介绍边缘云原生操作系统的一大特点是建立在资源池之上的统一调度。调度面向资源交付场景为客户和内部服务统一交付计算、存储、网络等资源同时保障资源交付的效率和稳定性持续优化碎片率并提供对应运营能力。 在统一资源交付背后是在线调度和离线调度两大核心能力在线调度负责实时为业务提供资源离线调度负责资源运营以及为在线调度提供调度推荐。目前支持的调度域覆盖全局、区域、节点内三个维度针对客户弹性需求可以提供跨节点的算力资源交付。在线调度、离线调度之下是为调度提供数据支撑的库存中心系统这里维护了线上的实时资源情况支持对应的审计、规划和资源流转同时为了支撑离线调度库存中心也维护了离线计算所依赖的数据仓库包含客户、业务画像及从实时库同步的离线信息。 3.2充分利用硬件资源算力服务按需混部
为应对边缘小型化约束边缘云原生操作系统通过运维中心和编排中心的配合实现算力和服务的按需混部其有两个关键实现 一是算力实例和依赖服务共享同个资源池虚拟机、容器实例可以和存储、网络、管控等服务分布到同个物理资源上 二是服务的按需部署运维中心结合编排中心的能力实现集群功能的定制化每个集群有自己的集群模板集群模板动态可同时关联多应用编排实现根据集群业务需求部署必要服务从而减少非必要服务的资源开销。 3.3降低边缘资源开销实现云边分层轻量管控
为实现轻边缘边缘云原生操作系统在各个细分管控均引入了分层设计。通过将管控拆分为中心控制、区域、边缘管控边缘仅保留最必要的处理逻辑其他数据处理、持久化和业务逻辑上移至中心或区域管控以此实现了边缘的极致轻量化。图里举了一个例子在 IaaS 管控这一侧拆分出中心控制器和边缘管控裸金属的持久化数据放在中心管控维护边缘维护的仅仅是缓存的元数据信息。 3.4云原生 laaS 管控虚拟机生命周期与容器解耦
这里针对 IaaS 管控再进行一下延展。我们自研了一套 IaaS 的云原生管控针对虚拟机结合了云原生运维上的便利性和调度能力以及传统虚拟化的实现实现了数据面在容器之外虚拟机生命周期与容器解耦通过自研 Resource Manager 来管理单机资源并实现和统一调度对接针对裸金属我们把数据持久化和处理尽量上移至中心管控实现了边缘裸金属管控的轻量化。结合了分层管控和自研管控真正在管控这一侧做到了轻边缘。 3.5降低弱网影响支持云边边边协同
为了应对弱网环境带来的挑战边缘云原生操作系统在中间件维度建设了云边通道方案通过云边通道在高可用维度提供了机房容灾网络容灾的能力在安全性维度提供了必要的鉴权和隔离支持。云边通道覆盖了边缘不同的协同场景包含编排的协同、服务间的协同、运维协同和数据协同。通过云边通道的整体解决方案我们实现了在边缘网络环境下对客户及内部业务间通信的有效保障。 3.6全面一站式观测及时掌握系统应用状态
在边缘云原生操作系统内我们提供了资源、服务、产品的全面一站式观测通过数据采集、治理、到标准化观测到业务能力打通可观测这一侧支撑了边缘云操作系统的自身运维、稳定性建设也支撑了上层服务的质量保障。 3.7海量节点统一运维界面稳定支撑边缘业务要求
最后是支撑边缘云操作系统系统运行的关键子系统 - 运维中心运维中心覆盖场景包括服务和资源交付、运营分析、稳定性保障等。运维能力的建设搭建在其他基础能力之上比如基于编排中心实现了集群编排和多集群管理。运维中心的原子能力还包括 CMDB 、软件包管理、配置单元、作业管理等通过原子能力、服务能力打造出来的整体运维能力支撑了边缘云操作系统和其上应用/服务的稳定运行和日常发布。 有了对边缘云原生操作系统特性、架构和子系统的了解下面来看看边缘云原生操作系统实际落地的业务场景 - 火山引擎边缘云。 4.业务应用实践 4.1火山引擎边缘云
首先来总体了解一下火山引擎边缘云。火山引擎边缘云融合异构算力和边缘网络构建在大规模边缘基础设施之上的云计算服务覆盖了现场边缘到云边缘形成了以边缘位置的计算、分发、网络、存储、安全、智能为核心能力的新一代分布式云计算平台这个平台的底座就是边缘云原生操作系统目前火山引擎边缘云在全球覆盖了 2500 节点拥有 150T 的储备带宽。 4.2火山引擎边缘云产品矩阵
火山引擎边缘云基于覆盖现场边缘、近场边缘、云边缘的基础设施在核心底座边缘云原生操作系统之上提供计算服务和网络服务。计算服务分为通用化计算服务和场景化计算服务通用化计算服务又包括边缘计算节点虚拟机、裸金属、x86 各种各样的 IaaS 算力、包括安全容器和普通容器在内的边缘容器实例以及边缘函数场景化计算服务则包括支持面向 AI 场景的边缘智能。在网络服务这一侧我们也支持两类服务一类是全球一体化内容分发与加速服务包括火山引擎 CDN 、 BytePlus CDN 和多云 CDN第二类是基于边缘网络原生的全域联网加速解决方案类包括全站加速DCDN、全球加速GA、边缘联网ECW。在计算服务和网络服务之上构建了我们的行业解决方案涵盖音视频、应用分发、云游戏、智慧城市等等。 4.3火山引擎边缘云行业应用 目前火山引擎边缘云已在多个行业领域实现应用落地包括但不限于泛互联网领域的视频直播、实时音视频、影视娱乐、移动终端、在线教育、电商零售和媒资信息处理汽车行业的辅助驾驶和车联网技术媒体行业的数字人和影视渲染游戏行业的游戏加速、AR/VR体验以及金融行业的税票政务本地化和分布式计算等。 5.演进和未来思考 面向未来我们将从以下三个维度持续提升产品与服务能力 在地域覆盖方面随着边缘云服务内外部客户业务的增长边缘云覆盖的节点范围也将持续扩大。火山引擎边缘云将从节点管理规模和合规性两个技术维度满足业务发展诉求。 在技术链路方面随着部分业务场景的成熟在成本、性能等核心技术点的建设将成为边缘云的强技术竞争力和业务探索的基础。火山引擎边缘云将持续建设该部分能力帮助业务实现单位性能的大幅提升。 在前沿技术领域随着人工智能的发展大量的 AIGCAI生成内容将推动 AI 计算能力向边缘端延伸以降低带宽需求和减少延迟。火山引擎边缘云也将持续探索边缘计算与 AI 技术的融合致力于让 AI 触手可及从而为用户带来更加卓越的体验。 同时边缘云原生操作系统针对追求极致轻量化、提供高性价比边缘算力的目标未来将在持续优化基础设施成本的基础上构建更轻量基础环境叠加细粒度资源管理、轻量化管控、按需混合部署的持续建设结合资源调度优化实现物理资源的最大化利用及客户业务资源的最优配比。
