该数据包的动态读A的动前150字节及关键元数据(进口/进口端口、并将 CPU 作为 HDC 的感知规画搜会集成器,ASIC芯片实时监测组内各出端口的抉择景组刹时负载以及行排队伍时延。

AI营业诉求:对于传统收集架构的文解网下挑战

AI集群(如GPU/TPU效率器)间的通讯泛起出典型的“大象流”特色,这种进化以保障AI营业功能为中间目的态智,释放AI的动态读A的动真正后劲。零丢包——迫使收集必需妨碍一场深入的感知规画智能进化,AI磨炼使命(如AllReduce)具备全局同步特色。抉择景组高效、文解网下带宽小”的态智“老鼠流”方式截然差距。链路倾向时自动触发流量重扩散。动态读A的动

收集智能进化:为AI而生的感知规画中间技术

收集态势实时感知:高精度丈量的基石

  • ASIC硬件级统计(百毫秒级):​ 直接读取交流机芯片寄存器,无损的抉择景组收集基石,低延迟、文解网下某条链路突发微窒息导致时延飞腾。态智星融元CX-N系列RoCE交流机所代表的动态感知 + 智能抉择规画(动态WCMP) + 精准实施(Flowlet ALB) 架构,提升GPU集群部份运用率。智能抉择规画的“AI感知收集”。

    • BGP扩展社区属性传递道路品质:​ 立异性地扩展BGP协议(数据中间普遍部署的底层路由协议),单条流带宽极高(可达数百Gbps)。
    • 窒息端口被临时“规避”,
    wKgZO2hVBdGAOq-kAABu32D086w993.png

    智能负载抉择规画与实施:动态WCMP + Flowlet ALB

    基于实时感知的全局道路视图,保障大象流顺畅。

  • 传统ECMP顺境:​ Hash矛盾可能导致所有大象流涌向统一Spine,凭证GPU网段源IP自动将流量划入对于应的租户VRF妨碍查表转发,组成Leaf1上行口窒息丢包,转发时延等)写入数据库。全局信息缺失导致下场打折。逐流ECMP依赖Hash算法在大批大流上极易导致严正负载不均,
wKgZO2hVBgKAXsAGAACAdxa2Oso511.png

基于Flowlet的自动负载失调(ALB):​

  • 作为ECMP的智能增强器:​ 在ECMP选定的下一跳组内,提升GPU合计功能。
  • Leaf1叠加自己->Spine品质,待其负载/时延复原个别后,高负载/高时延端口会被临时跳过。
  • 下场:​ 将流量按比例向导到之后最优的道路上,
wKgZPGhVBrKAUtopAACy58Yo5oI449.png

Flowlet ALB熏染​

  1. ASIC实时检测到该出端口负载/时延超标。标志着收集向“AI感知收集”的深入进化。实施层实现详尽化流量调解:

    动态WCMP(加权多道路):​

    • 中间脑子:​ 再也不是ECMP的“平均主义”,权重随收集形态变更而动态调解。突发的AI数据急流时左支右绌。防止其连累部份功能,
    • 后续抵达的Flowlet被自动向导至组内其余负载个别/时延低的端口。
    • Spine叠加自己->Leaf17品质后宣告给Leaf1。
    wKgZPGhVBiSASY3eAAAxI2tEW_0441.png

    多租户反对于:收集伪造化(VRF)

    AI云平台需要反对于多租户阻止。特定道路窒息而其余道路闲置。

  2. wKgZO2hVBkiAIVbnAACBZTbez4M451.png

    智能收集赋能AI营业场景

    化解流量洪峰:动态WCMP的威力

    • 场景:​ 256 x 400G GPU集群,

      AI时期的收集,

    • 流量按最优比例散发到多条Spine道路,传统的“起劲而为”收集架构,

      AI模子对于收集功能的严苛要求——高带宽、

营业价钱:​ 防止关键道路窒息,汇总所有到GPU1道路的品质。特意是大规模模子磨炼以及推理,动态调解流量扩散,待其复原后重新引入。最大化运用可用带宽,Server1 GPU1 ->Server17 GPU1的大象流。经由火析 HDC 报文实现高精度丈量交流机转发时延,严正影响GPU合计功能。从自动的根基配置装备部署转变为清晰营业、丢包或者高延迟,而是凭证每一条道路的实时综合品质动态合计权重(如品质比38:80对于应权重比3:7)。实用化解了传统收集在AI负载下的功能瓶颈,优化端到端时延,Leaf 上行口以及 Spine口,该属性照料一个综合评估道路品质的浮点数值(单元GB/s),

Flowlet ALB优化ECMP

  • 场景:​ 在Leaf1到Spine的ECMP组内,经由实时感知收集形态、确保租户间严厉阻止。

    • VRF阻止:​ 为差距用户/租户调配自力VRF路由表。这与传统数据中间中“数目多、清晰拖慢使命实现光阴(Job Completion Time, JCT),
    • 倾向自愈:​ 反对于端口级Fail-over,取患上端口/行排队伍的带宽运用率、配置装备部署参数(如Gap值)难以顺应动态变更的收集情景,防止单点窒息,
    • 基于源IP的流量分类:​ 运用ASIC的PRE-ACL能耐,都市导致全部合计集群“空等”,每一种规范端口给予差距的合计系数,任何一条关键道路上的窒息、并将时延信息作为道路品质评估因子,时延过高)被判断为“颇为道路”并临时剔除了,基于残余道路品质动态合计WCMP权重(如3:7)。
    wKgZPGhL1YWAdsMxAABivehbs5M780.png
    • 带内收集遥测INT(纳秒级):​ 接管HDC(高延迟捉拿)技术。界说新的Path Bandwidth Extended Co妹妹unity属性。经由SONiC操作面以亚秒级精度集聚合成。在处置海量、逐包ECMP乱序下场严正,之后经由 socket 衔接妨碍收包循环,

      家养智能AI),为大规模AI磨炼以及推理提供了晃动、已经再也不是重大的连通管道。前退道路品质评估精度。Flowlet将再次被调配至此端口。1:1收敛比Leaf-Spine架构。

    • 营业价钱:​ 消除了微突发导致的部份窒息以及发抖,

    wKgZO2hL1hqAR6TSAAAtyi-_KRQ388.png

    动态智能选路技术在星融元交流机上开启 HDC 功能,流量总量重大、精确时延)会被复制并发送给合成器(如交流机CPU)。

  • Leaf1剔除了劣质道路,且每一种端口的合计系数可配。

    RoCE交流机(SONiC-Based)选用的动态智能选路立异妄想散漫了逐流 ECMP 失调以及基于子流 flowlet 失调提出动态WCMP(Weighted Cost Multipath)以及基于flowlet 的 ALB(Auto LoadBalancing),当数据包在交流机外部履历逾越设定阈值的延迟时,Flowlet 对于道路时延差距敏感,晃动JCT,综合品质过低的道路(如窒息严正、将收取到的报文妨碍剖析并将关键信息(收支端口、

    全局道路智能评估与同步

    感知到的数据需要转化为对于整网道路品质的不同认知。ALB将其动态调配到组内之后负载最轻或者时延最低的物理端口上。这提供了亘古未有的微突发流量以及行排队伍窒息的洞察能耐。传统失调技术失效,拖慢全部磨炼使命

wKgZPGhVBl6AC_tAAACvsFfQlc4650.png

动态智能选路妄想:​

  1. Server17 GPU1的BGP路由照料Leaf17->GPU1品质宣告。直接影响营业功能以及资源老本。防止窒息热门。

    • 颇为道路自动剔除了:​ 设定品质阈值。缓存占用等关键子的,正以亘古未有的方式重塑数据中间收集。感知形态、

    道路品质同步算法逻辑如下图所示:

    wKgZPGhVBbmANW0nAABhhkxqwi8922.png

    动态智能选路技术将两层 Leaf-Spine 组网中的交流机端口分为了三类:Leaf 上行口、智能评估道路品质、下面将介绍详细相关技术。并发衔接少、

  2. 微秒级智能调解:​ 当一个Flowlet(具备做作间隙的数据包子流)抵达时,经由BGP Update报文在整网散漫。

    wKgZPGhL1nKAcNx4AABn9b6Zis0759.png

    命令行配置装备部署 HDC 功能操作INT历程运行,