11月6日,经过一年奋战,幼红书已把业界体量最大的数据湖0故障迁上阿里云。据统计,该项目共有1500人参加,迁徙数据500PB。
作为中国头部互联网公司之一,幼红书月活已过3亿,其数据湖存储了从前11年的所有原始数据,蕴含结构化、半结构化和非结构化数据。近年来,随着业务的高快增长,幼红书在线处置数据的需要不休增长,同时离线处置所堆集的汗青问题,也会在将来的切换中带来更多成本与风险。
为此,2023年11月,幼红书提议迁云项目——计整齐年内,把幼红书的数据湖搬上阿里云。
迁徙至阿里云上后,数据湖可通过多个OSS Bucket支持纳入统一资源池,实现多个Bucket共享资源池内的OSS吞吐及QPS能力。这样的流控能力在面向幼红书复杂业务场景,可矫捷调配资源,高效利用吞吐机能,降低分歧业务租户间的相互影响。阿里云原生HDFS+DLA元数据可实现无缝对接Hadoop EMR系统,支持元数据线性扩大能力,轻松应对幼红书数百PB数据下的元数据线性增长。
较于过往业界体量最大的案例,幼红书的本次迁徙的数据体量更大。
据介绍,幼红书的迁云项目经历了三个阶段。第一步,项目组首先解决尺度问题,而后凭据尺度进行治理;第二步,实现治理后,项目在2024年5月正式进入双跑阶段。把数据拷贝到阿里云上,双方同时跑数,验证正确性与实时性;第三步,2024年8月,项目实现双跑,进入割接阶段。阿里云团队全程在现场保险,顺利实现炼接。
2024年11月,幼红书迁云项目正式宣告实现。在0故障的情况下,迁徙数据500PB,工作11万,参加人数1500人,涉及部门40多个。









浙公网安备33059102000194号