顺丰科技云原生实时数据湖助力大数据架构稳定
7月15-16日，全球架构师峰会于深圳召开。顺丰科技以《大数据架构稳定性保障实践》为题，与业界同仁共商大数据架构稳定问题。
在大数据发展近十年的时间里，大数据架构在不断发生变化，而这些改变，不断冲击当前企业大数据架构，给业务、信息部门带来很大挑战。为了更好地保障大数据架构稳定，顺丰科技林国强在会议上分享了顺丰科技大数据团队的相关实战经验。

在林国强看来，远古期的大数据架构较为简单，在中小规模场景下比较有优势；近古期的大数据架构可以支撑实时流处理业务及处理海量实时数据；近现代的大数据架构依托Flink和Spark更统一。如今的大数据架构，依靠实时数据湖，能解决架构指标一致性和资源重复投入问题，提高指标分析时效性、管理和运营的决策效率。
而决定架构稳定的关键因素有扩展性、可用性（容灾双活）、自适性（自动化评估）、易用性（批流一体化）以及先进性（数据仓库实时化）。对于传统大数据厂商来说，核心打法为平台（私有化为主）+数据治理+定制化开发方式，但整体缺乏新意。公有云厂商则采用云基础设施+生态能力相结合的方式，但市场感知度不强；而顺丰科技标新立异，主要做好标准化（SQL）支持的同时支持接口开放性和线上运营。
在大数据架构场景趋势方面，顺丰科技打通“实时数仓，批流合一”、“存算分离，弹性伸缩”、“多云管理，跨云计算”三大场景，将数仓计算效率提高4倍，时效控制在1分钟内；另外，顺丰科技已开始支持多云管理和部分跨云计算。
而基于第四代云上仓数的云原生实时数据湖，目前顺丰科技在通过存算分离、实时数仓、多云融合等核心技术，实现弹性伸缩和多云统一架构。在对未来的大数据架构畅想中，顺丰科技认为大数据架构趋势可以从云原生实时数据湖入手，在打造存算分离、实时数仓、湖仓一体三大核心能力的基础上，实现客户价值：T+1–>T+0。通过极致弹性、实时数据湖、安全托管、SQL以及数据生态等关键能力，可实现数据安全的同时复用公有云弹性资源，数仓更新时效由天变秒，跨云、跨大数据引擎全局统一元数据管理和确保客户对数据密钥有自主管理权，实现数据不共享但模型参数共享。
据悉，未来顺丰科技将继续融合隐私计算“数据可用不可见”的技术特性，不断为数据安全合规注入防护力量，让数字生活更简单安全高效。