网易数帆发布自主开源计划,聚焦云原生生产落地

时间:2022-09-29 17:11:41

10月21日,一年一度的网易数字+大会在杭州拉开帷幕,网易数帆在会上发布了围绕云原生生产落地的自主开源计划,在这一主题下开源的KubeDiag、KubeCube、Hango(函谷)等云原生项目,以及未来的更多开源项目计划。网易数帆基础架构总监张晓龙表示,这是网易数帆践行“架构开放,内核开源,把控制权交给客户”独特理念的真实写照。

网易数帆发布自主开源计划,聚焦云原生生产落地

自主开源,聚焦云原生生产落地

在数字化席卷全国的浪潮下,开源基础软件已经渗透到各行各业,其中又以Kubernetes、Istio、Spark等表现尤为突出。以网易为例,在其覆盖零售、音乐、教育、传媒、游戏的多元化业务之下,运行着100多个Kubernetes集群,每天有超过100亿次的服务网格调用量,超过15万的Spark任务。

作为基础软件提供者的网易数帆,在长期规模化实践中也积累了大量的经验。张晓龙表示,社区云原生开源组件功能强大,只是由于其复杂性,在企业生产落地过程中,尤其是大规模应用场景下,还存在诸多亟需克服的挑战。因此,网易数帆选择以解决云原生生产落地问题作为当前自主开源主题,围绕Kubernetes、Istio和Envoy生态,解决易用性、可用率保障、性能优化和成本优化等四个方面的问题

在这一主题下,网易数帆开源了云原生运维诊断系统KubeDiag、多租户可视化Kubernetes管理平台KubeCube和高性能云原生API网关Hango(函谷),分别致力于解决Kubernetes可用率保障、Kubernetes易用性和API网关性能和易用性等问题。这些项目也是网易数帆支撑集团互联网业务和服务外部客户沉淀下来的成果,经过了大规模业务实践的验证,同时也注重对鲲鹏等国产硬件平台的适配,能够让国内企业和开箱即用且自主可控的云原生基础软件的距离又靠近了一步。

此外,张晓龙透露,在未来几个月中,网易数帆还将开源日志服务项目Loggie,基于Kubernetes的在/离线混部项目Zeus,以及服务网格性能加速项目MeshTurbo等,继续为夯实云原生基础软件做贡献。在网易数帆的这些自主开源项目中,贡献给CNCF的计划也已经排上日程。

网易数帆的开源计划获得了CNCF积极的反馈。Linux基金会亚太区策略规划总监、CNCF中国区总监Keith Chan对表示,网易作为CNCF会员,在云原生技术应用、标准推广及社区生态完善方面都做出了长期的努力,凭借这些积累,以及对业务痛点的把握,网易数帆此次发布的云原生开源主题和新项目,将能够对云原生技术与行业场景的深度融合产生巨大的价值。

KubeDiag,开创运维经验即代码时代

云原生运维诊断系统KubeDiag(https://github.com/kubediag/kubediag)是本次发布的一个特色项目。在传统工作模式下,云原生场景下故障/问题诊断依赖经验手工处理,解决效率低下且无法较好沉淀形成诊断能力,为此设计的KubeDiag,则通过提供交互式排障工具,以及诊断恢复流程的代码化记录,很好地解决了这一问题。

网易数帆发布自主开源计划,聚焦云原生生产落地

张晓龙介绍了KubeDiag的三大核心优势。其一是经验即代码,诊断经验100%通过代码实现,易沉淀复用。其二是自动化,以流水线方式高效编排诊断过程,可一键点击/自动触发运行。其三是良好的可移植性,以Kubernetes Operator实现,可以在任意Kubernetes环境无差别地运行。

张晓龙透露,在网易,KubeDiag已经实现全部Kubernetes集群接入,带来的直接结果是运维诊断效率提升300%,人力成本降低80%。更重要的是,系统已形成了近100个故障/问题场景的自动化诊断处理能力沉淀。正是这些能力沉淀,可以让不同行业不同场景下Kubernetes可用率保障的提升变得简单。

坚持内核开源,把控制权交给客户

架构开放,内核开源”是网易数帆及其背后的网易杭州研究院一贯坚持的技术理念,张晓龙表示,这一理念出发点是拥抱社区加速创新,让基础软件平台演进更有生命力,而在为外部客户提供服务之后,网易数帆发现这还有一层好处,就是把控制权交给客户,让客户获得真正没有厂商锁定的技术底座。

践行这一理念,在使用开源技术的同时,网易数帆也注重回馈社区,在Kubernetes、Istio、Envoy、Spark等项目实现累计500多次提交,涉及100多项重要能力,如Envoy 的 tracing能力增强、 Lua script的支持等,期间团队也产生了Apache Spark Committer、Harbor Maintainer等重要贡献者,这代表了社区同道的高度认可。

在此之前,网易数帆还主导开源了大数据项目Apache Kyuubi (Incubating)、分布式存储项目Curve和服务网格项目Slime。其中Apache Kyuubi (Incubating)已经在2021年6月进入Apache软件基金会孵化,并形成了更加良好的社区氛围。目前,网易数帆自主开源技术已经中国华融、深圳证券交易所、华为、小米、知乎、爱奇艺、T3出行、B站和丰巢等企业落地应用。

2021年,开源被列入我国“十四五”规划,同时核心技术自主可控的需求也更加强劲,网易数帆以独特的理念在开源领域发力,预示着企业和开发者在数字化转型升级的工作中将能获得更为强力的支持。

当然,开源项目能否成功,社区极为关键,网易数帆也渴望志同道合的伙伴参与到社区建设之中。读者可以通过网易数帆开源频道(https://sf.163.com/opensource)访问项目文档、源码,加入社区。