在图数据技术与应用创新专场,来自字节跳动、蚂蚁集团、等方面的专家重点介绍了图数据库技术的前沿发展与创新应用。去年的图数据库专场,大家谈论比较多的技术细节,比如万亿大图的点切以及边切等,今年谈论更多的是图数据库的应用以及生态建设等。
字节跳动研发工程师陈超带来了“字节跳动图数据架构演进——索引和执行优化”的主题演讲,聚焦于图数据库中的索引加速和执行优化,分享 ByteGraph 在性能优化方面的一些进展。 ByteGraph 是 字节跳动 自研的分布式图数据库存储系统 ,采用计算存储分离架构,支持有效图模型,支持 Gremlin 图查询语言,读写吞吐可以扩展到千万 QPS ,目前 ByteGraph 已经部署了 1000 多个集群,遍布全球多个机房,支持头条、抖音、西瓜视频、电商风控图谱等多个业务。在社交网络中,图计算系统会存在超级节点问题,例如抖音中网红大 V 会有千万或者上亿粉丝,超级节点会影响单机的可用性,针对超级节点, ByteGraph 会对每条查询分为轻查询和重查询两类,同时会把单机资源划分到新查询池和重查询池,查询时将对应类别查询, 通过这种方式,限 制重查询使用的资源量,避免少量重查询打满单机 CPU ,后续 ByteGraph 也会持续优化自适应限流机制。针对超级节点,除了限流,还会做一些自适应局部索引,在系统内部会衡量识别查询代价和构建索引后的执行代价。
蚂蚁集团图数据库负责人洪春涛带来了“蚂蚁高性能图数据库 TuGraph-DB 技术思考及实践”的主题演讲,关联数据爆炸性增长对图计算高效处理提出迫切需求,图计算利用图形结构描述事物联系,成为分析复杂关系数据的重要使能技术。蚂蚁集团联合清华大学研发了大规模图计算系统 TuGraph 。 TuGraph 图计算系统由图数据库 TuGraph-DB ,流式图计算系统 TuGraph-DataFlow ,离线图计算系统 TuGraph-Compute 等多个子系统构成。其中 TuGraph-DB 是一个高性能分布式图数据库,它历经蚂蚁万亿级业务的实际场景锤炼,已经成熟应用于金融风控、搜索推荐、设备管理等内外部场景。
洪春涛指出,图计算是一种很通用的、更高层次的抽象计算方法,上个世纪 70 年代末 80 年代初其实就已经有图数据库概念,后来关系型数据库得以快速发展,而图数据库没有那么快发展起来,主要原因在于彼时计算机还没有那么强大,关系数据库这种二维表的表达对计算机会更友好,而现在多跳查询等复杂关系的查询, SQL 会有挑战,图计算在多跳查询等方面会有很大的优势。洪春涛认为目前图计算系统的发展还处于一个比较早期的阶段,未来走向普及还有很多工作要做,包括易用性、性能和成本以及标准化等问题。图计算系统的发展最重要的是生态,需要有更多的用户、更多的场景来应用,才能不断推动图计算系统的发展。
第十三届中国数据库技术大会( DTCC2022 )获得了圆满成功,有太多的不易,有太多需要感谢,有太多值得被记录。一点一滴,创新永无止境,众志成城,未来必将行远。中国数据库技术发展的新历史正在被书写,创新是国产数据库的唯一出路,未来的辉煌需要每一个数据库从业者共同去创造。我们有幸是时代的见证者,我们有幸是时代的参与者,在这个数据库的好时代,我们满怀热情,脚踏实地。我们期待下一次相遇,因为每一次相遇都会有前进的欢喜。 DTCC2023 ,第十四届中国数据库技术大会,不见不散!