北京时间5月16日上午,美东时间5月15日晚,PostgreSQL国际社区联合创始人、EDB副总裁Bruce Momjian做客中国PostgreSQL分会《PostgreSQL大咖面对面》,在志愿者Cary Huang和David Zhang的同声传译帮助下,与近百位PostgreSQL从业者、爱好者一起探讨未来的PostgreSQL分片。
在演讲环节,Bruce Momjian向大家分享了什么是数据库扩展;为什么要扩展;垂直扩展的选项和方式;非分片水平扩展的选项和方式;使用分片的意义;现有的分片选项;未来的分片需求—并行数据分片访问等内容。
之后的答疑互动环节,根据聊天栏内大家现场提出的问题,Bruce Momjian乐此不疲、一一做了解答。Bruce Momjian透露PostgreSQL 13版本将在几周后发布,但没有添加很多的分片管理功能。他表示分片的业务场景需求不多是导致社区开发较慢的原因,但也不会让大家等太久,原生分布式功能将在PostgreSQL 14作为重磅发布。
Bruce非常认可中国企业对国际社区sharding方面的贡献,如瀚高软件已经在社区提交了多个关于sharding的补丁,包括FDW的并行外部扫描、基于全局CSN的快照以及SI集成等功能,并希望PostgreSQL 14能包括更多来自中国的贡献。因现场提问较多,Bruce的解答在此就不作展现了,感兴趣的朋友可按文末网址/点击“阅读原文”浏览录屏视频,查看Bruce的回答(答疑自第31分钟开始)。
元数据存在哪里?如果存在协调员上,如何应对协调员宕机无法同步的问题?是否可以考虑将元数据放在单独的一个raft复制组上?
通过FDW实现的分片与Citus 各自的优势?
如果PostgreSQL社区想要实现分片,有没有与PostgreSQL xl不同的主要设计?
xid64 社区很早就提交了补丁,zheap 引擎也很早提交了,mvcc 老大难的问题什么时候才能解决掉?
目前有些场景,全局序列的性能在分布式中性能会大打折扣,请问PG后续计划在这方面有哪些优化手段吗
GTM会不会成为瓶颈,这个怎么解决;分片数修改的话,是不是要重新导数据,可以不用导数据吗,因为分片维护相比非分片维护性较复杂,对维护分片会有配套的比较好的维护工具吗?
对于没有唯一性约束的分布键,hash算法并不能解决数据倾斜问题,目前pg有哪些分布算法?以及如何规避分片数据倾斜问题?
现在新型的newsql 普遍采用了类raft复制方式,pg后面有无计划采用?
PG后面有无计划支持列存,这方面的工作进展如何?
PG有没有组件支持数据压缩功能,现在有些历史归档库占用空间太大,这块社区有没有计划支持?
最后的连麦对话环节,Bruce Momjian回答了他一直对技术、对PostgreSQL保持激情的原因及一些感想。
答:我在大学毕业后当过5年老师,当时我接触过数据库、听说过加密、Hash等名词,但不知道具体是怎么运转工作的,所以我就用业余时间钻研,包括很底层的一些研究。这种钻研是兴趣使然,当老师的经历也使我养成了持续学习的习惯。再就是,我在EDB、在国际社区是在家工作,我很喜欢这种方式,能让我保持激情。
本次直播录屏浏览地址:
电脑端打开网址:https://www.bilibili.com/video/BV1ng4y1B7sL/