第 134 期 JuiceFS 导出/导入元数据的优化之路
YouTube
JuiceFS 是一款云原生分布式文件系统。在用户使用过程中，对元数据进行迁移和备份必不可缺的一个场景。随着用户元数据的数据量越来越大，有些重度用户的元数据甚至可达到亿级水平，元数据的迁移和备份的性能备受挑战。在最近的一个版本 V1.0 RC1 中，JuiceFS 元数据的迁移和备份性能获得了几十倍的优化。将分享一下我们在本次过程中实践的经历。
大纲
- 元数据 JSON 文件导出/导入实现背景介绍
- Go 处理大规模 JSON 文件遇到的问题和优化
- Go 滑动式导出数据库内容的实践
分享者自我介绍
大家好我是来自 Juicedata 徐桑迪，具有 10 年的 C++ 与 Go 语言开发经验。作为技术团队初始成员负责 JuiceFS 的开发，并深度参与开源社区中，在高并发、分布式、高可用等方面的系统搭建与调优有所研究。
计划分享时间
2022-06-30 21:00:00 UTC+8
分享地址
Bilibili 直播：
https://live.bilibili.com/h5/11171965
Slides
#134 JuiceFS 导入导出元数据的优化之路 by 徐桑迪.pdf (1.4 MB)