Nydus 2024 GLCC & OSPP Meeting

[imeoer]

• [GLCC 2024] support local tarball for nydusify copy #1592
• [GLCC 2024] content not found: switch containerd to use nydus snapshotter #1061
• [OSPP 2024] snapshotter & nydusd config hot reload #1591
• [OSPP 2024] optimize image by blob compact #1590
• [OSPP 2024] optimize image by prefetch analysis #1589

[imeoer]

2024.08.07

compact

• 前置 PR：https://github.com/dragonflyoss/nydus/pull/1606，需要个小修改；
• snapshotter converter 中涉及 unpack 的部分，需要兼容新的 nydus-image unpack 命令；
• 写个 smoke 测试跑通 compact 基本功能，再考虑做性能测试和优化；

config hot reload

• 前置 PR：加 cargo deny 配置，忽略 openssl crate 检查，单独提 pr 加 mount api 测试；

nydus export import

• source / target 支持 file://，再优化掉落盘过程，直接做 io.Copy；

switch snapshotter

• 复现问题：[GLCC 2024] content not found: switch containerd to use nydus snapshotter #1061
  1. 设置 discard_unpacked_layer = true；
  2. pull OCI v1 镜像，会发现 layer 在 content 中删除了；
  3. 切换 snapshotter，再 pull OCI v1 镜像，就会报错；

[imeoer]

2024.08.14

prefetch

• 正在理清 chunk info 数据结构，需要再看下 create 中的 blob dump 实现代码；

nydus export import

• 正在开发 nydusify copy remote 功能，接下来看下如何优化掉落盘过程；

switch snapshotter issue

• unpack image -> snapshot prepare (image layers)
• create container -> snapshot prepare (rw layer)
• 继续打印日志看下 unpack 流程；

config hot reload

• 提交 mount/umount by api PR；
• mount 调用路径：client.Mount <- sharedFusedevMount <- SharedMount <- mountRemote <- chooseProcessor <- func (o *snapshotter) Prepare；

[imeoer]

2024.08.21

OSPP deadline: 09.30
GLCC deadline: 10.20

[OSPP] prefetch optimize

• 正在写 bootstrap 生成代码，生成新 blob 需要从 remote backend 读 chunk；

[OSPP] compact optimize

• nydus snapshotter converter unpack 兼容适配中；

[OSPP] config hot reload

• 提交了更新后的 mount/umount by api 测试 PR；

[GLCC] image export / import

• 基本实现了 copy tarball 功能，待写 smoke 测试，以及解决落盘问题；

[GLCC] snapshotter switch issue

• 继续打印日志看下 gc labels 差异；

[imeoer]

2024.08.28

OSPP deadline: 09.30
GLCC deadline: 10.20

[OSPP] prefetch optimize

• 正在写 bootstrap 生成代码，先生成 bootstrap 后能够 nydus-image check 检查；

[OSPP] compact optimize

• nydus-image compact / unpack 修改 pr 已更新；
• nydus snapshotter converter unpack 兼容适配中；

[OSPP] config hot reload

• 提交了更新后的 mount / umount by api 测试 PR；

[GLCC] image export / import

• 基本实现了 copy tarball 功能，待写 smoke 测试，以及解决落盘问题；

[GLCC] snapshotter switch issue

• 继续打印日志看下 gc labels 差异；

[imeoer]

2024.09.04

OSPP deadline: 09.30
GLCC deadline: 10.20

[OSPP] prefetch optimize

• 正在写 bootstrap 生成代码，先生成 bootstrap 后能够 nydus-image check 检查；

[OSPP] compact optimize

• 正在做 nydusify compact (optimize) 命令实现；

[OSPP] config hot reload

• mount / umount by api 测试 PR 已 merge；
• 梳理 snapshotter 不落盘的逻辑中；

[GLCC] image export / import

• copy 解决了 manifest list 处理问题；
• 冒烟测试：有了大概思路，正在实现中；

[GLCC] snapshotter switch issue

• 找到了问题点，正在用 workaround 代码尝试解决；

[imeoer]

2024.09.18

OSPP deadline: 09.30
GLCC deadline: 10.20

[OSPP] prefetch optimize

• 正在写 blob 生成逻辑，在加 backend 读取并写 dump chunk 的逻辑；

[OSPP] compact optimize

• snapshotter 的 unpack PR CI 有点问题正在 debug；

[OSPP] config hot reload

• snapshotter CI 需要解决下，以及写下测试文档；

[GLCC] image export / import

• 开放性改进：解决 content store 落盘的问题；

[GLCC] snapshotter switch issue

• 先提一下 containerd PR，等 maintainer 提下意见；
• 提了一个 retry read blob medata 的 PR，待合并；