version 0.0.3
版本
0.03
运行时间统计(五次运行平均)
测试框架为google benchmark, 不含前后处理，运行时间受当时机器负载影响。
| 模型种类 | 版本 | batch size | 输入大小 | 运行时间 (ms per img) |
|---|---|---|---|---|
| MobileNet | V3Small | 8 | 224 x 224 | 6.6 ms / image |
| ResNet | ResNet18 | 8 | 224 x 224 | 20.91 ms / image |
| ResNet | ResNet18 | 16 | 224 x 224 | 14.62 ms / image |
| Yolov5 | V5Nano | 4 | 320 x 320 | 22.89 ms / image |
| Yolov5 | V5Small | 8 | 640 x 640 | 159.22 ms / image |
| Yolov5 | V5Small | 16 | 640 x 640 | 108.79 ms / image |
硬件
硬件租赁于autodl, 所有测试在容器内进行
- CPU: 22 vCPU AMD EPYC 7T83 64-Core Processor
- 内存: 90GB
- 硬盘: 系统盘:30 GB
软件
- KuiperInfer: version 0.03
- OpenBlas: latest
- Armadillo: version 12.4
- OS: Ubuntu 22.04