feat: B7 APIC/IOAPIC接管 + NVMe写路径 + virtio_net virtqueue + PE兼容层修复 + QEMU测试套件全自动化

中断路由 (B7):
- apic.drv: LAPIC enable + IOAPIC重定向表编程(MADT ISO感知) + apic_route/apic_route_legacy/apic_diag开关
- UTSM: LAPIC EOI钩子(register_apic_eoi, ABI尾部追加) + IDT 0-255全覆盖 + spurious 0xFF特判
- FUCK: apic_route=0默认PIC(零回归) / =1 IOAPIC->LAPIC接管(失败完整降级) / legacy放开IRQ1/12/11

存储:
- nvme.drv: 写路径 + PRP list + 读回校验 + MSI/MSI-X中断驱动(nvme_msi开关, 回退纯轮询)
- build.ps1: apic.drv纳入构建(原为预置二进制)

网络:
- virtio_net: virtqueue RX/TX + netdev注册 + DHCP自测(slirp真实OFFER)

PE兼容层:
- pe_shim: guest->host指针转换(g_emu_mem_base + gp()) + shim fn32列补齐
- gen_pe.py: PE32+ RVA偏置修复(BUG-004) + cmd.exe生成
- desktop_app.h: da_mouse_poll先判AUX位 + da_mouse_init冲刷残留(BUG-003/008)
- shell: Ctrl修饰键跟踪(BUG-001) + g_run_image扩至1MB(BUG-002)

QEMU测试套件:
- 9用例全自动化(Run-All.ps1): boot-regression/driver-matrix/linux-compat/pe-compat/deaicup-e2e/userapps-matrix/network-e2e/performance-baseline/x86emu32-coverage
- QemuTest.ps1公共库: 串口断言/monitor sendkey/screendump/HTTP服务器/并发隔离

文档:
- CLAUDE.md: APIC/IOAPIC能力 + kernel_api暴露 + IRQ后端升级状态
- LESSONS_LEARNED.md: B7 LAPIC/IOAPIC经验教训(2条)
- Bug记录.txt: BUG-20260801-001~008 + BUG-20260803-009(9条)
- test-cases/*.md: 全部补充自动化脚本小节
- 桌面设计.md: .lnk快捷方式 + LINUXAPP.CNF Linux应用图标
- 系统开发策划.md: NVMe/virtio_net标完成 + B2/B7标已解决 + M2进度列
This commit is contained in:
xyou
2026-08-04 18:08:08 +08:00
parent f52157b7af
commit a26866e339
70 changed files with 4652 additions and 504 deletions
+48 -5
View File
@@ -25,14 +25,57 @@
## 自动化执行
```powershell
# 运行全部自动化测试场景
.\ISO\run_tests.bat
PowerShell 5.1 测试套件位于 [tests/qemu/](../../../tests/qemu/),每份矩阵文档的"自动化脚本"小节
列出对应用例脚本与参数。总运行器顺序执行全部 9 个用例并汇总:
# 输出
# ISO/logs/test-report-<timestamp>.md
```powershell
# 全量(先构建镜像再跑 9 用例)
.\tests\qemu\Run-All.ps1 -Build
# 复用现有镜像全量跑
.\tests\qemu\Run-All.ps1
# 只跑指定用例(逗号分隔,大小写不敏感)
.\tests\qemu\Run-All.ps1 -Only network-e2e,x86emu32-coverage
```
| 用例脚本 | 对应文档 | 说明 |
|---|---|---|
| boot-regression.ps1 | [boot-regression.md](boot-regression.md) | B1~B5 启动场景(-Scenarios 过滤) |
| driver-matrix.ps1 | [driver-matrix.md](driver-matrix.md) | 16 清单驱动加载矩阵 + NVMe 写路径 |
| linux-compat.ps1 | [linux-compat.md](linux-compat.md) | VMM 分流(-Cpu max 走路径 A) |
| pe-compat.ps1 | [pe-compat.md](pe-compat.md) | PE32+ 原生 + PE32 x86emu32 |
| deaicup-e2e.ps1 | [pe-compat.md](pe-compat.md) | Deaicup GUI PE 端到端(首帧像素/键鼠消息/Esc 退出链) |
| userapps-matrix.ps1 | [userapps-matrix.md](userapps-matrix.md) | shell dev_tests + id/ping/editor/fileman/browser 全交互(sendkey 驱动 + Esc 退出链) |
| network-e2e.ps1 | [network-e2e.md](network-e2e.md) | N-A netman / N-B curl(-Scenarios NA,NB) |
| performance-baseline.ps1 | [performance-baseline.md](performance-baseline.md) | 启动阶段墙上计时(-Runs N) |
| x86emu32-coverage.ps1 | [x86emu32-coverage.md](x86emu32-coverage.md) | 静态枚举 + hello32 动态执行 + shim/返回链硬断言(末锚点被 cmd AUTOEXEC 缓冲别名系统 bug 阻塞,见文档) |
公共库 [tests/qemu/lib/QemuTest.ps1](../../../tests/qemu/lib/QemuTest.ps1) 提供 QEMU 会话管理、
串口日志断言(必须/禁止/顺序/计数)、monitor sendkey/screendump、firstInit/AUTOEXEC 场景
备份-替换-恢复、极简 HTTP 测试服务器。所有 QEMU 启动带 `-snapshot`(镜像只读,避免写锁与并发冲突;
可用 `-NoSnapshot` 关闭),monitor 端口按用例固定分配(boot-regression=45501、
driver-matrix=45502、linux-compat=45503、pe-compat=45504、deaicup-e2e=45454、
userapps-matrix=45505、network-e2e=45506、performance-baseline=45507、x86emu32-coverage=45508;
被占用时段内自动退让,兜底 45509-45599),避开人工调试 4444 与其他套件 456xx/457xx。清理策略只杀本套件 `-name deshabtest-` 标记的会话,
绝不全局杀 QEMU(并发代理/人工调试不受影响)。
并发隔离(套件可与其他代理/人工的 QEMU+build 并发运行):
- QEMU 只挂私有镜像副本:deshab/nvme/usb 镜像在 `Initialize-QemuTest` 时复制到
`.build_tmp\tests\img\`(share-tolerant 读取 + 60s 重试;mtime+size 未变则跳过);
- 场景翻转(firstInit.txt / AUTOEXEC.BAT)只写 `.build_tmp\tests\SYSTEM\` 镜像树
(robocopy /MIR 自共享 SYSTEM 同步),SATA 镜像由 `.build_tmp\tests\fat32gen\` 下的
mkfat32.ps1 副本生成到私有路径——共享 SYSTEM 树与 `.build_tmp\sata_fat32_dsk.img`
全程不被套件读写;
- 会话早夭自愈:WHPX 分区强杀后偶发重建异常(guest 启动即三重故障,日志仅一行
`Ignoring request for interrupt vector 0`),启动 3s 内死亡且日志 <4KB 时自动重开一次。
临时文件与日志输出到 `.build_tmp\tests\`(Run-All 汇总日志在 `.build_tmp\tests\runall\`,
性能基线 JSON 在 `.build_tmp\perf_baseline.json`)。每用例独立子进程 + 场景恢复,幂等可重复执行。
退出码约定:用例全部 PASS → 0;任一 FAIL → 1。MANUAL/SKIP 项不影响退出码。
## Bug 跟踪
所有测试发现的 bug 登记到 [../Bug记录.txt](../Bug记录.txt),并在对应测试文档中引用 bug 编号。
+20
View File
@@ -63,6 +63,26 @@ stage 3 (optional): e1000 → virtio_net → ath9k → ps2kbd
-device virtio-net-pci,netdev=net0 ^
```
## 自动化脚本
[tests/qemu/driver-matrix.ps1](../../../tests/qemu/driver-matrix.ps1) 单次 QEMU 会话挂全设备
(SATA 测试盘 + NVMe 测试盘 + xHCI USB 盘 + e1000),断言 4 个 stage 共 16 个清单驱动的
加载顺序与功能锚点:
```powershell
.\tests\qemu\driver-matrix.ps1 # 复用现有镜像
.\tests\qemu\driver-matrix.ps1 -Build # 先全量构建再测
```
自动断言内容:
- 16 个 `driver ready` 锚点按 manifest 顺序(ath9k 走 FUCK 禁用路径,断言 `[DSM] driver disabled by FUCK`)
- 功能锚点:ahci/nvme block provider 注册、fat32 经块设备解析镜像、e1000 netdev+link、ps2kbd IRQ1、virtio_net 无设备降级
- NVMe 写路径回归:LBA0 签名识别 → write+flush+readback 逐字节校验(PRP2 + PRP list 两趟)→ 签名完好,且 ahci0=0 → nvme0=1 注册顺序
- `[DKM] external driver active` ≥ 15、`[DSM] stage end` × 4
已知限制(与上方一致):virtio_net 在 e1000-only 拓扑断言降级锚点;xhci USB MSC 枚举仅断言驱动就绪。
## 已知限制
- NVMe BAR0 在 QEMU 中常位于 4G 以上,当前 HHDM 不能安全访问,需 Phase 0 高位 MMIO 映射解决
+17
View File
@@ -38,6 +38,23 @@
| exec daemon 先发 EXEC_READY 再 HLT | daemon 源码 [utsm_exec_daemon.c](../../CODE/linux/initramfs/bin/utsm_exec_daemon.c) | ⬜ |
| UTSM hypercall ABI: RAX=magic\|op | 检查 [hypercall.c](../../CODE/UTSM/vmm/hypercall.c) 处理 | ⬜ |
## 自动化脚本
[tests/qemu/linux-compat.ps1](../../../tests/qemu/linux-compat.ps1) 动态检测 VMM 可用性,自动分流:
```powershell
.\tests\qemu\linux-compat.ps1 # QEMU WHPX:走路径 B(VMM unavailable 优雅降级)
.\tests\qemu\linux-compat.ps1 -Cpu max # 真机/KVM nested VMX:走路径 A(完整双内核流程)
```
- **路径 A**(guest VMX 可用):按序断言 A5.1~A5.7 启动链锚点
(VMM init → self-test → bzImage → IPC shm → vmlaunch → `Linux version` → daemon park →
`[LNXC] service ready` → DSK),随后经 monitor 按键执行 `dsl` / `dsl ls` / `dsl uname -a` /
`dsl nosuchprog` 覆盖 A5.8~A5.12。
- **路径 B**(QEMU WHPX/TCG 无 nested VMX,本环境预期):断言 `[UTSM] VMM unavailable` 后
DSK 正常接管、dev_tests 完成、`dsl` 报告运行态不可用、Esc 到 desktop;
A5.1~A5.12 标记 SKIP(环境限制,非产品缺陷)。
## 已知限制
- QEMU TCG 不支持 VMX,必须 WHPX 或真机
+22
View File
@@ -55,6 +55,28 @@
- curl 64KB 页面接收无明显停顿
- DHCP 总耗时 < 5s
## 自动化脚本
[tests/qemu/network-e2e.ps1](../../../tests/qemu/network-e2e.ps1) 分两个场景:
```powershell
.\tests\qemu\network-e2e.ps1 # N-A + N-B 全跑
.\tests\qemu\network-e2e.ps1 -Scenarios NA # 只跑 netman 全链路
.\tests\qemu\network-e2e.ps1 -Scenarios NB # 只跑 curl 主机侧端到端
```
- **场景 N-A**(netman 全链路,首启调度,覆盖 N1~N5):firstInit=`0\n0`,挂 e1000(net0) +
virtio-net(net1) 双网卡。断言 virtio_net selftest(真实 slirp DHCP OFFER)→
netman 双设备枚举 → DHCP DISCOVER/OFFER/REQUEST/ACK → ARP 网关解析 → DNS example.com →
`network final rc=0x0000000000000000`,并禁止 `no OFFER / ARP timeout / DNS timeout / [PANIC]`。
- **场景 N-B**(curl.elf 主机侧端到端,覆盖 N8/N10):dev_mode shell → 交互 `curl` →
输入 `http://10.0.2.2:8000/`。脚本在主机 127.0.0.1:8000 起极简 HTTP 服务器
(QemuTest.ps1 `Start-TestHttpServer`),断言主机侧收到 `GET / HTTP/1.0`
(TCP+IP+ETH 全链路最强证据),guest 侧断言 `[curl] boot/exit` 与 shell 回收。
HTTP 响应体渲染仅帧缓冲,标 MANUAL。
- N6/N11(ping 链路)由 [userapps-matrix.ps1](../../../tests/qemu/userapps-matrix.ps1) 交互阶段覆盖;
N7/N9(外网)依赖主机联网,不在自动化断言范围。
## 已知限制
- HTTPS/TLS 不支持(curl 仅 http)
+52
View File
@@ -65,6 +65,58 @@ int main(void) {
若无 MinGW/MSVC,使用 [CODE/tools/pe-samples/gen_pe.py](../../CODE/tools/pe-samples/gen_pe.py) 生成最小 PE 程序。
## 自动化脚本
[tests/qemu/pe-compat.ps1](../../../tests/qemu/pe-compat.ps1) 正常启动到 cmd.elf,
AUTOEXEC.BAT 自动执行 PE 命令序列:
```powershell
.\tests\qemu\pe-compat.ps1 # 复用现有镜像
.\tests\qemu\pe-compat.ps1 -Build # 先全量构建再测
```
因两个已登记系统 bug([Bug记录.txt](../Bug记录.txt) BUG-20260801-006/007),脚本拆三个独立会话:
- **会话 A (pe64)**:B2.1 `pe HELLO64.EXE` → `[PE] PE32+ (64-bit)` →
`[PE] running PE32+ natively` → `Hello from PE32+!`(自动断言 PASS)。
随后的 ExitProcess 触发 BUG-006(setjmp/longjmp UB → 三重故障),会话终止;
`[cmd] PE run end` 返回链标 MANUAL,日志出现即自动升级 PASS。
- **会话 B (pe32)**:B2.2 `pe HELLO32.EXE` → `[PE] running PE32 via x86emu32`
解释器接管(自动断言 PASS,且无 emulator error / unimplemented)。
首个 shim 调用 printf 触发 BUG-007(fn64 回退 guest 指针当 host 指针),
会话终止;`Hello from PE32!` 标 MANUAL,出现即自动升级 PASS。
- **会话 C (peerr)**:B2.4 `pe NONEXIST.EXE` 错误路径(不产生 `[cmd] PE run begin`)
+ `exit` 正常返回 DSK(`[DSK] cmd.elf returned`,自动断言 PASS)。
WHPX 下任一会话未命中锚点自动以 `-Accel tcg` 重跑(可 `-Accel tcg` 直接指定)。
禁止锚点:`[PANIC]` / `[PE32] emulator error` / `[PE] unimplemented import`。
B2.3/B2.7(peinfo)与 B2.5(无参用法提示)仅写帧缓冲(cmd 非 dev_mode 无串口镜像),标 MANUAL。
PE32 解释器指令级覆盖率另见 [x86emu32-coverage.ps1](../../../tests/qemu/x86emu32-coverage.ps1)。
### GUI 应用端到端:deaicup-e2e.ps1
[tests/qemu/deaicup-e2e.ps1](../../../tests/qemu/deaicup-e2e.ps1) 验证 Deaicup
(Rust/egui 移植的原始 Win32 API PE64 GUI 应用)端到端:AUTOEXEC `pe DEAICUP.EXE` 启动后
经 monitor 驱动键鼠并断言串口锚点 + screendump 像素:
- **9 锚点顺序链**:`[cmd] cmdline: DEAICUP.EXE` → `[PE] running PE32+ natively` →
`[deaicup] mainCRTStartup` → `[shim] RegisterClassExW ok` → `[shim] CreateWindowExW ok` →
`[shim] CreateDIBSection ok` → `[dc] Context::default ok` →
`[shim] BitBlt first frame on screen` → `[dc] bitblt ok`
- **首帧像素分析**:非全黑(nonBlack≥100000)、颜色种数 ≥32、GUI 窗口矩形检测
(窗口主体色 #1B1B1B 行扫描实心段 → 800x508 包围盒、填充率 ≥75%)
- **鼠标**:AUX 初始化 + mouse_move → `[shim] mpkt`(WM_MOUSEMOVE)、
mouse_button → `[shim] LDOWN/LUP` 边沿(WM_LBUTTONDOWN/UP)、
两次 screendump 光标区像素差异(8..60000 采样点)
- **键盘**:sendkey → `[shim] KEYDOWN/CHAR/KEYUP`(WM_KEYDOWN/WM_CHAR/WM_KEYUP)
- **退出链**:Esc → WM_CLOSE → `[deaicup] quit, ExitProcess(0)` →
`[PE] ExitProcess code=` → `[cmd] PE run end`(回归 BUG-006 长运行返回链、BUG-005 异常噪声)
- 禁止锚点:`[PANIC]` / `[IDT] exception` / `Unimplemented handler`
WHPX 未命中首帧锚点自动以 `-Accel tcg` 重跑(可 `-Accel tcg` 直接指定);monitor 固定 45454。
证据帧输出 `.build_tmp/tests/deaicup-frame.png`。
## 已知限制
- pe_shim 实现的 Win32 API 子集有限,测试程序仅使用 WriteFile + ExitProcess
@@ -81,6 +81,32 @@ foreach ($m in $curr.metrics) {
}
```
## 自动化脚本
[tests/qemu/performance-baseline.ps1](../../../tests/qemu/performance-baseline.ps1) 以主机墙上时钟
轮询串口锚点,测量启动阶段耗时(正常启动 firstInit=`1\n0`,AUTOEXEC=ver/exit):
```powershell
.\tests\qemu\performance-baseline.ps1 # 默认 3 轮取中位数
.\tests\qemu\performance-baseline.ps1 -Runs 5 # 自定义轮数
```
测量锚点与阶段换算:
| 阶段 | 起 → 止 | 对应指标 |
|---|---|---|
| ovmf_bootloader_ms | QEMU 进程启动 → `[UTSM] boot` | OVMF + Limine |
| utsm_drivers_ms | `[UTSM] boot` → `[UTSM] SELFTEST PASS` | P1(UTSM+16 驱动装载) |
| selftest_to_dsk_ms | SELFTEST → `[DSK] boot` | DSK 加载(FAT32 read + PIE load) |
| dsk_to_desktop_ms | `[DSK] boot` → `desktop ready` | DSK → 桌面就绪 |
| total_boot_ms | QEMU 启动 → `desktop ready` | 端到端总启动 |
结果写入 `.build_tmp\perf_baseline.json`(锚点绝对时刻 + 各轮数据 + 中位数 + 环境信息)。
本脚本只测量展示、不做阈值断言;轮询精度 ±200ms,QEMU 数值仅作回归参考。
未自动化项(需内核 TSC 打点日志,当前串口无锚点,保持 PENDING):P2/P3/P6(单 ELF 加载计时)、
P4 ping RTT、P5 linux RTT、P7 桌面帧率、P8~P11(PE/VMM/Linux)、P12 DHCP 耗时。
## 已知限制
- QEMU 性能数据不等于真机,仅作回归参考
+34
View File
@@ -70,6 +70,40 @@ shell → run CURL.ELF → curl.elf
| 窗口拖动 | 流畅,无撕裂 | ⬜ |
| 任务栏点击 | 窗口切换 | ⬜ |
## 自动化脚本
[tests/qemu/userapps-matrix.ps1](../../../tests/qemu/userapps-matrix.ps1) dev_mode 单会话覆盖
shell 内建命令与工具程序(dev_mode 串口镜像开启,全程可断言):
```powershell
.\tests\qemu\userapps-matrix.ps1 # 复用现有镜像
.\tests\qemu\userapps-matrix.ps1 -Build # 先全量构建再测
```
自动断言(两阶段,单会话;2026-08-04 BUG-20260801-001/002/003/008 全部修复后,
原 MANUAL 降级项已回收为自动化):
1. **dev_tests 硬编码序列**:`[DSK:SCHED] decision: dev_mode -> shell.elf` →
`[1] ls` → `[2] echo>` → `[3] cat` → `[4] cp` → `[6] mv` → `[8] rm` → `[10] ls`
→ `=== 自动测试完成 ===`(SATA 镜像无 test.bas 时走 fallback 分支)。
2. **交互阶段**(monitor sendkey 驱动):`help` → `id`(断言 `uid=0(root) gid=0(root)`,
BUG-001 修复回归守护)→ `pci` 存活验证 →
`ping`(PATH 查找 `/bin/PING.ELF` → `[ping] boot`,输入 10.0.2.2 发四报文,
Esc → `[ping] exit` → `[shell] path: tool returned`)→
`run EDITOR.ELF`(`[editor] boot` → 按键插入 → Esc → `[editor] exit`,
BUG-002 修复后行为,原"超限优雅拒绝"断言已升级)→
`run FILEMAN.ELF`(`[fileman] boot` → 方向键选区移动 → Esc → `[fileman] exit`,
BUG-003/008 修复后键盘路径)→
`run BROWSER.ELF`(`[browser] boot` → Esc → `[browser] exit`)→
Esc 回 DSK → cmd(AUTOEXEC=ver/exit) → `desktop ready`。
锚点:`[shell] path: running /bin/ tool` / `[shell] path: tool returned` /
`[shell] run: jumping to tool` / `[shell] run: tool returned` /
`[ping|editor|fileman|browser] boot|exit`。
标 MANUAL 项(帧缓冲限定,无串口锚点):ping ICMP reply/RTT 与四报文统计、
editor 编辑内容渲染与保存、fileman 列表渲染/进入子目录;
FirstInit/login/desktop UI(双击/拖动/任务栏,boot-regression B1 已覆盖向导按键)。
## 已知问题
- fileman.elf 之前触发过 QEMU 退出(访问未支持 boot context 字段),需观察是否复现
+33
View File
@@ -84,3 +84,36 @@
```
目标:核心指令(MOV/ADD/SUB/CMP/JMP/CALL/RET/PUSH/POP)覆盖率 100%。
## 自动化脚本
[tests/qemu/x86emu32-coverage.ps1](../../../tests/qemu/x86emu32-coverage.ps1) 两层验证:
```powershell
.\tests\qemu\x86emu32-coverage.ps1 # 复用现有镜像
.\tests\qemu\x86emu32-coverage.ps1 -Build # 先全量构建再测
```
1. **静态枚举**(无需 QEMU):解析 [x86emu32.c](../../CODE/UTSM/pe/x86emu32.c) 统计
`case 0xNN` 操作码分支数(覆盖率分母,含 0F 扩展页),并校验 hello32.exe 头
(machine=0x14C / optional magic=0x10B,确为 PE32 样本)。
2. **动态执行**:正常启动 → cmd.elf,AUTOEXEC.BAT 执行 `pe HELLO32.EXE` + `exit`。
自动断言 `[PE] running PE32 via x86emu32` 解释器接管;禁止 `[PE32] emulator error` /
`[PE] unimplemented import` / `[PE] unimplemented API called` / `[PANIC]`。
注意 `[PE] PE32 (32-bit)` 仅 PE32+ 原生路径(pe_load_image)输出,解释器路径
(pe32_load_into)不打印该行,不可作锚点。
BUG-20260801-006/007 已修复([Bug记录.txt](../Bug记录.txt)),原软升级项已转
硬断言(回归守护):`Hello from PE32!`(shim IAT 拦截输出)与
`[cmd] PE run end` → `[DSK] cmd.elf returned`(完整返回链)。
已知系统侧阻塞(2026-08-04 monitor 取证定案):末锚点 `[DSK] cmd.elf returned`
当前必缺失。根因不在 PE 层——cmd `run_autoexec` 的 `data`/`size` 直指共享静态
缓冲 `f32_data`(fat32_io.h),首行 `pe HELLO32.EXE` 加载 PE 文件即覆盖剩余
脚本,`exit` 行丢失,cmd 停留交互主循环轮询键盘(guest 存活、无异常投递、
无三重故障)。反证:pe-compat 会话 C(`pe NONEXIST.EXE` + `exit`,文件未找到
不覆盖缓冲)返回链正常。待 cmd 侧修复(脚本先拷入私有缓冲再逐行执行)后
末锚点自动转绿。
指令级逐条覆盖(上方矩阵 test_arith/test_logic/test_control/test_string)依赖
CODE/tools/pe-samples/ 下尚未构建的分类测试 PE,标 MANUAL。