🔍 OCR 碑文识别 LLM 系统 — 架构说明

版本：LLM-V1.18 ｜ 技术栈：Python 3 + PyQt5 + SQLite + Requests（多线程） 定位：SMT PCBA 产线「大板码/ReelID 扫码 → 入库 → 显微镜拍照 → LLM 识别 → 校验提交 → 结果上报」的一体化桌面工具。

1. 项目概述

本系统为 PCBA reel 卷盘扫描识别 工具，核心链路为：

1. 通过串口/条码枪输入大板码（| 分隔的多字段编码）；
2. 从大板码中解析出 ReelID（第 7 个字段），末尾 MSL 自动替换为 MSD；
3. 可选调用入库 API 将大板码入 WMS 仓库；
4. 调用 Web API 查询该 ReelID 对应的行数；
5. 通过显微镜截图 API 获取图片（或从本地文件夹匹配）；
6. 调用 LLM（Qwen3.6-27B） 识别图片中的文字；
7. 识别结果提交到 Web API 校验；
8. 校验通过/失败后，向 QMS 碑文结果接口 上报 OK/NG；
9. 全过程记录日志与提交统计（支持导出 Excel）。

2. 目录结构

3. 总体架构

系统采用 分层架构：表现层（PyQt5）→ 业务编排层（主窗口）→ 服务层（API/LLM/串口/日志/统计）→ 数据层（JSON 配置 + SQLite + 本地图片）。

flowchart TB
    subgraph UI["表现层（PyQt5）"]
        MW["MainWindow 主窗口
(主入口.py)"]
        SD["StatsDialog 统计对话框"]
        Toast["OCRToastMessage / ToastMessage"]
        Splash["启动 Splash"]
    end

    subgraph SVC["服务层"]
        direction LR
        LLM["LLM.py
图片识别"]
        API["WebApiClient.py
HTTP 客户端"]
        PIC["getPicByUrl.py
显微镜抓图"]
        SER["SerialCom.py
串口通信"]
        LOG["LogManager.py
日志"]
    end

    subgraph WORKER["后台线程（ThreadWorkers.py）"]
        direction LR
        LLMW["LLMWorkerThread"]
        APIW["ApiWorker"]
        SUBW["SubmitDataWorker"]
        BEIW["BeiwengResultSubmitWorker"]
        WHW["WarehouseWorker"]
    end

    subgraph DATA["数据层"]
        CFG["app_config.json
(ConfigManager)"]
        DB["stats.db
(StatisticsDB)"]
        IMG["本地图片文件夹"]
    end

    MW --> SD
    MW --> Toast
    MW --> WORKER
    MW --> SVC
    WORKER --> LLM
    WORKER --> API
    WORKER --> PIC
    MW --> SER
    MW --> DATA
    LLMW --> LLM
    BEIW --> API

4. 核心模块详解

4.1 主入口 主入口.py（约 2600 行）

关键类：

MainWindow 运行时状态：

• 后台线程持有者：serial_thread、api_worker、llm_worker、submit_worker、beiweng_worker、warehouse_worker
• 业务状态：current_reelid、current_row_nums、current_ocr_texts、input_fields（动态输入框）、picture_base64_map（ReelID→Base64 缓存）
• 超时定时器：ocr_timeout_timer（单次触发，默认 60s）

关键方法（业务流）：

4.2 LLM 识别 LLM.py

• 使用 OpenAI 兼容接口（http://10.32.36.25:11434/v1/chat/completions），模型 Qwen3.6-27B（运行时可配置）。
• query_llm_for_image(image_path, instruction, config)：图片 base64 编码 → 构造 multimodal 请求 → 解析响应。
• extract_json_from_llm_response：三级降级解析（```json 代码块 → 整体 JSON → 正则提取 {...} → 正则分词兜底）。
• analyze_batch_images：批量图片识别。

4.3 后台线程 ThreadWorkers.py

所有网络请求均在后台线程执行，通过 pyqtSignal 回传主线程，避免阻塞 GUI。

4.4 其他模块

• WebApiClient.py：requests.Session 复用，统一异常处理，支持上下文管理器。
• getPicByUrl.py：fetch_and_save_image(url, save_path) 兼容 text/plain 与 JSON 两种响应，解码 Base64 为 OpenCV 图像并保存，返回 (BGR 图像, 原始 base64)。
• SerialCom.py：SerialCommunication（底层连接）+ ContinuousSerialReader（持续读取 + 回调）。
• ConfigManager.py：JSON 配置读写，加载时用默认值补齐缺失键。
• LogManager.py：TimedRotatingFileHandler（midnight 轮转）+ UTF-8 + 自动清理 log_keep_days 天前的日志。
• StatisticsDB.py：SQLite 表 submission_stats，字段 reelid(主键)/manual_success/manual_fail/auto_success/auto_fail，update_stats 使用 ON CONFLICT DO UPDATE 累加计数。

5. 端到端业务流程

sequenceDiagram
    participant U as 串口/条码枪
    participant GUI as MainWindow
    participant WMS as 入库API
    participant API as 查询API
    participant CAM as 显微镜API
    participant LLM as LLM模型
    participant QMS as 碑文结果接口
    participant DB as stats.db

    U->>GUI: 大板码(多字段)
    GUI->>GUI: 解析 ReelID(第7字段)
末尾MSL→MSD
    alt 勾选入库
        GUI->>WMS: WarehouseWorker 入库(code,rid,location)
        WMS-->>GUI: code==200?
        alt 失败
            WMS-->>GUI: 红色提示，清空输入
        end
    end
    GUI->>API: ApiWorker 查询行数(getrownums)
    API-->>GUI: row_nums
    GUI->>GUI: 创建 N 个动态输入框
    alt 显微镜截图启用
        GUI->>CAM: fetch_and_save_image(shot_url)
        CAM-->>GUI: 图片 + Base64缓存
    else 本地文件夹
        GUI->>GUI: 匹配 {reelid}.png
    end
    GUI->>LLM: LLMWorkerThread 识别图片
    LLM-->>GUI: content[] (行数校验)
    GUI->>GUI: 填充输入框
    GUI->>API: SubmitDataWorker 提交校验(add)
    API-->>GUI: code==200?
    GUI->>DB: update_stats(成功/失败, 手动/自动)
    alt 校验成功
        GUI->>QMS: 上报 OK
    else 校验失败
        GUI->>QMS: 询问后上报 NG
    end

6. 线程与异步模型

• 串口读取：SerialReaderThread（后台 QThread）持续读取，回调 on_serial_data。
• 网络请求：全部通过独立 QThread（*Worker）执行，信号槽回传结果，不阻塞 GUI 线程。
• 显微镜截图：QThreadPool.globalInstance() 执行 XianweijingCaptureTask(QRunnable)，通过 QMetaObject.invokeMethod（QueuedConnection）线程安全回传。
• 超时保护：LLM 识别使用 ocr_timeout_timer（单次触发，ocr_timeout 默认 60s）。
• 延迟导入：getPicByUrl（cv2/numpy ~1.5s）、LLM、PyQt5.QtChart 均按需导入，缩短启动时间。

7. 配置项（app_config.json）

8. 外部依赖与接口

9. 关键技术点

1. 大板码解析：按 | 分割取第 7 字段作为 ReelID；末尾字段含 MSL 时替换为 MSD。
2. 防抖输入：ReelIDLineEdit 200ms 防抖缓冲，兼容条码枪连扫与 Ctrl+V 粘贴。
3. 图片文件夹回退：主目录不可写时自动在应用目录创建 output/ 并回写配置。
4. Base64 缓存：picture_base64_map 缓存图片 Base64，碑文上报时优先使用，缺失时回退读取本地文件，上报后清除。
5. 统计导出：StatsDialog 支持将统计信息导出为 Excel（openpyxl 写 .xlsx，不可用时回退 CSV）。
6. 启动优化：Splash 进度 + 延迟导入 + 串口扫描延迟到首帧渲染后。
7. 配置防误写：load_config 中使用 blockSignals 包裹 setChecked，防止 stateChanged 触发意外保存。

10. 已知说明

• LLM1.py 为增强变体（含文字方向检测 orientation），当前主流程使用 LLM.py。
• LLM.py 内置模型为 Qwen3.8-27B，实际运行时以配置 llm_model（Qwen3.6-27B）为准。
• 备份/、build/、dist/ 为历史打包产物与备份，非运行时源码。