首先需将PyTorch模型转为TorchScript格式，再通过LibTorch在C++中加载并推理。具体步骤包括：使用torch.jit.trace或torch.jit.script导出模型为.pt文件；配置LibTorch开发环境，包含下载库、设置CMake并链接依赖；在C++中调用torch::jit::load()加载模型，构建输入张量并执行前向推理；注意保持预处理一致性和启用module.eval()与NoGradGuard优化性能。多线程部署时应为每个线程创建独立Module实例以避免竞争。该方法适用于低延迟及嵌入式场景。

在C++中使用LibTorch加载PyTorch模型，是将训练好的深度学习模型部署到生产环境中的常见方式。整个流程包括模型导出、C++环境配置、模型加载与推理执行。下面详细介绍如何实现。

模型导出：从PyTorch到TorchScript

LibTorch只能加载TorchScript格式的模型，因此需要先将Python中训练好的PyTorch模型转换为TorchScript。有两种主要方式：追踪（Tracing）和脚本化（Scripting）。

以一个简单的模型为例：

import torch
import torchvision
加载预训练模型
model = torchvision.models.resnet18(pretrained=True)
model.eval()
使用trace方式导出
example = torch.rand(1, 3, 224, 224)
traced_script_module = torch.jit.trace(model, example)
保存为.pt文件
traced_script_module.save("resnet18_model.pt")

这会生成一个名为 resnet18_model.pt 的文件，可在C++中加载。

配置C++开发环境

要使用LibTorch，需完成以下步骤：

• 从PyTorch官网下载LibTorch库（支持CPU或CUDA版本）
• 解压后配置编译环境，如使用CMake链接库文件
• 确保C++编译器支持C++14及以上标准

示例CMakeLists.txt内容：

cmake_minimum_required(VERSION 3.0)
project(libtorch_example)
set(CMAKE_CXX_STANDARD 14)
指向LibTorch解压路径
set(LIBTORCH /path/to/libtorch)
find_package(Torch REQUIRED)
add_executable(main main.cpp)
target_link_libraries(main ${TORCH_LIBRARIES})
set_property(TARGET main PROPERTY CXX_STANDARD 14)

在C++中加载并运行模型

使用 torch::jit::load() 函数加载模型，并传入输入张量进行推理。

示例代码：

#include 
#include 
int main() {
// 加载模型
try {
torch::jit::script::Module module = torch::jit::load("resnet18_model.pt");
std::cout << "模型加载成功！\n";
} catch (const c10::Error& e) {
std::cerr << "模型加载失败: " << e.msg() << "\n";
return -1;
}
// 创建输入张量
std::vectorzuojiankuohaophpcntorch::jit::IValueyoujiankuohaophpcn inputs;
inputs.push_back(torch::randn({1, 3, 224, 224}));

// 执行推理
at::Tensor output = module.forward(inputs).toTensor();

std::cout zuojiankuohaophpcnzuojiankuohaophpcn "输出维度: " zuojiankuohaophpcnzuojiankuohaophpcn output.sizes() zuojiankuohaophpcnzuojiankuohaophpcn "\n";
std::cout zuojiankuohaophpcnzuojiankuohaophpcn "预测结果: " zuojiankuohaophpcnzuojiankuohaophpcn output.argmax(1) zuojiankuohaophpcnzuojiankuohaophpcn "\n";

return 0;
}
注意：输入数据通常需要做与训练时相同的预处理，如归一化、Resize等，可借助OpenCV读取图像并转换为Tensor。

常见问题与优化建议
实际使用中可能遇到的问题：


模型不支持trace：某些动态结构（如if判断、循环）需改用 torch.jit.script


输入预处理不一致：确保C++端图像处理与Python训练时保持一致

性能优化：启用优化选项，如设置 module.eval() 和使用 torch::NoGradGuard


多线程加载：每个线程应持有独立的Module副本，避免竞争

基本上就这些。只要模型正确导出，C++端配置无误，LibTorch能稳定高效地运行PyTorch模型。适合对延迟敏感或嵌入式部署场景。