NekoRay 是一个用于模型部署的高效工具，支持多种模型格式（如 TensorFlow、PyTorch、Keras 等），以下是配置 NekoRay 的步骤：

安装 NekoRay

确保你的环境中已经安装了 NekoRay，如果没有安装,可以使用以下命令安装：

pip install nekoray

准备模型文件

NekoRay 支持多种模型格式,包括：

• TensorFlow (.pb 或 .tflite)
• PyTorch (.pt 或 .onnx)
• Keras (.h5 或 .keras)
• OpenCV 模型
• Scikit-learn 模型

将你的模型文件放到一个合适的位置，model_dir。

配置 NekoRay

默认情况下，NekoRay 配置文件位于 nekoray_config.json,你可以通过以下方式配置：

配置文件示例：

{
  "listen": ":808",  // 服务监听地址
  "model_dir": "model_dir",  // 模型文件目录
  "allow_cross_domain": true,  // 是否允许跨域访问
  "model_path": "model.pb",  // 默认模型文件路径
  "batch_size": 1,  // 批处理大小
  "num_threads": 4,  // 线程数
  "enable_gpu": true,  // 是否启用 GPU 加速（需要显卡驱动）
  "precision": "fp32",  // 模型精度（如“fp32”或“int8”）
  "max_batch_size": 32  // 最大批处理大小
}

启动 NekoRay 服务

在终端中启动服务：

nekoray serve --config nekoray_config.json

上传和使用模型

使用 nekoray 命令行工具上传模型：

nekoray upload model.pb

然后可以通过 HTTP 请求访问模型：

curl http://localhost:808/predict/model

常见配置问题

a. 权限问题

如果权限不足,可以尝试使用超级用户启动：

sudo nekoray serve --config nekoray_config.json

b. 模型加载失败

确保模型文件路径正确，检查模型是否损坏,或者查看日志输出错误信息。

c. 模型格式不支持

如果模型格式不在 NekoRay 支持范围内，可以尝试使用 --format 参数转换格式：

nekoray convert model.pt --format pb

高级配置

你可以手动编辑 nekoray_config.json 文件，调整更多参数,如：

• model_path：指定模型文件路径。
• batch_size：批处理大小。
• num_threads：并行处理线程数。
• enable_gpu：启用 GPU 加速。
• precision：模型精度（如“fp32”或“int8”）。

部署示例

假设你有一个训练好的 TensorFlow 模型 model.pb,配置文件如下：

{
  "listen": ":808",
  "model_dir": "model_dir",
  "allow_cross_domain": true,
  "model_path": "model.pb",
  "batch_size": 1,
  "num_threads": 4,
  "enable_gpu": true,
  "precision": "fp32",
  "max_batch_size": 32
}

启动服务：

nekoray serve --config nekoray_config.json

你可以通过 POST 请求发送数据：

curl -X POST -T "image.jpg" http://localhost:808/predict

文档和资源

更多信息可以参考 NekoRay 文档 或社区讨论。