API 服务器#

内置的 API 服务器使您能够在自己的计算机上本地运行开源大型语言模型 （LLM）。它有助于通过 API 调用与模型直接交互，为测试和部署模型提供了一个强大的工具，而无需外部云服务。通过在本地托管您自己的 API 服务器，您可以完全控制模型的行为并维护数据的隐私和安全性。

了解 API 服务器#

API 服务器是 Anaconda AI Navigator 的核心组件，使您能够通过 API 调用与本地下载的 LLM 进行交互。

提示

将鼠标悬停在工具提示上可查看有关 API 服务器的可配置参数的信息。

服务器地址#

您的本地服务器地址，通常称为localhost或127.0.0.1是 API 服务器的默认地址。它是一个环回地址，这意味着发送到该地址的任何网络通信都将保留在同一台机器内，从而确保您的数据安全和私密。这在开发应用程序时很常见。

如果您在办公室网络中工作，并且希望同一网络中的其他设备可以访问您的服务器，则可以将服务器地址设置为您机器的本地 IP 地址。这些通常是专用网络，这意味着它们无法在公共互联网上路由。

将服务器地址设置为0.0.0.0将其配置为接受所有网络接口上的连接。如果您的网络配置为允许外部连接并将流量从外部源路由到您的服务器，则这可能会将您的服务器暴露在公共 Internet 上。

服务器端口#

服务器端口告诉内置 API 服务器在哪里监听传入流量（即在哪里监听和接收 API 请求）。

有关更多信息，请参阅 Cloudflare 关于端口的文章。

API 密钥#

建立必须作为Authentication: Bearertoken 中。

测试 API 密钥

要测试 API 密钥，请执行以下作：

  1. 从左侧导航栏中选择 API 服务器。

  2. 在 AI Navigator 中输入您的 API 密钥。

  3. 将模型加载到 API 服务器中。

    注意

    您必须使用text-generationtype model 的

  4. 打开 Anaconda Prompt（macOS/Linux 上的终端）并运行以下命令：

    # Replace <API_KEY> with the value you entered into AI Navigator
curl --request POST ^
     --url http://localhost:8080/completion ^
     --header 'Authorization: Bearer <API_KEY>' ^
     --header "Content-Type: application/json" ^
     --data '{
         "prompt": "Hello, how are you?"
     }'

    # Replace <API_KEY> with the value you entered into AI Navigator
curl --request POST `
     --url http://localhost:8080/completion `
     --header 'Authorization: Bearer <API_KEY>' `
     --header "Content-Type: application/json" `
     --data '{
         "prompt": "Hello, how are you?"
     }'

    # Replace <API_KEY> with the value you entered into AI Navigator
curl --request POST \
     --url http://localhost:8080/completion \
     --header 'Authorization: Bearer <API_KEY>' \
     --header "Content-Type: application/json" \
     --data '{
         "prompt": "Hello, how are you?"
     }'

此命令将访问本地 API 服务器/completionendpoint 与已加载的模型进行交互。如果您收到响应，则您的 API 密钥正在运行。如果您收到 401 错误，请仔细检查您的命令，然后重试。

查看 API 服务器日志#

要查看您的服务器日志：

  1. 打开 Anaconda AI Navigator。

  2. 从左侧导航栏中选择 API 服务器。

服务器日志提供以下指标的信息：

  • System information （系统信息） - 提供有关系统硬件功能的信息。

  • Build information （生成信息） - 提供有关您正在使用的 API 服务器版本的信息。

  • 聊天模板 - 显示为系统定义的消息序列。

  • 服务器侦听 - 显示正在侦听的服务器地址和端口号。

  • 插槽信息 - 显示服务器的可用插槽数。每个 slot 一次只能管理一个用户 API 请求。

  • 任务信息 – 显示处理和响应请求所花费的时间、请求任务 ID 以及完成任务的槽等信息。

API 服务器记录当前正在运行的服务器的所有传入流量，并在服务器日志中显示相关信息。

服务器停止后，日志将保存到~/Library/Logs/ai-navigator替换为带时间戳的文件名（例如<YYYY><MM><DD><HH><MM><SS>_api-server.log），以便您可以根据需要有效地查找特定的服务器日志。

本页内容