集成：Featherless AI

获取 Featherless.ai 托管的数千种开源语言模型的访问权限

作者

Featherless AI

GitHub Repo PyPI Package

概述

Featherless AI 是一个无服务器 AI 推理平台。我们的目标是让所有 AI 模型都能进行无服务器推理，我们已经从大型语言模型（例如 Qwen、Llama、Mistral、DeepSeek、RWKV）开始。我们通过 API 提供对不断扩展的开源模型库的推理，包括最受欢迎的用于角色扮演、创意写作、编码辅助等的模型。

要开始使用 Featherless，请在此处注册 API 密钥。

使用

Featherless AI 与 OpenAI 兼容，通过 Haystack 中的 OpenAI Generators 可以轻松使用。

使用 `ChatGenerator`

请参阅与 mistralai/Mistral-Small-24B-Instruct-2501 进行多轮对话的示例。您需要设置环境变量 FEATHERLESS_API_KEY，并从我们的目录中选择一个模型。

from haystack.components.generators.chat import OpenAIChatGenerator
from haystack.dataclasses import ChatMessage
from haystack.utils import Secret
import os

os.environ["FEATHERLESS_API_KEY"] = "YOUR_FEATHERLESS_API_KEY"

generator = OpenAIChatGenerator(
    api_key=Secret.from_env_var("FEATHERLESS_API_KEY"),
    api_base_url="https://api.featherless.ai/v1",
    model="mistralai/Mistral-Small-24B-Instruct-2501",
    generation_kwargs = {"max_tokens": 512}
)


messages = []

while True:
    msg = input("Enter your message or Q to exit\n🧑 ")
    if msg=="Q":
        break
    messages.append(ChatMessage.from_user(msg))
    response = generator.run(messages=messages)
    assistant_resp = response['replies'][0]
    print("🤖 "+assistant_resp.text)
    messages.append(assistant_resp)

集成：Featherless AI

目录

概述

使用

使用 ChatGenerator

使用 `ChatGenerator`