跳转至

在 Python 中调用在线大模型 API

许多大模型都提供了在线 API 接口服务,我们可以在 Python 中调用它们。本文使用 openaichatllmdashscope 等包实现了对 OpenAI、讯飞星火、智谱 AI、百度、阿里通义千问的调用。用户只需在本地用 .env 文件存储 API Key 即可快速调用这些大模型。

image-20231031211003404

导入必要的包

Python
import os

import dashscope
import openai
from chatllm.llmchain.llms import ChatGLM, ErnieBot, SparkBot
from dashscope import Generation
from dotenv import load_dotenv
from langchain.chains import LLMChain
from langchain.prompts import ChatPromptTemplate

配置模型 API Key

我们一共使用 5 个在线大模型 API,分别是:

你可以在上述网址中注册账号并申请 API Key,大部分模型对于新用户都有一定的免费额度,少部分可能需要预付费。

为了避免将 API Key 暴露在公开的代码中,我们将 API Key 保存在 .env 文件中,然后通过 dotenv 包的 load_dotenv() 方法读取到环境变量中。

在当前目录下新建一个 .env 文件,层级结构如下:

Text Only
.
├── .env
└── call-api.ipynb

.env 文件的内容如下:

Text Only
OPENAI_API_BASE=https://api.nextweb.fun/openai/v1
OPENAI_API_KEY=ak-XXXXXX
SPARK_API_KEY={APP Id}:{API Key}:{Secret Key}
CHATGLM_API_KEY={API Key}
ERNIE_API_KEY={API Key}:{Secret Key}
DASHSCOPE_API_KEY=sk-XXXXXX
Python
# 通过 `dotenv` 包的 `load_dotenv()` 方法读取到环境变量中
load_dotenv()

# 下面的三个变量较为特殊,我们需要手动设置,否则可能会出现错误
openai.api_base = os.environ['OPENAI_API_BASE']
openai.api_key = os.environ['OPENAI_API_KEY']
dashscope.api_key = os.environ['DASHSCOPE_API_KEY']
Text Only
True

设置各个模型的对话机器人实例

Python
# 设置默认提示词
prompt = ChatPromptTemplate.from_template("{question}")

# 设置各个模型的对话机器人实例
llm_spark = SparkBot()
llm_zhipuai = ChatGLM()
llm_ernie = ErnieBot()

chat_spark = LLMChain(llm=llm_spark, prompt=prompt)
chat_zhipuai = LLMChain(llm=llm_zhipuai, prompt=prompt)
chat_ernie = LLMChain(llm=llm_ernie, prompt=prompt)

测试对话效果

Python
prompt = "你是谁?"

OpenAI

Python
openai.ChatCompletion.create(
            model="gpt-3.5-turbo",
            messages=[{"role": "user", "content": prompt}],
        ).choices[0].message.content
Text Only
'我是一个AI助手,没有实体身份。我可以回答一些问题和提供一些建议。'

讯飞星火

Python
chat_spark.run(prompt)
Text Only
'您好,我是科大讯飞研发的认知智能大模型,我的名字叫讯飞星火认知大模型。我可以和人类进行自然交流,解答问题,高效完成各领域认知智能需求。'

智谱 AI

Python
chat_zhipuai.run(prompt)[1:-1].strip()
Text Only
'我是一个名为 ChatGLM2-12B 的人工智能助手,是基于清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同训练的语言模型开发的。我的任务是针对用户的问题和要求提供适当的答复和支持。'

百度

Python
chat_ernie.run(prompt)
Text Only
'您好,我是百度研发的知识增强大语言模型,中文名是文心一言,英文名是ERNIE Bot。我能够与人对话互动,回答问题,协助创作,高效便捷地帮助人们获取信息、知识和灵感。\n\n如果您有任何问题,请随时告诉我。'

阿里通义千问

Python
Generation.call(model="qwen-turbo", prompt=prompt).output.text
Text Only
'我是来自阿里云的大规模语言模型,我叫通义千问。'

评论