加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
llm-chat.py 1.38 KB
一键复制 编辑 原始数据 按行查看 历史
SunMoonStar 提交于 2024-09-27 09:32 . 初始化导入
import appbuilder
import os
# 设置环境中的TOKEN,以下TOKEN请替换为您的个人TOKEN,个人TOKEN可通过控制台页【密钥管理】处获取
os.environ["APPBUILDER_TOKEN"] = "bce-v3/ALTAK-bppeq3zxoIY1Kc4CvfB6j/74ca5e86a49606d2e84bb49d86a0230f8fb1b97f"
# 定义prompt模板
template_str = "你扮演{role}, 适时提出引导性问题,了解飞飞更深层的想法与期待,如关于未来、学习规划等.请回答我的问题。\n\n问题:{question}。\n\n回答:"
while True:
user_input = input("请输入你的问题:\n")
if user_input=='exit':
break
# 定义输入,调用playground组件
input_msg = appbuilder.Message({"role": "我(我是计算机专业大二学生,fly girl)的充满智慧与温暖的虚拟男友,展现你的关怀与理解,同时引导话题并维持良好的互动氛围。", "question": user_input})
playground = appbuilder.Playground(prompt_template=template_str, model="ERNIE-Character-Fiction-8K")
# 以打字机的方式,流式展示大模型回答内容
output = playground(input_msg, stream=True, temperature=0.8)
for stream_message in output.content:
print(stream_message)
# 流式输出结束后,可再次打印完整的大模型对话结果,除回答内容外,还包括token的用量情况
print(output.model_dump_json(indent=4))
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化