Serge Alpaca模型聊天界面

互联网资讯 作者:合肥软件园 2023-05-31 02:09:41

Serge 是基于 llama.cpp 的聊天界面,用于运行羊驼模型。完全自托管,不需要 API 密钥。适合 4GB RAM 并在 CPU 上运行。

  • SvelteKit 前端

  • 用于存储聊天记录和参数的 Redis

  • API 的 FastAPI + langchain,使用 python 绑定包装对 llama.cpp 的调用

使用

设置 Serge 非常简单,可以在一个命令中完成启动:

docker run -d \         -v weights:/usr/src/app/weights -v datadb:/data/db/ \         -p 8008:8008 ghcr.io/nsarrazin/serge:latest        

然后只需转到 http://localhost:8008/ 就可以了!

API 文档可以在 http://localhost:8008/api/docs 找到

关注公众号:拾黑(shiheibook)了解更多

友情链接:

下软件就上简单下载站:https://www.jdsec.com/
四季很好,只要有你,文娱排行榜:https://www.yaopaiming.com/
让资讯触达的更精准有趣:https://www.0xu.cn/

公众号 关注网络尖刀微信公众号
随时掌握互联网精彩
赞助链接