Ollama是一个命令行工具，允许用户在本地计算机上运行大型语言模型，包括Llama 2、Code Llama及其他模型，同时支持自定义和创建个性化模型。该项目是免费开源的，目前适用于macOS和Linux系统，未来还计划支持Windows系统。
此外，Ollama还提供了官方Docker镜像，使通过Docker容器部署大型语言模型变得更加便捷，确保所有与模型的交互都在本地进行，避免将私有数据发送给第三方服务。Ollama在macOS和Linux上支持GPU加速，提供了直观的命令行界面（CLI）及与应用程序交互的REST API。
这款工具特别适合需要在本地环境中运行和测试大型语言模型的开发人员或研究人员，无需依赖外部云服务。
Ollama支持的模型
Ollama提供了一个模型库，用户可以选择安装他们想要运行的模型。目前支持超过40个模型，并且还在持续增加，以下是一些可以下载的开源模型示例：
| 模型 | 参数大小 | 文件大小 | 下载运行命令 |
|---|---|---|---|
| Neural Chat | 7B | 4.1GB | ollama run neural-chat |
| Starling | 7B | 4.1GB | ollama run starling-lm |
| Mistral | 7B | 4.1GB | ollama run mistral |
| Llama 2 | 7B | 3.8GB | ollama run llama2 |
| Code Llama | 7B | 3.8GB | ollama run codellama |
| Llama 2 Uncensored | 7B | 3.8GB | ollama run llama2-uncensored |
| Llama 2 13B | 13B | 7.3GB | ollama run llama2:13b |
| Llama 2 70B | 70B | 39GB | ollama run llama2:70b |
| Orca Mini | 3B | 1.9GB | ollama run orca-mini |
| Vicuna | 7B | 3.8GB | ollama run vicuna |
相关导航
暂无评论...