站长之家(ChinaZ.com)12月5日消息: 供本地使用的LLM（大型语言模型）通常作为一组权重分布在数GB文件中。这些软件不能直接单独使用，这通常使得它们比其他软件更难分发和运行。给定的模型也可能经历了更改和调整，如果使用不同的版本，则会导致不同的结果。

的创新团队最近发布了，这是一种开源方法，用于将一组权重转换为单个可在六种不同操作系统（macOS、Windows、Linux、FreeBSD、OpenBSD和NetBSD）上运行的二进制文件，无需安装。这大大简化了大型语言模型（LLMs）的分发和运行，并确保特定版本的LLM保持一致性和可重现性。

这一成就离不开[JustineTunney]的贡献，他是一次构建、多处运行框架Cosmopolitan的创造者。另一个主要部分是llama.cpp，它在运行自托管LLM方面具有重要作用。

有一些使用Mistral-7B、WizardCoder-Python-13B和LLaVA1.5LLMs的示例二进制文件可供使用。需要注意的是，如果您使用的是Windows台，只有LLaVA1.5能运行，为它是一个符合Windows对可执行文件4GB大小限制的模型。如果遇到问题，请查看「常见问题」列表以获取故障排除提示。

的发布标志着在大型语言模型的分发和运行方面的进步。这不仅降低了使用这些模型的技术门槛，也使得开发者和研究人员能够更容易地在多种操作系统上使用这些强大的AI工具。

随着越来越多的LLMs的开发和应用，llamafile提供了一个有效的解决方案，以确保这些模型的有效和一致的使用。

据了解，在这里提到的权重是指在机器学习和人工智能领域中的一个术语。在大型语言模型（LLMs，如GPT-4）中，权重是模型在训练过程中学习到的参数，用来确定输入数据如何转换为输出结果。这些权重决定了模型如何解释和处理输入的数据。

因此，当说到LLMs通常以多个Gigabyte的文件形式分发一组权重时，意味着这些文件包含了模型在训练过程中学到的所有必要参数。这些权重文件本身不能直接使用，需要通过特定的软件框架或环境来加载和运行，这使得与其他类型的软件相比，它们的分发和运行更加复杂。

（举报）

标签： llamafile、 Mozilla、 大语言模型、

本文地址： https://yihaiquanyi.com/article/46cf7898a2df248cf158.html

上一篇：良渚2023科技国潮产业大会良渚2023科技国潮...
下一篇：一加acepro一加Ace3质感升级首发15K东方屏...