LM Studio的简介

图片

LM Studio的标语是发现、下载并运行腹地 LLMs。LM Studio 是一款桌面应用循序，可在您的策划机上运行腹地大型言语模子（LLMs）。

官网：LM Studio - Discover， download， and run local LLMs

文档：Welcome | LM Studio

1、使用LM Studio的脾气

>> 在札记本电脑上运行llm，王人备脱机>> 通过应用内聊天界面或OpenAI兼容的腹地处事器使用模子>> 从HuggingFace���存储库下载任何兼容的模子文献>> 在应用循序的主页上发现新的和值得老成的法学硕士

LM Studio赈济HuggingFace上的任何ggml Llama， MPT和StarCoder模子(Llama 2， Orca， Vicuna， Nous Hermes， WizardCoder， MPT等)

2、赈济的平台：最低硬件/软件条款

M1/M2/M3 Mac，或赈济AVX2处置器的Windows PC。Linux有测试版。提议至少 16GB 的 RAM。对于 PC，提议至少 6GB 的 VRAM。赈济 NVIDIA/AMD GPU。>> Windows (x86， x64， AVX2)：领有赈济 AVX2 的处置器（等闲是较新的 PC）的 Windows>> macOS (Apple Silicon - M1/M2/M3)：搭载 macOS 13.6 或更新版块的 Apple Silicon Mac（M1/M2/M3）。>> Linux (x86， Ubuntu 22.04， AVX2)：领有赈济 AVX2 的处置器（等闲是较新的 PC）的Linux PC

LM Studio的安设和使用循序

下载地址：LM Studio - Discover， download， and run local LLMs

Linux地址：https://releases.lmstudio.ai/linux/0.2.18/beta/LM_Studio-0.2.18.AppImage

Windows：https://releases.lmstudio.ai/windows/0.2.18-a/latest/LM-Studio-0.2.18-Setup.exe

>> LM Studio 处事器：先容了怎样使用 LM Studio 中的腹地处事器通过 API 来加载和运行腹地 LLM色情 动漫，并提供了对于请乞降反应方法的信息以及怎样进行推测申请的示例。>> 文本镶嵌：先容了文本镶嵌的意见，以及怎样使用 LM Studio 的镶嵌处事器来生成文本镶嵌。还提供了对于请乞降反应方法的信息以及怎样获得文本镶嵌的示例请乞降反应。

1、LM Studio 处事器：通过运行在 localhost 上的 OpenAI 作风的 HTTP 处事器使用腹地 LLM

源文地址：Local LLM Server | LM Studio

您不错通过在腹田主机上运行的 API 处事器使用您在 LM Studio 中加载的 LLM。请乞降反应罢免 OpenAI 的 API 方法。将现时使用 OpenAI 的任何代码指向 localhost:PORT 以使用腹地 LLM。

赈济的端点

GET /v1/models
POST /v1/chat/completions
POST /v1/embeddings
POST /v1/completions

其中，POST /v1/embeddings 是 LM Studio 0.2.19 中的新功能。在此处阅读相关它的信息。

使用腹地处事器

第1步，若是尚未安设 LM Studio，致意装它。从 https://lmstudio.ai 获得应用循序安设循序。第2步，从应用循序中搜索并下载 LLM，举例 TheBloke/Mistral-7B-Instruct-v0.2-GGUF（磁盘上约 4GB）第3步，转到腹地处事器选项卡（<- 在左侧）第4步，通过从下拉菜单中选择它来加载您下载的任何 LLM。第5步，通过单击绿色的“启动处事器”按钮来启动处事器。

您的 LM Studio 当今已准备好接收传入的 API 申请。您不错安全地最小化应用循序；处事器将连接运行。

查验现时加载的模子

curl http://localhost:1234/v1/models

反应（罢免 OpenAI 的方法）

不才述情况下，TheBloke/phi-2-GGUF 和 lmstudio-ai/gemma-2b-it-GGUF 都已加载。

{
  "data": [
    {
      "id": "TheBloke/phi-2-GGUF/phi-2.Q4_K_S.gguf"，
      "object": "model"，
      "owned_by": "organization-owner"，
      "permission": [
        {}
      ]
    }，
    {
      "id": "lmstudio-ai/gemma-2b-it-GGUF/gemma-2b-it-q4_k_m.gguf"，
      "object": "model"，
      "owned_by": "organization-owner"，
      "permission": [
        {}
      ]
    }
  ]，
  "object": "list"
}%

进行推测申请（使用 OpenAI 的“Chat Completions”方法）

在此示例中，腹地处事器运行在端口 1234 上。您不错在应用循序中的处事器汗漫栏中变调它。第1步，开放您的结尾（在 Windows 上尝试 Git Bash）第2步，复制并运行以下申请

curl http://localhost:1234/v1/chat/completions -H "Content-Type: application/json" -d '{ 
  "messages": [ 
    { "role": "system"， "content": "You are a helpful coding assistant." }，
    { "role": "user"， "content": "How do I init and update a git submodule?" }
  ]， 
  "temperature": 0.7， 
  "max_tokens": -1，
  "stream": true
}'

赈济的有用负载参数

相关每个参数着实认，请参阅 https://platform.openai.com/docs/api-reference/chat/create

model
top_p
top_k
messages
temperature
max_tokens
stream
stop
presence_penalty
frequency_penalty
logit_bias
repeat_penalty
seed

2、文本镶嵌：使用 LM Studio 的镶嵌处事器腹地生成文本镶嵌（适用于 RAG 应用循序）

老成：文本镶嵌处于测试版。从这里下载赈济它的 LM Studio。请在 LM Studio Discord 上讲明任何乌有/反馈。

文本镶嵌是将文本示意为数字向量的一种循序。镶嵌等闲在检索增强生成（RAG）应用循序中使用。连接阅读了解怎样使用 LM Studio 的镶嵌处事器王人备腹地生成文本镶嵌。

从 LM Studio 的腹地处事器获得文本镶嵌

从版块 0.2.19 运转，LM Studio 包括一个文本镶嵌端点，允许您生成镶嵌。请乞降反应方法罢免 OpenAI 的 API 方法。在此处阅读相关它的信息。示例用途包括 RAG 应用循序、代码搜索应用循序以及任何需要文本镶嵌的应用循序。

图片

怎样

需要 LM Studio 0.2.19 或更新版块。从 lmstudio.ai/beta-releases.html 下载测试版。第1步，转到腹地处事器选项卡（<- 在左侧）并启动处事器。第2步，通过选择它从镶嵌模子成就下拉菜单中选择一个文本镶嵌模子来加载它。第3步，诈欺 POST /v1/embeddings 端点获得您文本的镶嵌。

示例申请：

假定处事器正在端口 1234 上监听赈济的输入类型是字符串和字符串数组（字符串数组）

curl http://localhost:1234/v1/embeddings   -H "Content-Type: application/json"   -d '{
    "input": "Your text string goes here"，
    "model": "model-identifier-here"
  }'

示例回答：

{
  "object": "list"，
  "data": [
    {
      "object": "embedding"，
      "embedding": [
        -0.005118194036185741，
        -0.05910402536392212，
        ... truncated ...
        -0.02389773353934288
      ]，
      "index": 0
    }
  ]，
  "model": "nomic-ai/nomic-embed-text-v1.5-GGUF/nomic-embed-text-v1.5.Q5_K_M.gguf"，
  "usage": {
    "prompt_tokens": 0， 
    "total_tokens": 0
  }
}

可用的镶嵌模子是哪些？

任何 GGUF 方法的 BERT 模子都应该不错使用。若是遭遇问题，请在 LM Studio Discord 上讲明乌有。

肛交特色模子：

nomic-embed-text-v1.5bge-large-en-v1.5

通过 LM Studio 内置的模子下载器搜索并下载这些模子。

3、使用循序

图片

LM Studio的案例应用

捏续更新中……

LLMs之Llama3：手把手教你(只需三步)达成Llama3模子腹地部署并对话测试—基于LM Studio的GUI界面平直对话聊天或进一步汇集Lobe Chat框架(更优雅的达成访佛ChatGPT聊天+包括丰富Agent脚色市集)

https://yunyaniu.blog.csdn.net/article/details/138203821色情 动漫

本站仅提供存储处事，系数实质均由用户发布，如发现存害或侵权实质，请点击举报。