اجرای هوش مصنوعی محلی با LM Studio و Ollama

اجرای محلی هوش مصنوعی چه تفاوتی با سرویس آنلاین دارد؟

در اجرای محلی، فایل مدل روی رایانه شما قرار می گیرد و پردازش با منابع همان دستگاه انجام می شود. در سرویس آنلاین، درخواست به زیرساخت ارائه دهنده می رود. انتخاب بین این دو به اندازه پروژه، محدودیت داده، هزینه و کیفیت مورد نیاز بستگی دارد؛ محلی بودن به تنهایی به معنی خروجی بهتر یا اجرای سریع تر نیست.

مدل دانلودشده در LM Studio می تواند بدون اینترنت اجرا شود؛ جستجو و دانلود مدل به اتصال نیاز دارد. اگر ابزار دیگری را به مدل متصل کنید، رفتار شبکه همان ابزار را هم بررسی کنید. محلی بودن مدل به معنی محلی بودن تمام اجزای یک گردش کار نیست. مستند اجرای آفلاین LM Studio

برای مدل محلی چقدر RAM یا VRAM لازم است؟

یک عدد ثابت برای همه مدل ها وجود ندارد. علاوه بر وزن های مدل، حافظه لازم برای کانتکست و اجرای برنامه هم مهم است. فایل کوچک تر یا کوانتیزه می تواند مصرف حافظه را کاهش دهد، اما کیفیت و سرعت باید با همان کار واقعی شما سنجیده شود. بزرگ تر کردن کانتکست را هم بدون اندازه گیری رایگان فرض نکنید.

1. سیستم عامل، معماری پردازنده و حافظه آزاد دستگاه را یادداشت کنید.
2. ابتدا الزامات ابزار را با سیستم خود تطبیق دهید؛ سپس مدل سازگار را انتخاب کنید.
3. با یک مدل کوچک و کانتکست محدود شروع کنید. زمان پاسخ و مصرف حافظه را هنگام اجرای یک درخواست ثابت ثبت کنید.
4. اگر اجرا ناپایدار است، پیش از خرید سخت افزار، مدل کوچک تر یا کانتکست کمتر را آزمایش کنید.

مستند فعلی LM Studio برای مک Apple Silicon و ویندوز، ۱۶ گیگابایت RAM یا بیشتر را پیشنهاد می کند؛ این توصیه ابزار است، نه تضمین اجرای هر مدل. سازگاری سیستم را از صفحه رسمی نیازمندی ها بررسی کنید.

LM Studio یا Ollama؛ از کدام شروع کنیم؟

اگر می خواهید ابتدا مدل را در یک محیط گرافیکی انتخاب و با آن گفتگو کنید، مسیر LM Studio را بررسی کنید. اگر می خواهید اجرای مدل را از خط فرمان یا برنامه خود مدیریت کنید، مسیر Ollama و API آن برای این تمرین مناسب است. این تفاوت، حکم برتری مطلق یکی بر دیگری نیست؛ هر دو امکانات بیشتری دارند.

در LM Studio، برنامه را از منبع رسمی بگیرید، یک مدل سازگار با منابع دستگاه دانلود کنید، آن را بارگذاری کنید و یک درخواست کوتاه بدهید. نام و نسخه مدل و تنظیمات کانتکست را ثبت کنید تا مقایسه بعدی قابل تکرار باشد. شروع کار با LM Studio

در Ollama، پس از نصب و راه اندازی سرویس، فهرست مدل های دانلودشده را ببینید. در فرمان دوم، YOUR_MODEL_NAME را با نام واقعی مدل خود جایگزین کنید. این نام نمونه است و نباید بدون تغییر اجرا شود. راهنمای رسمی Ollama

ollama list
ollama run YOUR_MODEL_NAME

اولین درخواست به API محلی Ollama

وقتی سرویس Ollama در حال اجراست و مدل را دانلود کرده اید، نمونه زیر را در یک شل سازگار با دستور curl اجرا کنید. نام مدل را جایگزین کنید. نشانی 127.0.0.1 به همین رایانه اشاره دارد. گزینه stream: false پاسخ را به جای قطعه های تدریجی، یکجا برمی گرداند.

curl http://127.0.0.1:11434/api/generate \
  -H 'Content-Type: application/json' \
  -d '{
    "model": "YOUR_MODEL_NAME",
    "prompt": "Explain the difference between null and undefined in JavaScript.",
    "stream": false
  }'

در پاسخ موفق، متن تولیدشده را در فیلد response بررسی کنید. خطای اتصال معمولا یعنی ابتدا باید وضعیت سرویس و نشانی را بررسی کنید؛ خطای پیدا نشدن مدل به نام و موجود بودن مدل مربوط می شود. موفقیت درخواست HTTP به معنی درست بودن توضیح مدل نیست. قرارداد رسمی این API

مدل را با مسئله خودتان مقایسه کنید

یک درخواست ثابت و چند آزمون مستقل انتخاب کنید؛ مثلا تمرین حذف عددهای تکراری. نام مدل، اندازه کانتکست، زمان پاسخ و تعداد آزمون های موفق را کنار هم ثبت کنید. پاسخ کوتاه تر یا طولانی تر لزوما بهتر نیست؛ ببینید برای رسیدن به تغییر قابل قبول، چقدر بازبینی و اصلاح نیاز بوده است.

برای اتصال به ابزار Agentic، ابتدا روی یک پروژه تمرینی یا نسخه کنترل شده کار کنید. تغییر فایل ها و فرمان های پیشنهادی را بررسی کنید. هدف، ساخت یک روش قابل تکرار برای حل مسئله است؛ صرف نصب یک مدل، گردش کار برنامه نویسی قابل اعتماد ایجاد نمی کند.