امروزه با نرم‌افزارهایی مانند Ollama یا LM Studio می‌توانید در عرض چند دقیقه یک چت‌بات هوش مصنوعی محلی را روی کامپیوتر خود راه‌اندازی کنید. این روش بدون نیاز به اشتراک ماهانه، بدون اتصال به اینترنت و بدون ارسال داده‌های شما به فضای ابری کار می‌کند. اما نکته مهم این است که توانایی اجرای مدل‌های هوش مصنوعی و سرعت پاسخگویی آن‌ها کاملاً به قدرت سخت‌افزاری دستگاه شما بستگی دارد.

یک کامپیوتر معمولی با 16 گیگابایت رم می‌تواند مدل‌های نسبتاً کوچک با حدود 7 تا 8 میلیارد پارامتر را اجرا کند. مدل‌هایی مانند Llama 3.1 8B از متا یا Qwen3 8B از علی‌بابا با کارت گرافیک 8 گیگابایتی عملکرد قابل قبولی دارند. اما این مدل‌ها فاصله زیادی با مدل‌های پیشرفته‌ای که پشت سرویس‌هایی مانند ChatGPT یا Claude هستند، دارند.

تصویر خبر

محدودیت حافظه و تاثیر آن بر انتخاب مدل

حجم حافظه مورد نیاز برای اجرای مدل‌ها تقریباً متناسب با اندازه مدل (بر حسب میلیارد پارامتر) افزایش می‌یابد. بیشتر کاربران نسخه‌های فشرده‌شده (quantized) مدل‌ها را اجرا می‌کنند که هر پارامتر را در حدود چهار بیت ذخیره می‌کنند و حجم مدل را به تقریباً یک‌چهارم اندازه اصلی کاهش می‌دهند. به عنوان مثال، در کتابخانه Ollama، مدل Llama 3.1 8B حجمی معادل 4.9 گیگابایت دارد، مدل Phi-4 مایکروسافت 9.1 گیگابایت، مدل Gemma 3 27B گوگل 17 گیگابایت و Llama 3.3 70B متا حدود 43 گیگابایت حجم دارد.

به طور کلی، برای اجرای مدل‌های 7 میلیارد پارامتری به 8 گیگابایت رم، برای مدل‌های 13 میلیارد پارامتری به 16 گیگابایت و برای مدل‌های 33 میلیارد پارامتری به 32 گیگابایت رم نیاز است. مدل gpt-oss-20b از OpenAI با 21 میلیارد پارامتر، به دلیل طراحی خاصی که فقط از 3.6 میلیارد پارامتر برای هر توکن استفاده می‌کند، می‌تواند با 16 گیگابایت رم اجرا شود، اما این مقدار تقریباً تمام ظرفیت رم یک کامپیوتر 16 گیگابایتی را اشغال می‌کند.

محدودیت پهنای باند و تاثیر آن بر سرعت اجرا

هر بار که مدل یک کلمه یا توکن تولید می‌کند، باید تمام پارامترهای خود را پردازش کند. بنابراین سرعت اجرا بیشتر به پهنای باند حافظه بستگی دارد تا قدرت پردازش خام. حافظه VRAM کارت گرافیک چندین برابر سریع‌تر از رم معمولی کامپیوتر است، به همین دلیل مدل‌هایی که در VRAM کارت گرافیک جای می‌گیرند، بسیار سریع‌تر اجرا می‌شوند.

برای مثال، کارت گرافیک Nvidia RTX 5090 توانسته مدل gpt-oss-20b را با سرعت 205 توکن در ثانیه اجرا کند. در مقابل، تراشه پایه M4 اپل در اجرای مدل 7B حدود 24 توکن در ثانیه سرعت دارد. همچنین کامپیوتر Nvidia DGX Spark با قیمت 3999 دلار، سرعتی معادل 38 توکن در ثانیه برای مدل Llama 3.1 8B و تنها 4.42 توکن در ثانیه برای مدل 70B دارد.

تجربه شخصی و بهینه‌سازی‌ها

در تجربه شخصی با مدل Mistral 7B روی لپ‌تاپ Asus Zenbook Duo 2024 با 32 گیگابایت رم و پردازنده هوش مصنوعی Intel AI Boost NPU، استفاده از CPU به 52 درصد و رم به حدود 17 گیگابایت رسید که قابل مدیریت بود اما در صورت اجرای برنامه‌های سنگین دیگر، سیستم کند می‌شد. با استفاده از ابزار OpenVINO اینتل، پردازنده NPU تا 98 درصد و CPU تنها 3 درصد مشغول بود و لپ‌تاپ توانست به سرعت و بدون مشکل حدود 2500 کلمه را در سه دقیقه تولید کند.

مدل‌های محلی در مقابل مدل‌های ابری پیشرفته

در رتبه‌بندی‌های هوش مصنوعی در آوریل 2026، مدل Qwen3.5 27B از علی‌بابا امتیاز 42 را کسب کرد که برابر با GPT-5 در حالت متوسط است، در حالی که مدل Gemma 4 31B گوگل امتیاز 39 داشت. مدل‌های پیشرفته ابری امتیاز 57 را کسب کردند که بسیار بالاتر است. مدل Qwen3.5 27B به 17 تا 20 گیگابایت حافظه نیاز دارد که فراتر از ظرفیت کامپیوترهای 16 گیگابایتی است.

حتی قوی‌ترین کامپیوترهای شخصی نیز نمی‌توانند به سطح مدل‌های پیشرفته و بزرگ مانند Moonshot’s Kimi K2.6 با یک تریلیون پارامتر یا جانشین آن Kimi K3 با 2.8 تریلیون پارامتر برسند، که برای اجرای آن‌ها به صدها گیگابایت رم و VRAM نیاز است و تنها در مراکز داده بزرگ قابل اجرا هستند.

نتیجه‌گیری و هزینه‌ها

برای استفاده‌های معمولی مانند خلاصه‌سازی‌های خصوصی یا کمک به کدنویسی آفلاین، یک کامپیوتر با 16 گیگابایت رم کافی است. اما اگر می‌خواهید از مدل‌های محلی به جای چت‌بات‌های ابری استفاده کنید، حداقل به 32 گیگابایت رم یا کارت گرافیک با 16 گیگابایت VRAM نیاز دارید. قیمت یک کیت 32 گیگابایتی DDR5 حدود 434 دلار است که تقریباً معادل دو سال اشتراک ماهانه 20 دلاری سرویس‌هایی مانند ChatGPT Plus یا Claude Pro است.

در نهایت، هرچقدر هم که سخت‌افزار شما قدرتمند باشد، برای دسترسی به مدل‌های هوش مصنوعی پیشرفته و بزرگ، باید به سراغ مراکز داده و سرویس‌های ابری رفت.

مهین صالحی

مهین صالحی

نویسنده بیزنس سون