واژه‌نامه A to Z هوش مصنوعی

مجموعه‌ای از دستورالعمل‌های گام به گام برای حل یک مسئله

الگوریتم پایه هر برنامه و مدل هوش مصنوعی است. در ML، الگوریتم مشخص می‌کند مدل چگونه از داده یاد بگیرد و تصمیم بگیرد.

هوشی فرضی که در همه‌ی وظایف شناختی به سطح انسان یا فراتر از آن برسد

برخلاف مدل‌های امروزی که در یک حوزه‌ی خاص خوب عمل می‌کنند، AGI باید بتواند مثل انسان در هر زمینه‌ای یاد بگیرد و استدلال کند. هنوز هیچ سیستمی به این سطح نرسیده و زمان رسیدن به آن هم بین متخصصان اختلاف‌نظر جدی است.

روشی در شبکه‌های عصبی که به مدل اجازه می‌دهد روی بخش‌های مهم‌تر ورودی تمرکز کند

مکانیزم توجه به مدل کمک می‌کند وزن متفاوتی به کلمات مختلف یک جمله بدهد، به‌جای پردازش یکسان همه‌چیز. این ایده پایه‌ی معماری ترنسفورمر و موفقیت مدل‌های زبانی امروزی است.

پلی که به دو نرم‌افزار اجازه می‌دهد با هم صحبت کنند

اکثر مدل‌های زبانی مثل GPT از طریق API در دسترس توسعه‌دهنده‌ها قرار می‌گیرند، یعنی بدون دسترسی به کد داخلی مدل می‌توان از آن در اپلیکیشن خودت استفاده کرد.

سیستمی که برای رسیدن به یک هدف، خودش برنامه‌ریزی می‌کند و از ابزارها استفاده می‌کند

برخلاف چت‌بات ساده که فقط پاسخ می‌دهد، ایجنت می‌تواند وظیفه را به مراحل کوچک‌تر بشکند، ابزار یا API صدا بزند و بدون دخالت مداوم انسان تا رسیدن به نتیجه ادامه دهد.

گرایش ناخواسته مدل به نتایج نادرست یا ناعادلانه به‌خاطر داده‌های آموزشی

سوگیری وقتی رخ می‌دهد که داده‌ی آموزشی مدل نماینده‌ی کامل واقعیت نباشد. نتیجه‌اش می‌تواند تبعیض علیه یک گروه خاص یا خطای سیستماتیک در پیش‌بینی‌ها باشد.

الگوریتمی که میزان خطای مدل را از خروجی به عقب، لایه به لایه، منتقل می‌کند تا وزن‌ها اصلاح شوند

پس‌انتشار خطا موتور اصلی آموزش شبکه‌های عصبی است. بدون آن، مدل نمی‌داند هر وزن چقدر در اشتباه نهایی سهیم بوده و چطور باید تنظیم شود.

مستطیلی که دور یک شیء در تصویر رسم می‌شود تا موقعیتش را مشخص کند

در تشخیص اشیا، مدل باید هم نوع شیء را بگوید و هم مختصات این کادر را دور آن بکشد. پایه‌ی بسیاری از سیستم‌های بینایی ماشین مثل خودروهای خودران است.

مجموعه‌ای استاندارد از تست‌ها برای مقایسه‌ی عملکرد مدل‌های مختلف

بنچمارک‌هایی مثل MMLU یا HumanEval به همه اجازه می‌دهند مدل‌ها را روی یک معیار مشترک مقایسه کنند. البته بنچمارک همیشه بازتاب دقیق عملکرد در دنیای واقعی نیست.

برنامه‌ای که با کاربر به زبان طبیعی گفتگو می‌کند

چت‌بات‌های قدیمی بر اساس قوانین ثابت کار می‌کردند، اما چت‌بات‌های امروزی مثل ChatGPT روی مدل‌های زبانی بزرگ ساخته شده‌اند و می‌توانند مکالمه‌ی باز و پیچیده داشته باشند.

فرایند دسته‌بندی داده به یک یا چند برچسب از پیش تعیین‌شده

مثلاً تشخیص اسپم بودن یا نبودن یک ایمیل، یک مسئله طبقه‌بندی است. یکی از پرکاربردترین وظایف در یادگیری ماشین محسوب می‌شود.

حداکثر مقدار متنی که مدل زبانی می‌تواند در یک لحظه ببیند و به آن توجه کند

اگر مکالمه یا سندی از پنجره زمینه بزرگ‌تر شود، مدل بخش‌های ابتدایی را فراموش می‌کند. اندازه‌ی این پنجره معمولاً بر حسب تعداد توکن اندازه‌گیری می‌شود.

تکنیکی که مدل را وادار می‌کند قبل از پاسخ نهایی، مراحل استدلال خود را قدم‌به‌قدم بنویسد

این روش دقت مدل را در مسائل ریاضی و منطقی به‌شدت بالا می‌برد، چون مدل به‌جای حدس مستقیم، مسیر رسیدن به جواب را می‌سازد.

نوعی شبکه عصبی که برای پردازش تصویر و الگوهای مکانی طراحی شده

CNN با استفاده از فیلترهای کوچک روی بخش‌های مختلف تصویر حرکت می‌کند تا لبه‌ها، بافت‌ها و اشکال را شناسایی کند. سال‌ها پیش از ترنسفورمرها، استاندارد بینایی ماشین بود.

مجموعه‌ی بزرگی از متن که برای آموزش یا تحلیل مدل زبانی استفاده می‌شود

مثلاً کل ویکی‌پدیا یا آرشیو کتاب‌ها می‌تواند یک پیکره‌ی متنی باشد. کیفیت و تنوع این پیکره تاثیر مستقیم روی توانایی زبانی مدل دارد.

زیرشاخه‌ای از یادگیری ماشین که از شبکه‌های عصبی چندلایه استفاده می‌کند

یادگیری عمیق پشت اکثر پیشرفت‌های اخیر هوش مصنوعی، از تشخیص تصویر تا مدل‌های زبانی بزرگ، قرار دارد. هرچه لایه‌های شبکه بیشتر باشد، مدل می‌تواند الگوهای پیچیده‌تری یاد بگیرد.

مجموعه‌ای از داده که برای آموزش یا آزمایش یک مدل استفاده می‌شود

کیفیت و تنوع دیتاست مستقیم روی کیفیت مدل نهایی اثر می‌گذارد. اصطلاح معروف «garbage in, garbage out» دقیقاً همین موضوع را توصیف می‌کند.

مدلی که تصویر یا صدا را با یاد گرفتن حذف تدریجی نویز از یک داده‌ی کاملاً نویزی می‌سازد

ابزارهایی مثل Midjourney و Stable Diffusion بر پایه‌ی همین ایده کار می‌کنند: مدل یاد می‌گیرد چطور از یک تصویر پر از نویز، قدم‌به‌قدم به یک تصویر واضح برسد.

فرایند اضافه کردن تگ یا برچسب به داده خام برای آموزش مدل

مثلاً مشخص کردن این‌که در یک عکس کدام بخش «گربه» است. این کار معمولاً توسط انسان یا نیمه‌خودکار انجام می‌شود و برای یادگیری نظارت‌شده ضروری است.

فرایند انتقال دانش یک مدل بزرگ به یک مدل کوچک‌تر و سریع‌تر

مدل کوچک، به‌جای یادگیری مستقیم از داده خام، سعی می‌کند رفتار مدل بزرگ‌تر را تقلید کند. نتیجه، مدلی سبک‌تر با عملکرد نزدیک به مدل اصلی است.

نمایش عددی یک کلمه، جمله یا تصویر در فضایی چندبعدی که معنا را حفظ می‌کند

مفاهیم مشابه در فضای embedding به هم نزدیک قرار می‌گیرند. این تکنیک پایه‌ی جستجوی معنایی و RAG است.

مجموعه‌ای از روش‌ها برای فهمیدن این‌که چرا مدل به یک نتیجه‌ی خاص رسیده

هرچه مدل پیچیده‌تر می‌شود، تصمیمش شبیه یک جعبه‌سیاه‌تر می‌شود. XAI تلاش می‌کند این جعبه سیاه را باز کند، به‌خصوص در حوزه‌های حساس مثل پزشکی و مالی.

یک بار عبور کامل مدل از تمام داده‌های آموزشی

مدل معمولاً برای رسیدن به عملکرد خوب، باید چندین epoch روی داده تکرار شود. تعداد epoch زیاد می‌تواند باعث overfitting شود.

حوزه‌ای که به تاثیرات اجتماعی، عادلانه بودن و ایمنی سیستم‌های هوش مصنوعی می‌پردازد

موضوعاتی مثل حریم خصوصی، سوگیری، شفافیت تصمیم‌گیری مدل و تاثیر بر اشتغال، همه زیرمجموعه‌ی اخلاق در AI هستند.

آموزش بیشتر یک مدل از پیش‌آموزش‌دیده روی یک دیتاست کوچک‌تر و تخصصی

فاین‌تیون به‌جای ساخت مدل از صفر، رفتار یک مدل پایه را برای وظیفه یا لحن خاصی تنظیم می‌کند، مثلاً یک مدل عمومی را متخصص پزشکی می‌کند.

توانایی مدل در یادگیری یک وظیفه جدید فقط با دیدن چند نمونه در پرامپت

به‌جای فاین‌تیون کردن مدل، فقط چند مثال ورودی-خروجی داخل پرامپت می‌گذاری تا مدل الگو را بفهمد و همان‌طور ادامه دهد.

فرایند انتخاب یا ساخت ویژگی‌های مناسب از داده خام برای بهبود عملکرد مدل

مثلاً از تاریخ تولد، «سن» را به‌عنوان یک ویژگی جدید می‌سازی. در مدل‌های کلاسیک یادگیری ماشین، کیفیت این کار تاثیر زیادی روی دقت نهایی دارد.

مدلی بزرگ که روی حجم عظیمی از داده آموزش دیده و پایه‌ی کاربردهای مختلف قرار می‌گیرد

مدل‌هایی مثل GPT یا Claude، مدل‌های پایه هستند. یعنی به‌جای ساخت مدل از صفر، می‌توان همین مدل را برای کاربردهای خاص فاین‌تیون یا پرامپت کرد.

هوش مصنوعی که محتوای جدید مثل متن، تصویر یا صدا تولید می‌کند

برخلاف مدل‌های سنتی که فقط طبقه‌بندی یا پیش‌بینی می‌کنند، هوش مصنوعی مولد چیز تازه‌ای خلق می‌کند که قبلاً وجود نداشته.

دو شبکه عصبی که در رقابت با هم، یکی داده جعلی می‌سازد و دیگری سعی می‌کند آن را تشخیص دهد

این رقابت باعث می‌شود شبکه‌ی سازنده، خروجی‌هایی به‌مرور واقعی‌تر تولید کند. پیش از مدل‌های انتشار، GAN استاندارد اصلی تولید تصویر مصنوعی بود.

سخت‌افزاری که به‌خاطر پردازش موازی، برای آموزش مدل‌های هوش مصنوعی ضروری است

GPU در اصل برای رندر گرافیک بازی طراحی شده بود، اما ساختار موازی‌اش برای محاسبات سنگین شبکه‌های عصبی هم فوق‌العاده مناسب از آب درآمد.

قوانین و فیلترهایی که رفتار مدل را در محدوده‌ی امن و مطلوب نگه می‌دارند

گاردریل‌ها جلوی خروجی‌های مضر، خارج از موضوع یا خطرناک را می‌گیرند. می‌توانند در سطح پرامپت، کد یا حتی خود مدل پیاده‌سازی شوند.

الگوریتم بهینه‌سازی که وزن‌های مدل را قدم‌به‌قدم در جهت کاهش خطا تغییر می‌دهد

تصورش مثل پایین آمدن از یک تپه در مه غلیظ است، هر قدم را در جهتی برمی‌داری که سریع‌تر پایین بروی. این فرایند قلب آموزش تقریباً هر شبکه عصبی است.

وقتی مدل زبانی با اعتمادبه‌نفس، اطلاعات غلط یا ساختگی تولید می‌کند

هالوسینیشن یکی از بزرگ‌ترین چالش‌های LLMها است، چون مدل هیچ راهی برای تشخیص «دانستن» از «حدس زدن» ندارد و هر دو را با لحن یکسان بیان می‌کند.

تنظیماتی که پیش از شروع آموزش توسط انسان مشخص می‌شوند، نه توسط خود مدل

مثل نرخ یادگیری یا تعداد لایه‌های شبکه. برخلاف پارامترهای مدل که در آموزش تنظیم می‌شوند، فراپارامترها را باید از قبل انتخاب کرد.

فرایندی که در آن انسان در بخشی از تصمیم‌گیری یا آموزش مدل دخالت می‌کند

مثلاً بررسی و اصلاح خروجی مدل توسط انسان پیش از استفاده نهایی. این روش دقت و ایمنی سیستم را بالا می‌برد، به‌خصوص در تصمیمات حساس.

مرحله‌ای که مدل آموزش‌دیده، روی داده‌ی جدید پیش‌بینی یا پاسخ تولید می‌کند

برخلاف آموزش که هزینه‌بر و یک‌بار انجام می‌شود، استنتاج هر بار که کاربر از مدل سوال می‌پرسد اتفاق می‌افتد و هزینه‌ی اجرایی مداوم دارد.

توانایی مدل در شناسایی اشیا، افراد یا صحنه‌ها درون یک تصویر

از فیلتر عکس گوشی تا خودروهای خودران، همه به نوعی از تشخیص تصویر استفاده می‌کنند. این حوزه بخشی از بینایی ماشین محسوب می‌شود.

فاین‌تیون کردن مدل روی مجموعه‌ای از دستور و پاسخ، تا بهتر از دستورات انسانی پیروی کند

این مرحله باعث می‌شود مدل خام که فقط دنباله متن را پیش‌بینی می‌کند، به دستیاری تبدیل شود که واقعاً به سوال یا درخواست پاسخ می‌دهد.

تکنیک‌هایی برای دور زدن محدودیت‌های ایمنی مدل با پرامپت‌های هوشمندانه

جیل‌بریک روی خود مدل انجام می‌شود، اما تزریق پرامپت معمولاً از طریق داده‌ی خارجی (مثل یک سند یا صفحه‌ی وب) دستورات مخفی را وارد سیستم می‌کند. هر دو از چالش‌های اصلی امنیت LLM هستند.

ساختاری که موجودیت‌ها و روابط بین آن‌ها را به‌صورت گره و یال نمایش می‌دهد

مثلاً «تهران، پایتخت، ایران» یک رابطه در گراف دانش است. این ساختار به سیستم‌ها کمک می‌کند دانش را دقیق‌تر و قابل جستجوتر نگه دارند.

الگوریتمی ساده که یک نمونه جدید را بر اساس شباهتش به k نمونه‌ی نزدیک در داده آموزشی طبقه‌بندی می‌کند

مدل هیچ یادگیری واقعی ندارد و در لحظه‌ی پیش‌بینی، فاصله‌ی نمونه جدید تا همه‌ی داده‌ها را حساب می‌کند. ساده اما برای دیتاست‌های بزرگ کند است.

مدلی که روی حجم عظیمی از متن آموزش دیده تا زبان انسان را بفهمد و تولید کند

GPT، Claude و Gemini همه LLM هستند. اندازه‌ی «بزرگ» به میلیاردها پارامتر مدل اشاره دارد که به آن قدرت درک زمینه و تولید متن روان می‌دهد.

مدت زمانی که طول می‌کشد تا مدل بعد از دریافت درخواست، پاسخ بدهد

تاخیر کم برای اپلیکیشن‌های real-time مثل چت‌بات یا دستیار صوتی حیاتی است. مدل‌های بزرگ‌تر معمولاً تاخیر بیشتری دارند.

فرمولی که میزان اشتباه پیش‌بینی مدل نسبت به پاسخ درست را عددی می‌کند

هدف کل فرایند آموزش، کمینه کردن همین عدد است. انتخاب تابع خطای مناسب برای هر مسئله، تاثیر زیادی روی نتیجه‌ی نهایی مدل دارد.

روشی سبک برای فاین‌تیون مدل‌های بزرگ، بدون تغییر همه‌ی پارامترهای اصلی

به‌جای آموزش دوباره‌ی میلیاردها پارامتر، LoRA فقط چند لایه‌ی کوچک اضافه می‌کند و آموزش می‌دهد، که هزینه و حافظه‌ی مورد نیاز را به‌شدت کاهش می‌دهد.

شاخه‌ای از هوش مصنوعی که در آن مدل از داده یاد می‌گیرد، نه از قوانین از پیش نوشته‌شده

به‌جای برنامه‌نویسی دستی هر قانون، مدل با دیدن نمونه‌های زیاد، الگوها را خودش کشف می‌کند. زیربنای اکثر سیستم‌های هوش مصنوعی امروزی است.

فایل یا سیستمی که پس از آموزش روی داده، می‌تواند پیش‌بینی یا تصمیم بگیرد

مدل حاصل نهایی فرایند یادگیری ماشین است، شامل وزن‌ها و پارامترهایی که در طول آموزش تنظیم شده‌اند.

سیستمی که می‌تواند بیش از یک نوع داده مثل متن، تصویر و صدا را همزمان بفهمد یا تولید کند

مدلی که هم عکس را توصیف می‌کند و هم به سوال متنی درباره‌ی آن پاسخ می‌دهد، چندوجهی است. این قابلیت روزبه‌روز به بخش استاندارد مدل‌های پیشرفته تبدیل می‌شود.

استانداردی باز که به مدل‌های زبانی اجازه می‌دهد به‌شکل یکسان به ابزارها و منابع داده‌ی خارجی وصل شوند

پیش از MCP، هر اتصال بین مدل و ابزار (مثل گوگل درایو یا اسلک) باید جداگانه پیاده‌سازی می‌شد. این پروتکل مثل یک زبان مشترک، اتصال ایجنت‌ها به دنیای بیرون را ساده‌تر می‌کند.

معماری‌ای که به‌جای فعال کردن کل مدل، برای هر ورودی فقط زیرمجموعه‌ای از «متخصص‌ها» را فعال می‌کند

این روش اجازه می‌دهد مدل خیلی بزرگ باشد اما در لحظه‌ی پاسخ‌دهی، فقط بخش کوچکی از آن محاسبه شود، که سرعت و بهره‌وری را بالا می‌برد.

ساختاری از لایه‌های به‌هم‌متصل که با الهام از مغز انسان طراحی شده

شبکه عصبی از نورون‌های مصنوعی تشکیل شده که در لایه‌های ورودی، پنهان و خروجی قرار دارند. پایه‌ی اصلی یادگیری عمیق است.

شاخه‌ای از هوش مصنوعی که به ماشین کمک می‌کند زبان انسان را بفهمد و تولید کند

ترجمه ماشینی، تحلیل احساسات متن و چت‌بات‌ها همه از NLP استفاده می‌کنند. مدل‌های زبانی بزرگ امروزی، پیشرفته‌ترین شکل NLP هستند.

توانایی مدل در پیدا کردن و برچسب زدن اسم‌های خاص مثل افراد، مکان‌ها و سازمان‌ها در متن

مثلاً در جمله «علی در تهران کار می‌کند»، مدل باید «علی» را شخص و «تهران» را مکان تشخیص دهد. این کار پایه‌ی بسیاری از سیستم‌های استخراج اطلاعات است.

وقتی مدل داده‌ی آموزشی را «حفظ» می‌کند به‌جای یاد گرفتن الگوی کلی

مدلی که overfit شده، روی داده‌ای که دیده عالی عمل می‌کند اما روی داده‌ی جدید ضعیف است، چون به‌جای یادگیری واقعی، جزئیات را حفظ کرده.

مدلی که وزن‌ها یا کدش عمومی و قابل دانلود است

مدل‌های متن‌باز مثل Llama یا Mistral به توسعه‌دهنده‌ها اجازه می‌دهند مدل را روی سرور خودشان اجرا و حتی فاین‌تیون کنند، برخلاف مدل‌های بسته که فقط از طریق API در دسترس‌اند.

توانایی مدل در یادگیری یک وظیفه فقط با دیدن یک نمونه‌ی واحد

حالت خاصی از few-shot learning است که در آن فقط یک مثال به مدل نشان داده می‌شود تا الگوی درخواست شده را بفهمد.

هنر و مهارت نوشتن ورودی برای گرفتن بهترین خروجی از مدل زبانی

یک پرامپت خوب می‌تواند کیفیت خروجی مدل را کاملاً متفاوت کند، بدون این‌که خود مدل تغییری کرده باشد. شامل تکنیک‌هایی مثل مثال دادن یا مشخص کردن فرمت خروجی است.

مقادیر عددی درون مدل که در فرایند آموزش تنظیم می‌شوند

تعداد پارامترها معمولاً به‌عنوان معیاری از «اندازه» مدل استفاده می‌شود، مثلاً مدلی با ۷۰ میلیارد پارامتر. پارامتر بیشتر لزوماً به معنی مدل بهتر نیست.

مرحله‌ی اول و پرهزینه‌ی آموزش مدل، روی حجم عظیمی از داده‌ی عمومی و بدون برچسب

در این مرحله مدل زبان، دستور زبان و دانش عمومی را یاد می‌گیرد. مراحل بعدی مثل فاین‌تیون، روی همین پایه ساخته می‌شوند.

ساده‌ترین واحد محاسباتی در شبکه عصبی، الهام‌گرفته از یک نورون زیستی

پرسپترون ورودی‌ها را با وزن‌های مختلف جمع می‌زند و از یک تابع فعال‌سازی عبور می‌دهد. ترکیب هزاران پرسپترون در لایه‌های مختلف، شبکه عصبی امروزی را می‌سازد.

فشرده‌سازی مدل با کاهش دقت عددی وزن‌ها، مثلاً از ۳۲ بیت به ۴ بیت

کوانتیزاسیون حجم مدل و مصرف حافظه را به‌شدت کاهش می‌دهد و اجازه می‌دهد مدل‌های بزرگ روی سخت‌افزار ضعیف‌تر یا حتی موبایل اجرا شوند، البته با کمی افت دقت.

درخواستی که کاربر یا سیستم برای جستجو یا دریافت اطلاعات ارسال می‌کند

در سیستم‌های RAG یا جستجوی معنایی، کوئری همان سوال یا عبارتی است که قرار است به نتایج یا اسناد مرتبط تبدیل شود.

تکنیکی که پیش از پاسخ دادن، مدل اطلاعات مرتبط را از یک منبع خارجی (مثل پایگاه داده یا اسناد) بازیابی می‌کند

RAG به مدل کمک می‌کند بدون نیاز به فاین‌تیون، از اطلاعات به‌روز یا اختصاصی سازمان استفاده کند و هالوسینیشن را هم کاهش می‌دهد.

روشی که مدل از طریق پاداش و جریمه، رفتار بهینه را یاد می‌گیرد

مدل با آزمون و خطا در یک محیط عمل می‌کند و بر اساس نتیجه‌ی هر عمل، پاداش یا جریمه می‌گیرد. در بازی‌ها، رباتیک و تنظیم رفتار LLM کاربرد دارد.

روشی که در آن ترجیحات انسانی برای آموزش مدل به سیگنال پاداش تبدیل می‌شود

انسان‌ها بین چند پاسخ مدل، بهترین را انتخاب می‌کنند، سپس مدل با یادگیری تقویتی یاد می‌گیرد پاسخ‌هایی شبیه گزینه‌ی برتر تولید کند. نقش کلیدی در همسو کردن رفتار مدل‌های زبانی امروزی دارد.

وظیفه‌ای در یادگیری ماشین که خروجی آن یک عدد پیوسته است، نه یک دسته

مثلاً پیش‌بینی قیمت خانه یا دمای فردا، مسئله‌ی رگرسیون است، برخلاف طبقه‌بندی که خروجی آن یک برچسب مشخص است.

روشی که مدل از داده‌های دارای برچسب یاد می‌گیرد

در این روش، به مدل هم ورودی و هم پاسخ درست داده می‌شود تا رابطه‌ی بین آن‌ها را یاد بگیرد. اکثر مدل‌های طبقه‌بندی و پیش‌بینی با این روش آموزش می‌بینند.

جستجویی که بر اساس معنای عبارت کار می‌کند، نه فقط تطابق کلمه‌به‌کلمه

با استفاده از embedding، سیستم می‌تواند نتایجی را پیدا کند که از نظر مفهومی مرتبط‌اند حتی اگر کلمات دقیقاً یکسان نباشند. پایه‌ی موتورهای جستجوی هوشمند و RAG است.

داده‌ای که به‌جای جمع‌آوری از دنیای واقعی، توسط الگوریتم یا مدل دیگر تولید می‌شود

وقتی داده‌ی واقعی کم، گران یا حساس (مثل داده پزشکی) باشد، داده‌ی مصنوعی می‌تواند جایگزین یا مکمل آن برای آموزش مدل باشد.

دستورالعملی که پیش از شروع گفتگو، رفتار کلی مدل را تعیین می‌کند

برخلاف پرامپت کاربر که هر بار تغییر می‌کند، پرامپت سیستمی معمولاً ثابت است و لحن، نقش و محدودیت‌های مدل را در طول کل مکالمه مشخص می‌کند.

معماری شبکه عصبی که بر پایه‌ی مکانیزم توجه ساخته شده و پایه‌ی اکثر مدل‌های زبانی امروزی است

ترنسفورمر برخلاف مدل‌های قدیمی‌تر، کل جمله را همزمان پردازش می‌کند نه کلمه‌به‌کلمه، که هم سرعت آموزش و هم درک زمینه را به‌شدت بهبود داد.

واحدهای کوچکی که متن قبل از پردازش توسط مدل به آن‌ها تقسیم می‌شود

یک توکن می‌تواند یک کلمه کامل، بخشی از کلمه یا حتی یک حرف باشد. قیمت‌گذاری API اکثر مدل‌های زبانی هم بر اساس تعداد توکن است.

داده‌ای که برای یاد دادن الگوها به مدل استفاده می‌شود

کیفیت، حجم و تنوع داده آموزشی مستقیماً روی عملکرد نهایی مدل اثر می‌گذارد. منبع داده آموزشی یکی از بحث‌برانگیزترین موضوعات حقوقی هوش مصنوعی امروز است.

پارامتری که میزان تصادفی بودن و خلاقیت خروجی مدل زبانی را تنظیم می‌کند

دمای پایین پاسخ‌های قابل‌پیش‌بینی‌تر و محافظه‌کارانه‌تر می‌دهد، دمای بالا پاسخ‌های متنوع‌تر اما گاهی کمتر منسجم تولید می‌کند.

آزمونی که بررسی می‌کند آیا انسان می‌تواند ماشین را از انسان تشخیص دهد یا نه

این آزمون در سال ۱۹۵۰ توسط آلن تورینگ پیشنهاد شد. اگر انسان نتواند در گفتگو تشخیص دهد طرف مقابلش ماشین است یا انسان، مدل این آزمون را «رد» کرده است.

روشی که مدل بدون برچسب، خودش الگو یا خوشه‌ها را در داده پیدا می‌کند

مثلاً دسته‌بندی مشتریان بر اساس رفتار خریدشان، بدون این‌که از قبل دسته‌ها مشخص شده باشند. برخلاف یادگیری نظارت‌شده، اینجا پاسخ درستی از قبل وجود ندارد.

وقتی مدل حتی الگوهای ساده‌ی داده آموزشی را هم درست یاد نمی‌گیرد

برخلاف overfitting، مدل underfit شده روی داده آموزشی و داده جدید هر دو ضعیف عمل می‌کند، معمولاً به‌خاطر ساده بودن بیش از حد مدل یا آموزش ناکافی.

پایگاه داده‌ای که به‌جای جدول معمولی، embedding را ذخیره و بر اساس شباهت جستجو می‌کند

این نوع پایگاه داده قلب اصلی سیستم‌های RAG است، چون به مدل اجازه می‌دهد سریع‌ترین اسناد مرتبط با یک سوال را از میان میلیون‌ها سند پیدا کند.

اعمال معماری ترنسفورمر روی تصویر، به‌جای متن

تصویر به قطعات کوچک تقسیم می‌شود و هر قطعه مثل یک توکن متنی پردازش می‌شود. ViT در بسیاری از وظایف بینایی ماشین، جایگزین CNN شده است.

بخشی از داده که برای تنظیم مدل در حین آموزش استفاده می‌شود، نه برای آموزش مستقیم

این مجموعه جدا از داده آموزشی و داده تست است و کمک می‌کند تشخیص دهی مدل دارد overfit می‌شود یا نه، پیش از این‌که روی داده تست نهایی امتحان شود.

اعداد درون شبکه عصبی که قدرت اتصال بین نورون‌ها را مشخص می‌کنند

وزن‌ها همان چیزی هستند که در طول آموزش، بارها و بارها تنظیم می‌شوند تا مدل به خروجی درست برسد. «دانلود کردن مدل» در واقع یعنی دانلود همین فایل وزن‌ها.

سیستمی که فقط برای یک وظیفه‌ی خاص طراحی شده، نه هوشمندی عمومی

تمام مدل‌های امروزی، از جمله LLMها، در دسته‌ی هوش مصنوعی محدود قرار می‌گیرند، چون در یک یا چند حوزه‌ی خاص خوب عمل می‌کنند اما درک عمومی و آگاهانه ندارند.

توانایی مدل در انجام یک وظیفه‌ی جدید بدون دیدن حتی یک نمونه از آن، فقط با توضیح متنی

مدل صرفاً بر اساس دانشی که در پیش‌آموزش کسب کرده، وظیفه را حدس می‌زند. هرچه مدل بزرگ‌تر و پیش‌آموزش قوی‌تر باشد، عملکرد zero-shot بهتر است.

روش تازه و ناشناخته‌ای برای دور زدن ایمنی مدل که هنوز گاردریل‌ها آن را پوشش نمی‌دهند

این حملات معمولاً پیش از این‌که سازنده‌ی مدل بتواند وصله‌اش کند کشف و منتشر می‌شوند، شبیه به مفهوم آسیب‌پذیری روز-صفر در امنیت سایبری سنتی.