المسح المدمر: رقمنة على حساب الكتاب

يخطئ لأنه لا يمتلك محركًا للحقيقة بداخله. لديه فقط محرك إحصائي للغة. عندما يجيب، لا يؤكد ما هو صحيح: بل يكمل جملة بأكثر الطرق احتمالًا بناءً على مليارات الأمثلة.

لا يخطئ LLM فقط بسبب خطأه. أحيانًا يخطئ لأن شخصًا ما يجعله يفعل ذلك عمدًا. الهروب من السجن ليس هجومًا إلكترونيًا كما نفهمه عادةً: لا يدخل أحد إلى خادم، ولا يفرض أحد كلمة مرور، ولا يكسر أحد قفلًا رقميًا.

من بين التقنيات المستخدمة للتلاعب بسلوك نموذج اللغة الكبير، تُعتبر حقن التعليمات واحدة من أصعب التقنيات في الكشف. يكفي إخفاء التعليمات في المكان المناسب - وانتظار أن ينفذها بمفرده.

ثغرات، كسر الحماية، إدخال الأوامر. ثلاثة مشاكل مختلفة، جذر مشترك: نموذج اللغة الكبير لا يتبع القواعد المكتوبة في الشيفرة — لقد تعلم سلوكيات من مليارات الأمثلة. لهذا السبب، تصحيحه أكثر تعقيدًا بكثير من تطبيق تصحيح بسيط.

نصوص مطولة، صور غير ذات صلة، مقاطع فيديو رديئة: إنتاج آلي بدون اهتمام يغزو الإنترنت