أدلة موثقة

التخزين المؤقت للموجّهات: قلّل كلفة الإدخال حتى ٩٠٪

سطر إعداد واحد يحوّل السياق الكبير المتكرّر من فاتورة بالسعر الكامل إلى عُشر الكلفة. إليك الآلية الدقيقة، والأرقام، وطريقة التفعيل.

المشكلة

كل طلب إلى نموذج لغوي كبير يعيد قراءة مدخلاته كاملة. إن أرسلت موجّهًا نظاميًا كبيرًا، أو تعريفات أدوات، أو وثيقة مرجعية في كل طلب، فأنت تدفع سعر الإدخال الكامل للكتلة نفسها مرارًا. في وكيل أو محادثة طويلة، الكلفة تأتي من إعادة القراءة لا من الرسالة الجديدة.

الآلية

يخزّن التخزين المؤقت بادئة ثابتة من طلبك ويعيد استخدامها عبر الطلبات. والبادئة عادةً موجّه نظامي كبير أو مجموعة تعريفات أدوات. يحاسبك المزوّد على الكتلة مرة واحدة بالسعر الكامل عند كتابتها، ثم يقدّمها من المخزّن في الطلبات التي تليها.

الأرقام دقيقة. قراءة المخزّن تكلّف عُشر سعر الإدخال المعتاد، أي توفير تسعين بالمئة على الجزء المخزّن. وكتابة المخزّن تكلّف ١٫٢٥ ضعف السعر الأساس لمخزّن مدته خمس دقائق. فالبادئة الكبيرة الثابتة التي تُعاد بضع مرات داخل النافذة توفّر كلفتها فورًا تقريبًا.

كيف تفعّله

أبسط صورة تضيف معاملًا واحدًا — cache_control بقيمة ephemeral — فيخزّن الواجهة آخر كتلة مؤهّلة تلقائيًا. وللتحكّم الأدق تضع cache_control على كتلة نظامية أو نصّية بعينها.

المخزّن الافتراضي يعيش خمس دقائق ويتجدّد مع كل استخدام داخل النافذة دون كلفة إضافية. ويتوفّر مخزّن لساعة كاملة بضعف السعر الأساس حين تحتاج أفقًا أطول.

لا يعمل التخزين إلا فوق حدّ أدنى يختلف بالنموذج — بحدود ألف رمز للنماذج المتوسطة وأقل للأصغر. دون ذلك يجري الطلب بلا تخزين ودون خطأ، فتحقّق من الاستجابة.

تأكّد أنه عمل

حقل الاستخدام في الاستجابة يقول الحقيقة: cache_read_input_tokens تُحاسب بنسبة ١٠٪، وcache_creation_input_tokens تحمل كلفة الكتابة. إن قرأ الاثنان صفرًا فلم يُخزَّن شيء — غالبًا لأن البادئة دون الحدّ الأدنى أو تغيّرت بين الطلبات.

أين يفيد أكثر

يفيد كل عمل يعيد إرسال السياق الكبير نفسه. أوضح حالة وكيل يحمل موجّهات وأدوات ثقيلة، وحالة أخرى روبوت دعم بتاريخ محادثة طويل. وكلما تكرّرت البادئة داخل النافذة زاد ما يوفّره سطر الإعداد الواحد.