· 6 min read

مساعد تصميم يعمل على جهازك لا حساب، لا خادم

مساعد (بي جي تي إكس) في (ديفيسي) (بي بي جي 1X) يتحول إلى مشهد حقيقي ها هو الهيكل، نداءات الأدوات المقيدة، اثنين من مقدمي الخدمات، وحساب صادق ما يمكن أن نموذج صغير ولا يمكن القيام به.

الفرضية

معظم أدوات تصميم " بي جي تي إكس " ترسل سرعتك إلى خادم وتدير نموذجاً كبيراً. هذا يحتاج إلى حساب، وشبكة ذهابا وإيابا، وثقة أن عملك في المستقبل عبور البنية الأساسية لشخص آخر.

أردنا أن نعرف إلى أي مدى يذهب المتطرف الآخر: مساعد تصميم حيث يعمل النموذج على آلة الخاص بك. لا حساب. لا تحميل. العجلة لا تترك المنظف. هذا هو الآن يعيش في محرر PPinePaper على أنه تجريبي PG1X / خط / رمز مساعد.

لماذا لا تسأل فقط النموذج للرمز؟?

النهج الواضح هو أن نطلب من نموذج (الدايفيز) أن يكتب (جافاسكريبت) ضد (بي بي جي إكس). حاولنا ذلك. انها تفشل بشكل سيء.

نماذج صغيرة التي تناسب الحاسوب المحمول ليس لديه معرفة عن تطبيق محدد اطلبي نموذجاً يتراوح بين 0.5 و2B لاستدعاء PinePaper.create() وهو يرتجل: مفتاح لا يقرأه المنهج (بطريقة SVG-style fill) حيث تتوقع شركة API color)، وهي طريقة تتخيلها، حجج في الشكل الخاطئ. الناتج يسقط* مثل الرمز و صامتة يفعل الشيء الخطأ.

لذا نحن لا نطلب الشفرة. نطلب قائمة مشبوهة بمكالمات الأدوات**

[
  { "name": "pinepaper_set_background_color", "arguments": { "color": "#0F0F1A" } },
  { "name": "pinepaper_create_item", "arguments": { "itemType": "star", "x": 400, "y": 300, "radius": 90, "color": "#E74C3C", "animationType": "pulse" } }
]

نفس المفردات (بي بي جي تي إكس).. لكن تم إطلاقه بواسطة نموذج يعمل محلياً و أعدم على الأغطية من خلال مرسل صغير.

جعل الناتج غير الصحيح مستحيل

The key move is constrained decoding. بدلاً من أن نأمل أن يُنتج النموذج شكلاً صالحاً، نحن نُقيّد... ما يُسمح له حتى أن يُطلق عليه:

  • على الـ(كروم) المُبنية في "برومبست بي جي 2 إكس، نُمرّرُ a PG1X Schema. والنموذج لا يمكن إلا أن ينتج الأشياء التي تسمح بها المادة الكيميائية - مع (زكز)، أي حجة لا يعرفها الشيميا لا يمكن تمثيلها حرفياً.
  • On WebLLM (an open model running on WebGPU), we attach an EBNF grammar via XGrammar. ويقضي الغرامار بالهيكل؛ ولا يملأ النموذج إلا القيم.

كلاهما ينتجان نفس شكل مجموعة الأدوات. تمرير إصلاح صغير ثم ينقذ نموذج صغير لا يزال يصنع )أ( زورقز مسقط، حجج دون غلافها - عن طريق استنتاج الأداة من شكل الحجة. النتيجة هي أن "اسحب البطيخ الأخضر" يصبح اتصالاً حقيقياً من "زك1" بدلاً من الخطأ.

ابدل بين الثلاثة أدناه. الخياران المقيدان يبدوان متطابقين الغرض: هذه هي المطالبة. ما هي التغييرات بينهما هو الآلية، وليس الآلية النتيجة.

Interactive demo — open in editor pp:PinePaper

موردان، عقد واحد

(في (ديفيس بي جي إكس ليس شيئاً واحداً هذا يعتمد على المنظف

  • Browser AI (كروم) مُبني في (تي بي جي). السفن النموذجية مع المصفح لا يوجد شيء لتحميله منا. وهذا هو أكثر الطرق الموثوقة في المستقبل اليوم، لأن قيود JSON-schema رخيصة ومدعمة جيدا.
  • PinePaper AI ** إدارة نموذج Qwen2.5 في أي بروزر من طراز WebGPU. It downloads a model once (cached thereafter), then run offline.
  • ** العجلات غير الانجليزية تُترجم إلى الإنجليزي في البداية (عن طريق مترجم البروزر المبني) لأن النماذج الصغيرة ذات المنحى الرمزي هي اللغة الانكليزية المركزة. المشهد المتولد هو نفسه بغض النظر عن اللغة الفورية.

المستعمل يلتقط المحرك وكل شيء في المجرى العقبة، المنفذ، الوشم متطابقة.

الإصغاء، ليس فقط توليد

المولد ذو الطلقة الواحدة ليس مساعدا. لدعم "اجعل النجم الأحمر" يجب أن يعرف النموذج ما هو موجود بالفعل على الكنز. لذا فكل منعطف نطعمه صورة مدمجة للبنود الحالية ... بالضبط مثل دردشة جانب الخادم. "اجعل النجمة حمراء" ثم تصمم على اتصال حقيقي بـ "زكاز" ضد البند. و لأن نموذج صغير يشير أحياناً إلى "السيركل" عندما يعني النجم، المنفذ يسوي إشارات زائفة ضد الكتف الحي

سجل المُحادثة يُبقي على جهازك** في المخزن المحلي. لا شيء عن إرسالها إلى أي مكان مالم تختار بشكل صريح مشاركة العجلات الفاشلة، مما يساعدنا على تحسين العجلات والغرامار.

عندما لا يكون النموذج الصغير كافيا المصعد

هذا هو الجزء الصادق: ضمانات التزيين المكثفة * هيكل معتمد * لكن النموذج مازال يجب أن يلتقط الأداة الصحيحة والقيم المعقولة. إسأل عن البنتاغون و نموذج غير محدد يعطيك هكساغون و اطلب مرتين من "ريد".

إذاً فالهيكل يتعامل مع "الدرجة الأولى" ليست الوحيدة. بعد بعض المحاولات الفاشلة التي عرضها المساعد لإخفاء المحادثة بأكملها إلى نموذج السحاب** نفس النية، نفس الشفرة، نموذج أكثر قدرة.. وتكملين تماماً حيث غادرتِ. الإخلاص الضئيل، الحرّة والخاصّة، مَع a طريق البقعة الواحدة إلى الإخلاص العالي عندما تَحتاجُه.

ما تعلمناه

  • تعرض المقاتلون للضرب بالإكراه. فالنظام المرتكز يساعد على نحو سريع؛ فالغرام/الكيميائي الذي يجعل الناتج غير الصحيح مستحيلا يساعد كثيرا. القفزة الوحيدة الأكثر موثوقية جاءت من الزينة المقيدة وليس من أسرع.
  • لا يزال حجم النموذج يهيمن عليه. الانتقال من 0.5B إلى نموذج 1.5B بشكل ملحوظ كم مرة يختار المساعد الأداة المناسبة. ليس هناك حافز يحول نموذج صغير إلى واحد ذكي.
  • يمكن للغرام الكامل أن يكون كبيرا جدا. أول جرام لنا تم تشفيره بما في ذلك فتحة هروب ممتدة لرمز سحب تعسفي. كان كبيراً جداً لدرجة أن التزيين المقيد أوقف الصفحة. والغرامات المدمجة التي تغطي العمليات المشتركة هي التخلف الصحيح؛ والسطح الكامل هو الخيار.
  • أخرجه من الخيط الرئيسي نموذج يقوم بالإستطلاع على خيط (يو آي) يجمّد الصفحة. WebLLM يُديرُ في a ويب عامل لذا المحرّر يَبْقى متجاوباً بينما a تحميل نموذجي ويُولّدُ.

ما التالي

وهذا أمر تجريبي وتحسن. على خريطة الطريق:

  • التغطية بالأدوات في المسار المقيد المزيد من عمليات (بي جي إكس) قابلة للتعبير بدون فتحة الهروب المجانية.
  • نماذج متطورة، مع نمو فهرس نموذجي لنموذج PWebGPU، وحجم التحميل التجاري للموثوقية.
  • A tighter eval cycle باستخدام تقارير الفشل المُختارة لقياس ما يُحفز على تخطي نماذج التليفزيون وتقويض الغرام ضدهم.
  • أكثر سلاسة عند تسليم كلود، لذا فإن التصعيد يبدو وكأنه رفع الاتصال الجيد بدلاً من تغيير الأدوات.

The throughline: the same declarative tool vocabulary drives a model on either side of the browser boundary. وهناك وكيل خارجي يسمي هذه الأدوات على MCP؛ ويسمي نموذج التليفزيون نفس الأشكال محليا. عقد واحد وكلاء أينما كانوا.

جربها في المحررة مساعد. إنّه حرّ، تشغيل على جهازك، ولا يحتاج إلى حساب.

Ready to create?

Start making animated GIFs, videos, and graphics — free, no signup.

Open PinePaper Editor