ผู้ ช่วย ที่ ออก แบบ ซึ่ง ใช้ อุปกรณ์ ของ คุณ — ไม่ มี บัญชี, ไม่ มี เครื่องแม่ข่าย

สมมุติฐาน

เครื่องมือสําหรับออกแบบ AI ส่วนใหญ่จะส่งการแจ้งเตือนของคุณไปยังเซิร์ฟเวอร์, เรียกรุ่นขนาดใหญ่, และส่งรหัสกลับ. นั่นต้องการบัญชี เครือข่ายเที่ยวรอบ ๆ และไว้ใจว่า การทํางานแบบรุกของคุณ.

เราอยากรู้ว่า อีกโลกหนึ่งไปได้ไกลแค่ไหน ไม่มีบัญชี. ไม่มีการอัพโหลด. สัญญาณไม่เคยออกจากเบราว์เซอร์. ปัจจุบันนี้อยู่ในบรรณาธิการของ PinePaper เป็นการทดลอง -- AI / Code Charlice) แท็บ และโพสต์นี้ยังเป็นบัญชีที่ซื่อสัตย์ว่ามันทํางานยังไง และตรงไหนที่มันตกมาสั้น.

ทําไมไม่ถามโมเดลรหัสล่ะ?

วิธีการที่ชัดเจนคือขอให้รุ่น On-device เขียนจาวาสคริปต์กับ PinePaper ของ API และเรียกใช้งานมัน. เราลองแล้ว. มันล้มเหลวมาก.

รุ่น เล็ก ๆ — คน ที่ อยู่ ใน แล็ปท็อป — unknown of a app's API. ~ ถามรุ่น 0. 0.5-12B เพื่อเรียก PinePaper.create() และปรับรูปแบบ: คีย์วิธีการไม่ได้อ่าน (An PGP2X Street fill) โดย API คาดว่าจะใช้ color) เป็นวิธีจินตนาการของมัน, การโต้แย้งในรูปแบบที่ผิด. ผลที่ออกมา * ลักษณะเหมือนรหัส และเงียบทําสิ่งที่ผิด.

เราไม่ได้ขอรหัส. เราถามสําหรับรายการของเครื่องมือที่ได้รับการฝึก: ~

[
  { "name": "pinepaper_set_background_color", "arguments": { "color": "#0F0F1A" } },
  { "name": "pinepaper_create_item", "arguments": { "itemType": "star", "x": 400, "y": 300, "radius": 90, "color": "#E74C3C", "animationType": "pulse" } }
]

คําศัพท์เดียวกัน PinePaper [เซิร์ฟเวอร์ MCP] (/api/guides/mcp-integration) เปิดเผยกับตัวแทนภายนอก — แต่ปล่อยออกมาโดยต้นแบบที่ทํางานในท้องถิ่นและดําเนินการบนผ้าใบผ่าน.

ทําให้การแสดงผลไม่ถูกต้อง

การย้ายคีย์คือ... ....... แทนที่จะหวังว่าแบบจําลองสร้างรูปร่างที่ถูกต้องเราบังคับ * สิ่งที่สัญลักษณ์มันได้รับอนุญาตให้ปล่อย:*

• Prompt API (Gemini Nano) เราผ่าน PAPG1X Shetma) เป็นเงื่อนไขตอบสนอง. แบบ จําลอง นี้ มี แต่ จะ ผลิต วัตถุ ต่าง ๆ เท่า นั้น — กับ additionalProperties: false, ข้อโต้แย้งใด ๆ ที่เชมาไม่ได้กําหนดจริง ๆ.
• On PG0X (โมเดลเปิดให้บริการบน WebGPU) เราแนบ ไวยากรณ์ EBNF * ผ่าน XGrammar. ไวยากรณ์ กําหนด โครง สร้าง; แบบ นี้ จะ บรรจุ เฉพาะ ใน ค่า.

ทั้งสองสร้างรูปทรงเครื่องมือเดียวกัน. จาก นั้น ก็ กู้ เครื่อง แบบ ขนาด จิ๋ว ที่ ใกล้ จะ สูญ หาย ไป — name ตก โต้แย้งโดยไม่ต้องห่อของพวกเขา โดยการอ้างอิงของเครื่องมือจากรูปร่างของการโต้แย้ง. ผลก็คือ "วาดห้าเหลี่ยมสีเขียว" กลายเป็น create_item แทนข้อผิดพลาด.

สลับกันระหว่างสามคนข้างล่าง. สองตัวเลือกบังคับดูเหมือนกัน วัตถุประสงค์ : นั่นคือคําอ้าง. สิ่งที่เปลี่ยนแปลงระหว่างพวกเขา คือกลไก, ไม่ใช่ ผล.

สองผู้จัดหา สัญญาหนึ่ง

On-device AI ไม่ใช่สิ่งเดียว -- ขึ้นอยู่กับเบราว์เซอร์:

• Browser AI — โครเมี่ยมสร้างใน... Gemini Nano (window.LanguageModel). เรือจําลองกับเว็บเบราว์เซอร์ ไม่มีอะไรให้ดาวน์โหลดจากเรา. นี่เป็นเส้นทางสําหรับมือใหม่ที่เชื่อถือได้มากที่สุดในปัจจุบัน เพราะข้อจํากัดของ JSON-schema นั้นถูกและสนับสนุนอย่างดี.
• PPUG0X AI — WebLLM เรียกใช้โมเดล Qwen2.5 ในเว็บเบราว์เซอร์ WebGPU ใดๆ. มันดาวน์โหลดโมเดลหนึ่ง (หลังจากนั้นเสร็จ) แล้ววิ่งออฟไลน์.
• กลัว แจ้งเตือนที่ไม่ใช่ภาษาอังกฤษจะถูกแปลเป็นภาษาอังกฤษ up-device ก่อน (Sheer's Goverer) เนื่องจากแบบจําลองโค้ด-กระจายตัวเล็ก ๆ นี้เป็นภาษาอังกฤษ. เหตุ การณ์ ที่ เกิด ขึ้น เป็น เรื่อง เดียว กัน ไม่ ว่า จะ เป็น ภาษา ใด ก็ ตาม.

ผู้ ใช้ จะ เก็บ เครื่อง ยนต์ ทุก สิ่ง ทุก อย่าง ลง ไป ตาม กระแส น้ํา — ข้อ จํากัด, ผู้ ขับ ไล่, ผ้าใบ — มันเหมือนกัน.

การแก้ไข, ไม่ใช่แค่สร้าง

เครื่องกําเนิดไฟฟ้าหนึ่งช็อต ไม่ใช่ผู้ช่วย. เพื่อสนับสนุน "สร้างดาวสีแดง" โมเดลต้องรู้ว่าอะไรอยู่บนผ้าใบ. ดัง นั้น เรา แต่ ละ คน จึง ให้ ของ ที่ มี อยู่ ใน ปัจจุบัน แก่ มัน เป็น ชิ้น เล็ก ชิ้น น้อย — บัตร, ประเภท, และ สี — เหมือนการสนทนาของเซอร์เวอร์. "ทําให้ดาวเป็นสีแดง" แล้วแก้ไขให้ modify_item จริง เรียกกับรายการ. (และเนื่องจากแบบจําลองขนาดเล็กบางครั้งหมายถึง "The circle" เมื่อหมายถึงดาว executer แก้ไขความคมชัดกับผ้าใบสด.)

บันทึกการสนทนาถูกเก็บไว้... บนอุปกรณ์ของคุณ ในห้องเก็บของท้องถิ่น. ไม่ มี การ ส่ง มัน ไป ที่ ไหน เลย — นอกจากคุณจะเลือกที่จะแบ่งปันสัญญาณที่ล้มเหลว ซึ่งช่วยให้เราปรับปรุงการกระตุ้นและไวยากรณ์.

เมื่อรุ่นเล็กไม่พอ ขยาย

นี่คือส่วนที่ซื่อสัตย์ : ~ โมเดล 0.5-12B คือตัวผูกที่อ่อนแอที่สุด ~ ถูกฝึกมาอย่างดี รับประกัน * โครงสร้างไม่สมบูรณ์* แต่โมเดลนี้ยังคงต้องเลือก เครื่องมือที่เหมาะสม และคุณค่าที่เหมาะสม. ถามห้าเหลี่ยม และโมเดลที่ไม่โดดเด่น ให้คุณมีรูปหกเหลี่ยม ถามสองรอบว่า "สีแดง" และมันอาจใช้เครื่องกําเนิดไฟฟ้าแทน.

ดังนั้นสถาปัตยกรรมจึงถือเป็น คนแรก ไม่ใช่คนเดียว. หลังจากล้มเหลวไปสองสามครั้ง ผู้ช่วยก็เสนอตัวให้ การสนทนาทั้งหมดขึ้นอยู่กับโมเดลเมฆ ความตั้งใจเดียวกัน, ผ้าใบเดียวกัน, แบบจําลองที่มีประสิทธิภาพมากขึ้น และคุณยังคงตรงที่คุณลืมไว้. ความซื่อสัตย์ต่ํา อิสระและความเป็นส่วนตัว มีเส้นทางหนึ่งคลิ๊ก สู่ความซื่อสัตย์สูง เมื่อคุณต้องการมัน.

สิ่งที่เราได้เรียนรู้

• ทหารม้าเอาชนะการกระตุ้น การ กระตุ้น จาก ระบบ ที่ ถูก จํากัด ช่วย ได้; ไวยากรณ์/ schema ที่ ทํา ให้ การ ส่ง ออก ไม่ มี ประโยชน์ จะ ช่วย ได้ มาก กว่า นี้. การกระโดดที่น่าเชื่อถือที่สุดเดียว มาจากการถอดรหัส ไม่ใช่การกระตุ้นที่ดี.
• ขนาดเครื่องยังครองอยู่ จาก 0.5B เป็นโมเดล 1.5B ที่สังเกตได้ดีขึ้นว่าผู้ช่วยเลือกเครื่องมือที่เหมาะสมบ่อยแค่ไหน. ไม่ มี สัญญาณ เตือน ที่ จะ เปลี่ยน แบบ จําลอง เล็ก ๆ ให้ กลาย เป็น แบบ ที่ ฉลาด.
• ไวยากรณ์เต็มรูปแบบอาจจะใหญ่เกินไป ไวยากรณ์แรกของเราเข้ารหัส *ทุกปฏิบัติการที่เป็นไปได้ — รวมทั้งประตูหนีที่แน่นหนา สําหรับรหัสการวาด. มันมีขนาดใหญ่ดังนั้นที่บังคับ การถอดรหัส standed หน้า. ไวยากรณ์ คอม แพ กต์ ซึ่ง ครอบ คลุม การ ดําเนิน งาน ร่วม นั้น เป็น การ จัด การ ตาม ปกติ; พื้น ผิว เต็ม ส่วน เหมาะ ที่ สุด.
• ไล่มันออกจากเส้นด้ายหลัก นางแบบทําการอนุมานบนด้ายยูไอ ทําให้หน้าแข็ง. WebLLM ทํางานในเว็บเวิร์คเพื่อให้เครื่องมือแก้ไขยังคงตอบสนอง ในขณะที่รุ่นโหลดและสร้าง.

อะไรต่อไป

นี่คือการทดลองและปรับปรุง. บนถนน:

• รายงานเครื่องมือในเส้นทางบังคับ การดําเนินงานของ PinePaper จํานวนมาก โดยไม่ต้องฟักฟรีฟอร์ม.
• .
• วงจรการวินิจฉัยที่รัดกุม ใช้รายงานความล้มเหลวที่เลือกมา เพื่อวัดซึ่งกระตุ้นให้การเดินทางบนรุ่นบน และแข็งไวยากรณ์กับพวกเขา.
• ความราบรื่นของสัญญาณบนเมฆ ~ดังนั้นการเพิ่มความรู้สึก เหมือนการเปิดสัญญาณคุณภาพ แทนที่จะสลับเครื่องมือ.