Một trợ lý thiết kế chạy trên thiết bị của bạn — Không tài khoản, không máy chủ

Tiền đề

Hầu hết các công cụ thiết kế AI gửi lời nhắc đến máy chủ, chạy một mô hình lớn, và gửi mã trở lại. Điều đó cần một tài khoản, một mạng lưới liên tục, và tin tưởng rằng công việc của bạn sẽ được vận chuyển thành công trong cơ sở hạ tầng của người khác.

Chúng tôi muốn biết sự cực đoan khác đi xa thế nào: a thiết kế trợ lý nơi mô hình chạy trên máy của bạn. Không có tài khoản. Không tải lên. Dấu nhắc không bao giờ rời khỏi trình duyệt. Đây là bản trực tiếp trong biên tập của PinePaper như là một thí nghiệm AI / Code format Trợ lý tab, và bài viết này là một tài khoản trung thực về cách nó hoạt động và nó rơi tắt.

Sao không yêu cầu người mẫu lập trình?

Cách tiếp cận hiển nhiên là yêu cầu mô hình trên trang web để viết JavaScript chống lại PinePaper API và chạy nó. Chúng tôi đã thử rồi. Nó thất bại rất tệ.

Mô hình nhỏ - những mô hình vừa với laptop - không có kiến thức về một ứng dụng cụ thể API.** Hỏi một mô hình 0.5–2B để gọi XQ và nó ứng biến: một chìa khóa phương pháp không đọc (một kiểu SVG fill nơi API mong đợi XQ), một phương pháp nó tưởng tượng, lập luận theo hình dạng sai. Đầu ra nhìn như mã và âm thầm làm điều sai trái.

Nên chúng tôi không yêu cầu mật mã. Chúng tôi yêu cầu danh sách các cuộc gọi công cụ được đào tạo **

[
  { "name": "pinepaper_set_background_color", "arguments": { "color": "#0F0F1A" } },
  { "name": "pinepaper_create_item", "arguments": { "itemType": "star", "x": 400, "y": 300, "radius": 90, "color": "#E74C3C", "animationType": "pulse" } }
]

Cùng một từ vựng PinePaper [máy phục vụ X1X] (/api/guides/mcp-integration) phơi bày cho các tác nhân bên ngoài — nhưng được phát tán bởi một mô hình chạy cục bộ, và thực hiện trên vải thông qua một bộ gửi nhỏ.

Làm cho kết xuất không hợp lệ không thể

Nước đi quan trọng là cons được đào tạo giải mã. Thay vì hy vọng rằng mô hình tạo ra một hình dạng hợp lệ, chúng ta ép buộc những vật kỷ niệm mà nó được cho phép phát ra

• Trên máy tính được xây dựng của Chrome Prompt API (Gemini Nano), chúng tôi thông qua một JSON Schema như một sự ép buộc. Mô hình chỉ có thể tạo ra các đối tượng các cho phép giản đồ — với additionalProperties: false, bất kỳ lập luận nào không xác định được là không thể đại diện theo nghĩa đen.
• Trên WebLM (một mô hình mở đang chạy trên WebGPU), chúng tôi Đính kèm một ngữ pháp E ISBNF thông qua XGrammar. ngữ pháp quyết định cấu trúc; mô hình chỉ lấp đầy các giá trị.

Cả hai đều có hình dạng giống nhau. Một giấy phép sửa chữa nhỏ sau đó cứu được một mô hình nhỏ bé vẫn còn làm được — một name giảm, các lập luận mà không cần giấy gói — bằng cách suy ra công cụ từ hình thù đối số. Kết quả là vẽ một hình ngũ giác xanh lá cây trở thành một cuộc gọi thực sự của create_item thay vì một lỗi.

Hai nhà cung cấp, một hợp đồng

AI trên mạng không phải là một thứ mà phụ thuộc vào trình duyệt:

• Browser AI - Chrome's xây dựng-trong Gemini Nano (window.LanguageModel). Các tàu mẫu với trình duyệt; không có gì để tải về từ chúng ta. Đây là đường dẫn đáng tin cậy nhất trên thực tế ngày hôm nay, bởi vì JSON-schema là giá rẻ và được hỗ trợ tốt.
• PinePaper AI — WebLM chạy một mô hình Qwen2.5 trong bất kỳ trình duyệt WebGPU nào. Nó tải về một mô hình một lần (được biên soạn sau đó), rồi chạy tắt.
• Languages - lời nhắc nhở không phải tiếng Anh được dịch sang tiếng Anh trên thiết bị dịch thuật (via trình duyệt của trình duyệt) bởi vì các mô hình mã nhỏ là trung tâm tiếng Anh. Cảnh sinh ra là giống nhau bất kể ngôn ngữ nhanh.

Người dùng chọn động cơ; mọi thứ xuôi dòng — lực ép, bộ thực hiện, vải đều giống nhau.

Sửa, không chỉ tạo ra

Máy phát điện một phát không phải là một trợ lý. Để ủng hộ "làm cho ngôi sao màu đỏ," mô hình cần biết những gì đã có trên vải. Vì thế mỗi lần rẽ chúng tôi cho nó ăn một bức ảnh ngắn gọn về những vật dụng hiện tại — các loại, loại và màu sắc của chúng — giống y như một cuộc trò chuyện bên máy chủ. "Làm cho ngôi sao màu đỏ" sau đó giải quyết một cuộc gọi thực sự XQQ chống lại ID của mục. (Và bởi vì một mô hình nhỏ đôi khi đề cập đến "các vòng tròn" khi nó có nghĩa là ngôi sao, người thi hành giải quyết các tham khảo mơ hồ chống lại bức vẽ trực tiếp.)

Bản ghi cuộc trò chuyện được lưu lại trên thiết bị của bạn trong kho địa phương. Không có gì được gửi đi bất cứ nơi nào — trừ khi bạn quyết định chia sẻ những lời nhắc nhở và ngữ pháp bị lỗi.

Khi mô hình nhỏ không đủ - tăng lên

Đây là phần trung thực: a 0.5–2B mô hình là bộ phận cà vạt yếu nhất. Thiết bị giải mã được đào tạo để đảm bảo cấu trúc thần kinh, nhưng mô hình vẫn phải chọn đúng công cụ và giá trị hợp lý, và nó sẽ không luôn luôn. Yêu cầu một hình ngũ giác và một mô hình chưa được ghi rõ cung cấp cho bạn một hình lục giác; yêu cầu hai lần cho "red" và nó có thể chạy một máy phát điện thay thế.

Vậy nên kiến trúc được xem là thiết bị đầu tiên, không phải duy nhất. Sau một vài thất bại cố gắng trợ lý đề nghị ** đưa ra toàn bộ cuộc hội thoại để mô hình đám mây** — cùng một mục đích, cùng một bức vẽ, một mô hình có khả năng hơn nhiều — và bạn tiếp tục chính xác như cũ. Lòng trung thành thấp, tự do và riêng tư, với một đường dẫn đến sự chung thủy cao cấp khi bạn cần.

Những gì chúng ta đã học được

• Constraints đánh bại nhắc nhở. Một lời nhắc nhở dựa trên hệ thống giúp ích; một ngữ pháp/ giản đồ khiến cho kết quả không đúng không thể giúp ích nhiều hơn nữa. Cú nhảy đáng tin cậy nhất đến từ việc giải mã, chứ không phải từ một dấu chấm.
• ** Kích cỡ chuột vẫn còn thống trị.** Đi từ một 0,5B đến một mô hình 1.5B được cải thiện như thế nào thường xuyên trợ lý chọn công cụ đúng. Không có dấu nhắc nào biến một mô hình nhỏ thành một mô hình thông minh.
• Văn phạm có thể quá lớn. Ngữ pháp đầu tiên của chúng tôi mã hóa tất cả các hoạt động có thể — bao gồm cả một lối thoát bị giới hạn cho mã vẽ tùy ý. Nó quá lớn mà bị trói buộc giải mã ngăn chặn các trang. Một ngữ pháp gọn gàng bao gồm các thao tác chung là mặc định đúng; bề mặt đầy đủ là tối ưu.
• Đưa nó ra khỏi sợi dây chính. Một mô hình thực hiện suy luận trên chỉ UI làm đông cứng trang giấy. WebLM chạy trên web Worker vì vậy người biên tập sẽ tiếp tục trả lời trong khi một mô hình tải và tạo ra.

Tiếp theo là gì

Đây là thử nghiệm và cải thiện. Trên sơ đồ đường:

• Wider công cụ bao phủ theo con đường giới hạn — hoạt động của PinePaper nhiều hơn mà không có cửa thoát hiểm miễn phí.
• Larger on-Device khi danh mục sản xuất WebGPU tăng trưởng, trao đổi kích cỡ để đáng tin cậy.
• Một vòng đánh giá chặt chẽ - sử dụng các báo cáo thất bại tối ưu để đo lường các mô hình tiếp theo và làm cứng văn phạm đối với chúng.
• **Một chiếc xe đẹp hơn trên bàn tay của Mây Mây, vậy nên sự leo thang cảm thấy như bật lên một cái quay số chất lượng hơn là đổi công cụ.

Đường dây thông qua: cùng một công cụ dao động từ vựng điều khiển một mô hình ở hai bên ranh giới duyệt. Một tác nhân bên ngoài gọi những công cụ này qua MCP; một mô hình trên cùng một hình dạng địa phương. Một hợp đồng, các đặc vụ bất cứ nơi nào họ làm.

• Thử nó trong biên tập — open AI / Code ect assistant. Nó miễn phí, chạy trên thiết bị của bạn, và không cần tài khoản