Msaidizi wa Design ambaye anaendesha kwenye kifaa chako - Hakuna akaunti, hakuna akaunti

Msingi wa

Zana nyingi za kubuni za AI zinatuma haraka kwa seva, kukimbia mfano mkubwa, na kutuma msimbo nyuma. Hiyo inahitaji akaunti, safari ya mtandao, na kuamini kwamba kazi yako-katika-maendeleo inabadilisha miundombinu ya mtu mwingine.

Tulitaka kujua ni kiasi gani kingine kinakwenda: Msaidizi wa kubuni ambapo mfano unaendesha kwenye mashine yako mwenyewe. Hakuna akaunti. Hakuna cha kuongeza. Haraka haina kuacha browser. Hii ni sasa kuishi katika mhariri wa PinePaper kama majaribio AI / Code → Msaidizi tab, na chapisho hili ni akaunti ya uaminifu ya jinsi inavyofanya kazi na ambapo hupungua.

Kwa nini si tu kuuliza kwa ajili ya programu?

Njia ya wazi ni kuuliza mfano wa vifaa vya kuandika JavaScript dhidi ya PinePaper ya API na kuiendesha. Tulijaribu kufanya hivyo. Kushindwa vibaya.

Baadhi ya mifano - kwa wale walio na laptop kuwa na hakuna ujuzi wa programu maalum API. Uliza mfano wa 0.5-2B kuwaita PinePaper.create() na inaimarisha: njia muhimu ambayo haijasoma (njia ya SVG fill ambapo API inatarajia color), njia ambayo ilifikiri, hoja katika sura mbaya. Matokeo * yanaonekana kama msimbo na kimya hufanya kitu kibaya.

Kwa hiyo, hatuombi kodi. Tunaomba orodha ya ya maombi ya zana:

[
  { "name": "pinepaper_set_background_color", "arguments": { "color": "#0F0F1A" } },
  { "name": "pinepaper_create_item", "arguments": { "itemType": "star", "x": 400, "y": 300, "radius": 90, "color": "#E74C3C", "animationType": "pulse" } }
]

Msamiati huo wa PinePaper ( seva ya MCP) (/api/guides/mcp-integration) inaonyesha mawakala wa nje - lakini iliyotolewa na mfano unaoendesha ndani, na kutekelezwa kwenye turubai kupitia dispatcher ndogo.

Kupata matokeo yasiyowezekana

Hatua ya kwanza ni kuondoa*. Badala ya kutarajia mfano hutoa sura sahihi, tunazuia * ni ishara gani inaruhusiwa kutoa: *

• Juu ya Chrome kujengwa katika Prompt API (Gemini Nano), sisi kupita JSON Schema kama kikwazo cha majibu. Mfano unaweza tu kuzalisha vitu vinavyoruhusu schema - kwa additionalProperties: false, hoja yoyote ambayo schema haina kufafanua ni literally unrepresentable.
• On WebLLM (mfano wazi unaoendesha WebGPU), tunaunganisha sarufi ya EBNF ** kupitia XGrammar. Sarufi inaamuru muundo; mfano unajaza tu maadili.

Wote wawili wanaunda muundo sawa wa simu. Ni rahisi sana kuosha vidonge kutoka kwenye vidonge, na kisha changanya kidogo kwa upande wake Mbunge wa Viti Maalumu, Dk kwa kutumia chombo hicho kutoka katika muundo wa hoja. Matokeo yake ni kwamba "kuchukua pentagon ya kijani" inakuwa wito halisi wa create_item badala ya kosa.

Badilisha kati ya tatu hapa chini. Machaguo mawili yaliyopunguzwa yanaonekana sawa jibu: hii ni ahadi ya allaah. Kinachobadilika kati yao ni mfumo, sio matokeo.

Mbili, mkataba mmoja

Juu ya vifaa vya AI sio kitu kimoja - inategemea na browser yako:

• Browser AI - Chrome ya kujengwa katika Gemini Nano (window.LanguageModel). Mfano meli na browser; hakuna kitu cha kushusha kutoka kwetu. Hii ni njia ya kuaminika zaidi ya vifaa leo, kwa sababu kizuizi cha JSON-schema ni nafuu na kinachoungwa mkono vizuri.
• WebLLM kuendesha mfano wa Qwen2.5 katika kivinjari chochote cha WebGPU. Baada ya hayo, bonyeza kitufe "Sawa"iko kwenye juu sana.
• Mazungumzo – mbinu zisizo za Kiingereza zinatafsiriwa kwa Kiingereza kwenye vifaa kwanza (kupitia mtafsiri wa kivinjari aliyejengwa), kwa sababu mifano ndogo ya kificho ni ya Kiingereza-centric. Lugha inayozungumzwa ni sawa bila kujali lugha.

Mtumiaji anachagua injini; kila kitu chini - kwa upande wake, mbunge wa viti maalumu, mhe kuwa sawa.

Kuzalisha, sio tu kuzalisha

Jenereta ya risasi moja sio msaidizi. Ili kusaidia "kufanya nyota nyekundu," mfano unahitaji kujua nini tayari kwenye turubai. Kila mmoja wetu hapa ana njaa yake, na kiu yake ni njaa rangi zao, rangi zao na kadhalika ni kama vile server-side chat. "Fanya nyota nyekundu" kisha anaamua kwa simu halisi ya modify_item dhidi ya kitambulisho cha bidhaa. (Na kwa sababu mfano mdogo wakati mwingine unarejelea "mzunguko wa " wakati inamaanisha nyota, executor anaamua marejeo ya fuzzy dhidi ya turubai hai.)

Hifadhi ya mazungumzo imehifadhiwa kwenye kifaa chako katika hifadhi ya ndani. Hakuna mahali popote – isipokuwa umeamua kushiriki vidokezo vilivyoshindwa, ambavyo hutusaidia kuboresha haraka na sarufi.

Ikiwa hakuna njia ya kutosha - kuongezeka kwa

Hapa ni sehemu ya uaminifu: * mfano wa 0.5-2B ni kiwango dhaifu zaidi. Dhamana ya decoding iliyosimamiwa * muundo wa kibali*, lakini mfano bado unapaswa kuchagua chombo sahihi na maadili ya busara, na haitakuwa daima. Kuomba pentagon na mfano wa chini wa kutambuliwa inakupa hexagon; kuuliza mara mbili kwa "nyekundu" na inaweza kuendesha jenereta badala yake.

Kwa hiyo usanifu hushughulikia vifaa kama daraja la kwanza *, sio moja tu. Baada ya majaribio machache yaliyoshindwa, msaidizi hutoa kushughulikia mazungumzo yote hadi kwa mfano wa wingu lengo sawa, turubai sawa, mfano wenye uwezo zaidi - wewe ni kwenda mahali ambapo wewe ni kwenda. Uaminifu wa chini, bure na wa kibinafsi, na njia moja ya bonyeza kwa uaminifu wa juu wakati unahitaji.

Kile tulichojifunza

• Masomo yakazidi kuongezeka Mfumo wa msingi wa haraka husaidia; sarufi / sauti ambayo hufanya matokeo yasiyowezekana husaidia zaidi. Moja kubwa uaminifu kuruka alikuja kutoka decoding kubanwa, si kutoka kwa haraka bora.
• Mfumo wa umeme bado ni mkubwa Kwenda kutoka 0.5B kwa mfano wa 1.5B inaonekana kuboresha jinsi mara nyingi msaidizi huchagua chombo sahihi. Hakuna haraka ambayo inageuka mfano mdogo katika smart moja.
• Mshahara unaweza kuwa mkubwa. Ukurasa wetu wa kwanza umetambulishwa * Kila * operesheni inayowezekana ikiwa ni pamoja na hatch ya kutoroka kwa urefu wa kufungwa kwa msimbo wa kuchora holela. Ilikuwa kubwa sana ambayo ilizuia decoding imesimama ukurasa. Sarufi kompakt kufunika shughuli za kawaida ni default haki; uso kamili ni opt-in.
• Kuweka mbali na kichwa cha habari Mfano kufanya inference juu ya UI thread kufungia ukurasa. WebLLM inaendesha katika Mfanyakazi wa Mtandao hivyo mhariri anakaa msikivu wakati mzigo wa mfano na hutoa.

Nini ijayo

Hii ni ya majaribio na kuboresha. Juu ya barabara:

• *Kuweka vyombo vya habari katika njia iliyozuiwa * zaidi ya shughuli za PinePaper zinaelezea bila hatch ya kutoroka kwa bure.
• • Bei juu ya vifaa mifano ** kama WebGPU mfano catalogs kukua, biashara download ukubwa kwa kuegemea.
• Mfumo wa umeme kutumia ripoti za kushindwa katika uchaguzi kupima ambayo inasababisha safari ya mifano ya vifaa na kufanya sarufi dhidi yao.
• • laini juu ya vifaa → Cloud handoff **, hivyo kuongezeka anahisi kama kugeuka juu ya ubora piga badala ya kutumia zana.

Njia ya kupitia: msamiati huo wa chombo cha ufafanuzi hutoa mfano kwa upande wowote wa mpaka wa kivinjari. Wakala wa nje anaita zana hizi juu ya MCP; mfano wa vifaa huita maumbo sawa ndani ya nchi. Wafanyakazi popote pale walipo.

Kwa upande wake mhariri wa gazeti hilo – bonyeza AI / Code | Msaidizi. Ni bure, inaendesha kwenye kifaa chako, na hauhitaji akaunti.