Ollama îmbunătățește performanța modelelor locale pe Mac-uri cu suport MLX
Ollama, un sistem de rulare pentru modelele de limbaj, a anunțat recent integrarea cu cadrul open source MLX de la Apple, ceea ce aduce îmbunătățiri semnificative în utilizarea memoriei unificate pe Mac-urile cu cipuri Apple Silicon. Potrivit arstechnica.com, această nouă funcționalitate permite o utilizare mai eficientă a memoriei pentru anumite modele, sporind performanța generală.
👉 Îmbunătățiri de caching și suport pentru formatul NVFP4 de la Nvidia
Ollama a anunțat, de asemenea, o îmbunătățire a performanței de caching și suport pentru formatul NVFP4 de la Nvidia pentru comprimarea modelelor. Aceste dezvoltări sunt o veste bună pentru utilizatorii de Mac-uri cu cipuri M1 sau mai noi, întrucât modelele locale încep să devină tot mai utilizate, nu doar în cercurile de cercetare sau de amatori. Recenta popularitate a modelului OpenClaw, cu peste 300.000 de stele pe GitHub, evidențiază interesul crescut pentru rularea modelelor pe computere personale.
Pe măsură ce dezvoltatorii întâmpină limite de rată și costuri mari pentru abonații la instrumente precum Claude Code sau ChatGPT Codex, experimentarea cu modelele locale devine tot mai atrăgătoare. În plus, Ollama a extins recent integrarea cu Visual Studio Code, facilitând și mai mult accesul utilizatorilor la aceste resurse.
👉 Suportul hardware necesar și limitările actuale ale modelelor locale
Suportul nou este disponibil în preview cu Ollama 0.19, dar din păcate, acesta suportă în prezent doar un model: varianta Qwen3.5 cu 35 de miliarde de parametri de la Alibaba. Utilizatorii au nevoie de un Mac echipat cu Apple Silicon și cel puțin 32 GB RAM, conform anunțului Ollama, iar modelele locale rămân, totuși, în urma modelelor din cloud în termeni de performanță.
Deși modelele locale nu rivalizează încă modelele de frontieră, acestea oferă suficiente capacități pentru anumite sarcini, oferind totodată avantaje de confidențialitate în comparație cu serviciile bazate pe cloud. Ollama nu a dezvăluit deocamdată un termen pentru când suportul MLX va ieși din faza de preview și va include mai multe modele.
