I just published Local AI Agents Finished a Real Project on One Mac: What It Took medium.com/@victor.perez/loc…
I just published Agentes de IA locales terminaron un proyecto real en una Mac: lo que hizo falta medium.com/@victor.perez/age…
8/ Ambos proyectos son de código abierto, hechos por personas que comparten su trabajo, y esta es mi forma de devolver. Si contribuyes a oMLX o gentle-shell, las revisiones y pruebas en otras Macs y modelos son muy bienvenidas. ¡Gracias @jundotkim y @G_Programming! 🙏
7/ Para gentle-shell: con tareas abiertas, la lista de tareas reescribía el prompt de sistema en cada turno y rompía la caché, ~1,05M tokens reprocesados en 1,5 días. La corrección lo mueve a los mensajes: de 21/61 solicitudes con reescritura a 0/90. github.com/Gentleman-Program…
6/ También propuse para oMLX: bajo presión de memoria, pausar una solicitud y reanudarla después en el mismo stream, en lugar de abortar todas. Con presión forzada terminaron 9/9 solicitudes contra 3/9 en el main actual. El diseño está en discusión: github.com/jundot/omlx/discu…
5/ Para oMLX, dos correcciones, abiertas a revisión:
• decode en lote con TurboQuant: 5–12× más rápido por fila y 11–15 GB menos de pico de memoria github.com/jundot/omlx/pull/…
• prefill tras un acierto de caché SSD: de 2,4× más lento que en frío a 0,92× github.com/jundot/omlx/pull/…
4/ Dejar agentes trabajando horas sin intervención humana mostró problemas que ninguna prueba aislada revelaba. Rastreé cada uno, lo corregí con tests primero y medí antes y después. Método, números y sus límites: e-evolution.github.io/omlx/e…
3/ Las herramientas:
• oMLX de @jundotkim: ejecuta modelos de IA abiertos en Macs con Apple Silicon, con caché en ODD
• gentle-shell de @G_Programming: convierte al agente pi en un equipo, con orquestación, tareas y subagentes
• Modelos Qwen en una M5 Max
2/ El proyecto: como mantenedor principal de ADempiere (ERP de código abierto), puse agentes de IA a convertir nuestros manuales PDF en una wiki con imágenes de la nueva versión y un asistente que responde preguntas. Todo local: modelos Qwen en una M5 Max.
1/ Modelos locales en una Mac y solo código abierto completaron un proyecto real de documentación de principio a fin. En el camino encontré problemas en oMLX de @jundotkim y gentle-shell de @G_Programming, y propuse correcciones. 🧵 e-evolution.github.io/omlx/e…
8/ Both projects are open source, built by people who share their work, and this is my way of giving back. If you contribute to oMLX or gentle-shell, reviews and tests on other Macs and models are very welcome. Thank you @jundotkim and @G_Programming 🙏
7/ For gentle-shell: with open todos, the todo list rewrote the system prompt every turn and broke prompt-cache reuse, ~1.05M tokens re-prefilled in 1.5 days. The fix moves todo state into messages: rewrites went from 21/61 requests to 0/90. github.com/Gentleman-Program…
6/ Also proposed for oMLX: under memory pressure, pause one request and resume it later on the same stream, instead of aborting everything. In a forced-pressure test, 9/9 requests finished vs 3/9 on current main. The design is open for discussion: github.com/jundot/omlx/discu…
5/ For oMLX, two focused fixes, open for review:
• batched TurboQuant decode: 5–12× faster per row, 11–15 GB lower memory peak github.com/jundot/omlx/pull/…
• prefill after an SSD cache hit: from 2.4× slower than cold to 0.92× github.com/jundot/omlx/pull/…
4/ Running agents for hours with no human in the loop surfaced problems no single test showed. I traced each one, fixed it test-first, and measured before and after. Method, numbers and their limits: e-evolution.github.io/omlx/
3/ The tools, for anyone new:
• oMLX by @jundotkim: runs open AI models locally on Apple Silicon Macs, with a prompt cache on SSD
• gentle-shell by @G_Programming: turns the pi coding agent into a team, with orchestration, todos and subagents
• Qwen models on an M5 Max
2/ The project: as lead maintainer of ADempiere (open-source ERP), I had AI agents turn our PDF manuals and old screenshots into a wiki with images of the new version and an assistant that answers questions. All local: Qwen models on an M5 Max.
1/ Local models on one Mac and only open-source tools finished a real documentation project end to end. Along the way I found issues in @jundotkim's oMLX and @G_Programming's gentle-shell and proposed fixes for both. 🧵 e-evolution.github.io/omlx/
Víctor Pérez Juárez retweeted
After a long wait, oMLX 0.7.0 is out!
This release brings faster Qwen3.8, GLM-5.3-Flash and MiMo V2, faster Lightning MTP and DFlash2 at long contexts, and a completely rebuilt memory guard.
github.com/jundot/omlx/relea…
* Special thanks to @Spangler3000 and @jerry543, who helped a lot with the speed improvements.
Performance vs 0.7.0rc1 (oQ4e, Lightning MTP on)
- Qwen3.8-Flash-Next prefill on M5 Max: 1,953 -> 2,844 tok/s (+46%) at 16K context.
- Qwen3.8-27B decode on M3 Ultra: 46.9 -> 70.3 tok/s (+50%) at 64K context.
- GLM-5.3-Flash prefill on M3 Ultra: 413 -> 516 tok/s (+25%) at 16K context.
What's new
- A completely rebuilt memory guard. It lets oMLX use as much of your memory as it safely can.
- DFlash2 support for GLM-5.3-Flash.
- Faster image follow-ups for Qwen3.8-Flash-Next with a vision feature cache.
- Fixes for the regressions reported against the RC, including ANE prefill, M5 A8 prefill and clustering.
Most of the speedups in this release came from contributors. Thanks to everyone who sent PRs and tested dev&RC versions!
Yo tenía unos proyectos con SDD a la mitad que tenían semanas trabajando , actualicé y le pedí al agente que creara un ODD basado en lo que estaba pendiente y lo hizo , trabajo fino y después con ODD avanzó más rápido , gracias @G_Programming