inference en Hacker News
105 títulos de 87 autores en los últimos 30 días, con 94 enlaces distintos y 11 Show HN.
Cuenta títulos, no confirma hechos. Abre la fuente antes de sacar conclusiones.
Proyectos de este término
La nota viene de nuestro modelo.
- Show HN: Resin, planificador nativo y rápido para motores de inferencia de LLM · nota 7.8
Resin proporciona un planificador basado en Rust y una KV cache para motores de inferencia de LLM, separando la lógica de scheduling de los kernels del forward pass específicos del modelo en Python. Soporta características avanzadas como speculative decoding, paralelismos, CUDA graphs y una capa de servicio HTTP, permitiendo el desarrollo rápido de motores de inferencia personalizados con rendimiento competitivo.
- Show HN: Primitivas de DL/ML en Golang con inferencia, difusión, visión, systemone · nota 7.8
dlgo es una implementación pura en Go de inferencia de LLM, visión multimodal y pipelines de difusión texto-a-imagen, eliminando las dependencias de Python y CUDA. Soporta modelos GGUF, aceleración por GPU con Vulkan, e incluye una herramienta de generación de sprites, demostrando una hazaña de ingeniería significativa en el ecosistema de Go.
- Show HN: Spinf-serve, servidor de inferencia para puntuación masiva y decisiones · nota 7.0
spinf-serve es un servidor de inferencia que puntúa muchas preguntas contra un único contenido leído en un solo forward pass, devolviendo probabilidades calibradas por opción en lugar de texto generado. Está orientado a cargas de trabajo de clasificación masiva y toma de decisiones, con prompt packs, scoring batch-invariant y una API compatible con OpenAI, y obtiene benchmarks favorables frente a vLLM para trabajos de muchas preguntas por documento.
- Show HN: Gutsy, inferencia de modelos de decisión en menos de un segundo en CPU (estilo Jev), sin API · nota 7.0
Gutsy es un modelo de 0,8 mil millones de parámetros ajustado a partir de Qwen, que ofrece salidas de probabilidad calibradas para tareas de decisión y se ejecuta localmente en CPU mediante llama.cpp. Ofrece una API de estilo Jev para preguntas de sí/no, de elección y de puntuación, con buena calibración y resultados deterministas, y se posiciona como una alternativa privada y sin coste a los modelos de decisión basados en API.
Títulos recientes
Títulos traducidos por IA, que puede equivocarse. El original queda justo debajo.
- Sam Altman sobre inferencia local y uso de RAM [video]
Sam Altman on local inference and use of RAM [video]
01/11/2026 · youtube.com · discusión en HN - Fruth – Un motor de inferencia de estado semántico para IA
Fruth – A semantic state inference engine for AI
01/11/2026 · github.com · discusión en HN - Motor de inferencia en lenguaje de scripting de juegos usando macros
Inference engine in game scripting language using macros
31/10/2026 · dasllama.io · discusión en HN - Sovereign Inference Mesh – inferencia de IA nativa para móviles y computación de borde en Android
Sovereign Inference Mesh – Phone-native AI inference and edge compute on Android
31/10/2026 · zenodo.org · discusión en HN - La inferencia de IA más barata está haciendo más difícil lucrar alquilando cómputo
Cheaper AI inference is making it harder to profit from renting out compute
31/10/2026 · tomshardware.com · discusión en HN - Inferencia Local con LLMs
Local Inference with LLMs
31/10/2026 · jacquesmattheij.com · discusión en HN - GAAC: Compresión de KV Cache sin pérdidas para una inferencia de LLM más rápida
GAAC: Lossless KV Cache Compression for Faster LLM Inference
31/10/2026 · arxiv.org · discusión en HN - Estima y sigue la huella ambiental de los modelos de IA generativa en la inferencia
Estimate and track the environmental footprint of GenAI models at inference
31/10/2026 · ecologits.ai · discusión en HN - Show HN: Spinf-serve, servidor de inferencia para puntuación masiva y decisiones
Show HN: Spinf-serve – inference server for bulk scoring and decisions
30/10/2026 · github.com · discusión en HN - OpenRouter reconstruyó el enrutamiento de proveedores para una inferencia mejor y más rápida
OpenRouter rebuilt provider routing for better, faster inference
30/10/2026 · openrouter.ai · discusión en HN - Aprende el sistema de inferencia de LLM en Apple Silicon
Learn LLM inference system on Apple Silicon
30/10/2026 · github.com · discusión en HN - Ask HN: ¿Qué motor de inferencia y de offload de KV usas y por qué?
Ask HN: What inference engine and KV offload engine do you use and why?
30/10/2026 · discusión en HN - ¿Qué motor de inferencia y de offload de KV usas y por qué?
What inference engine and KV offload engine do you use and why?
30/10/2026 · discusión en HN - Sam Altman: la inferencia local es una pésima asignación de recursos escasos
Sam Altman: local inference is a terrible allocation of scarce resources
30/10/2026 · linkedin.com · discusión en HN - Una guía de campo abierta para la ingeniería de inferencia
An Open Field Guide to Inference Engineering
29/10/2026 · docs.modelplane.ai · discusión en HN - Inferencia para desarrolladores
Inference for Developers
28/10/2026 · particle.ai · discusión en HN - Cerebras y Oracle se unen para llevar la inferencia de IA de Cerebras a OCI
Cerebras and Oracle Team Up to Bring Cerebras AI Inference to OCI
27/10/2026 · cerebras.ai · discusión en HN - UI y documentación adaptativas con inferencia en el navegador
Adaptive UI and docs using in-browser inference
27/10/2026 · passo.uno · discusión en HN - Ya hay 5 proveedores de inferencia para DeepSeek abliterado
There are now 5 inference providers for abliterated DeepSeek
27/10/2026 · allmodels.io · discusión en HN - Show HN: Resin, planificador nativo y rápido para motores de inferencia de LLM
Show HN: Resin, fast native scheduler for LLM inference engines
26/10/2026 · github.com · discusión en HN - Inferencia local en una Raspberry Pi
Local Inference on a Raspberry Pi
24/10/2026 · keepitwiel.github.io · discusión en HN - Motor de inferencia para Apple Silicon: Kapitsa
Apple Silicon Inference Engine: Kapitsa
24/10/2026 · github.com · discusión en HN - Show HN: Inference Cooperative, IA gobernada por los usuarios
Show HN: Inference Cooperative, user-governed AI
24/10/2026 · inference.coop · discusión en HN - Inferencia privada de LLM con cifrado homomórfico [pdf]
Private LLM Inference with Homomorphic Encryption [pdf]
23/10/2026 · vldb.org · discusión en HN - Redujimos nuestra factura de inferencia un 68% gracias a una obsesión por la optimización
Cutting our inference bill by 68% by being obsessive about optimization
23/10/2026 · blog.cloudflare.com · discusión en HN - Humming: kernels rápidos y flexibles para inferencia cuantizada
Humming: Fast, Flexible Kernels for Quantized Inference
23/10/2026 · vllm.ai · discusión en HN - LithosAI lidera Artificial Analysis: velocidad de inferencia, latencia y calidad
LithosAI Tops Artificial Analysis: Inference Speed, Latency, and Quality
22/10/2026 · lithosai.com · discusión en HN - Max, el framework de inferencia y servicio de Modular, ahora es de código disponible
Max, Modular's inference and serving framework, is now source available
22/10/2026 · modular.com · discusión en HN - Show HN: The Daily Inference, un periódico escrito y editado por agentes de IA
Show HN: The Daily Inference, a newspaper written and edited by AI agents
22/10/2026 · dailyinference.news · discusión en HN - Ejecuta LLM en varias máquinas: guía de inferencia distribuida para tu homelab (2026)
Run LLMs Across Multiple Machines: Distributed Inference Guide for Your Homelab (2026)
22/10/2026 · lucasaguiar.xyz · discusión en HN