inference no Hacker News
105 títulos de 87 autores nos últimos 30 dias, com 94 links diferentes e 11 Show HN.
Conta títulos, não confirma fatos. Abra a fonte antes de concluir qualquer coisa.
Projetos deste termo
A nota vem do nosso modelo.
- Show HN: Resin, agendador nativo e rápido para motores de inferência de LLM · nota 7.8
Resin fornece um scheduler baseado em Rust e KV cache para engines de inferência de LLM, separando a lógica de scheduling dos kernels de forward pass específicos de cada modelo em Python. Suporta recursos avançados como speculative decoding, paralelismos, CUDA graphs e uma camada de serve HTTP, permitindo o desenvolvimento rápido de engines de inferência customizadas com desempenho competitivo.
- Show HN: Primitivas de DL/ML em Golang com inferência, difusão, visão, systemone · nota 7.8
dlgo é uma implementação pura em Go de inferência de LLM, visão multimodal e pipelines de difusão text-to-image, eliminando dependências de Python e CUDA. Ele suporta modelos GGUF, aceleração por GPU via Vulkan e inclui uma ferramenta de geração de sprites, demonstrando um feito significativo de engenharia no ecossistema Go.
- Show HN: Spinf-serve – servidor de inferência para pontuação em lote e decisões · nota 7.0
spinf-serve é um servidor de inferência que avalia muitas perguntas contra um único conteúdo lido em um único forward pass, retornando probabilidades calibradas por opção em vez de texto gerado. Ele é voltado para cargas de trabalho de classificação em massa e tomada de decisão, com prompt packs, scoring batch-invariant e uma API compatível com OpenAI, e apresenta benchmarks favoráveis em comparação ao vLLM para tarefas de muitas perguntas por documento.
- Show HN: Gutsy, inferência de modelo de decisão em menos de um segundo na CPU (estilo Jev), sem API · nota 7.0
Gutsy é um modelo de 0,8 bilhão de parâmetros ajustado (fine-tuned) a partir do Qwen, que fornece saídas de probabilidade calibradas para tarefas de decisão e roda localmente na CPU via llama.cpp. Oferece uma API no estilo Jev para perguntas de sim/não, de escolha e de pontuação, com boa calibração e resultados determinísticos, posicionando-se como uma alternativa privada e sem custo aos modelos de decisão baseados em API.
Títulos recentes
Títulos traduzidos por IA, que pode errar. O original fica logo abaixo.
- Sam Altman sobre inferência local e uso de RAM [vídeo]
Sam Altman on local inference and use of RAM [video]
01/11/2026 · youtube.com · discussão no HN - Fruth – Um mecanismo de inferência de estado semântico para IA
Fruth – A semantic state inference engine for AI
01/11/2026 · github.com · discussão no HN - Motor de inferência em linguagem de script de jogo usando macros
Inference engine in game scripting language using macros
31/10/2026 · dasllama.io · discussão no HN - Sovereign Inference Mesh – inferência de IA nativa para celular e computação de borda no Android
Sovereign Inference Mesh – Phone-native AI inference and edge compute on Android
31/10/2026 · zenodo.org · discussão no HN - Inferência de IA mais barata está tornando mais difícil lucrar alugando poder computacional
Cheaper AI inference is making it harder to profit from renting out compute
31/10/2026 · tomshardware.com · discussão no HN - Inferência Local com LLMs
Local Inference with LLMs
31/10/2026 · jacquesmattheij.com · discussão no HN - GAAC: Compressão de KV Cache sem perdas para inferência de LLM mais rápida
GAAC: Lossless KV Cache Compression for Faster LLM Inference
31/10/2026 · arxiv.org · discussão no HN - Estime e acompanhe a pegada ambiental de modelos de IA generativa na inferência
Estimate and track the environmental footprint of GenAI models at inference
31/10/2026 · ecologits.ai · discussão no HN - Show HN: Spinf-serve – servidor de inferência para pontuação em lote e decisões
Show HN: Spinf-serve – inference server for bulk scoring and decisions
30/10/2026 · github.com · discussão no HN - OpenRouter reconstruiu o roteamento de provedores para uma inferência melhor e mais rápida
OpenRouter rebuilt provider routing for better, faster inference
30/10/2026 · openrouter.ai · discussão no HN - Aprenda o sistema de inferência de LLM em Apple Silicon
Learn LLM inference system on Apple Silicon
30/10/2026 · github.com · discussão no HN - Ask HN: Qual motor de inferência e de offload de KV você usa e por quê?
Ask HN: What inference engine and KV offload engine do you use and why?
30/10/2026 · discussão no HN - Qual motor de inferência e de offload de KV você usa e por quê?
What inference engine and KV offload engine do you use and why?
30/10/2026 · discussão no HN - Sam Altman: inferência local é uma alocação terrível de recursos escassos
Sam Altman: local inference is a terrible allocation of scarce resources
30/10/2026 · linkedin.com · discussão no HN - Um guia de campo aberto para engenharia de inferência
An Open Field Guide to Inference Engineering
29/10/2026 · docs.modelplane.ai · discussão no HN - Inferência para desenvolvedores
Inference for Developers
28/10/2026 · particle.ai · discussão no HN - Cerebras e Oracle se unem para levar a inferência de IA da Cerebras ao OCI
Cerebras and Oracle Team Up to Bring Cerebras AI Inference to OCI
27/10/2026 · cerebras.ai · discussão no HN - UI e documentação adaptativas usando inferência no navegador
Adaptive UI and docs using in-browser inference
27/10/2026 · passo.uno · discussão no HN - Já são 5 provedores de inferência para o DeepSeek abliterado
There are now 5 inference providers for abliterated DeepSeek
27/10/2026 · allmodels.io · discussão no HN - Show HN: Resin, agendador nativo e rápido para motores de inferência de LLM
Show HN: Resin, fast native scheduler for LLM inference engines
26/10/2026 · github.com · discussão no HN - Inferência local em um Raspberry Pi
Local Inference on a Raspberry Pi
24/10/2026 · keepitwiel.github.io · discussão no HN - Motor de inferência para Apple Silicon: Kapitsa
Apple Silicon Inference Engine: Kapitsa
24/10/2026 · github.com · discussão no HN - Show HN: Inference Cooperative, IA governada pelos usuários
Show HN: Inference Cooperative, user-governed AI
24/10/2026 · inference.coop · discussão no HN - Inferência privada de LLM com criptografia homomórfica [pdf]
Private LLM Inference with Homomorphic Encryption [pdf]
23/10/2026 · vldb.org · discussão no HN - Cortamos nossa conta de inferência em 68% sendo obcecados por otimização
Cutting our inference bill by 68% by being obsessive about optimization
23/10/2026 · blog.cloudflare.com · discussão no HN - Humming: kernels rápidos e flexíveis para inferência quantizada
Humming: Fast, Flexible Kernels for Quantized Inference
23/10/2026 · vllm.ai · discussão no HN - LithosAI lidera o Artificial Analysis: velocidade de inferência, latência e qualidade
LithosAI Tops Artificial Analysis: Inference Speed, Latency, and Quality
22/10/2026 · lithosai.com · discussão no HN - Max, o framework de inferência e serving da Modular, agora é de código disponível
Max, Modular's inference and serving framework, is now source available
22/10/2026 · modular.com · discussão no HN - Show HN: The Daily Inference, um jornal escrito e editado por agentes de IA
Show HN: The Daily Inference, a newspaper written and edited by AI agents
22/10/2026 · dailyinference.news · discussão no HN - Rode LLMs em várias máquinas: guia de inferência distribuída para seu homelab (2026)
Run LLMs Across Multiple Machines: Distributed Inference Guide for Your Homelab (2026)
22/10/2026 · lucasaguiar.xyz · discussão no HN