O artigo da XDA sobre associar câmeras locais com a IA do Home Assistant tocou um ponto sensível por uma razão. O padrão da maioria das câmeras inteligentes ainda é “o fornecedor vê a gravação primeiro”. Home Assistant mais Frigate mais um LLM dentro de um Ollama local inverte isso: o fluxo RTSP bruto vai para um servidor local, a detecção de objetos é executada em uma Coral ou GPU, e o LLM apenas toca os quadros que o detector de objetos já marcou. Nada sai de casa.
Os componentes são de código aberto e estão avançando rapidamente. Sete aplicativos de desktop para que a visão de câmera com IA do Home Assistant realmente funcione, classificados de modo que o primeiro é onde cada instalação começa e o último é onde deixa de importar.
O que procurar em uma pilha de IA de câmera local
O pipeline se divide em quatro trabalhos:
- Ingerir fluxos RTSP ou ONVIF sem passá-los pela nuvem do fornecedor.
- Detecção de objetos na taxa de quadros em hardware barato. Coral Edge TPU para aceleradores USB, Frigate para a camada de software.
- Análise de cena com um LLM que pode descrever o que está em uma caixa delimitadora em linguagem natural (“um pacote no pórtico”, “um guaxinim na lixeira”).
- Roteamento de eventos para o Home Assistant para que notificações, automações e painéis possam reagir.
Tudo abaixo é executado inteiramente em hardware que você possui, em um desktop Windows, macOS ou Linux ou nó homelab.
Comparação rápida
| Aplicativo | Melhor para | Licença | Requisito mínimo | Destaque |
|---|---|---|---|---|
| Home Assistant | O hub no qual cada outra ferramenta se conecta | Apache 2.0 | 2 GB RAM | Melhor roteador de automação nesta lista |
| Frigate | Detecção de objetos local na taxa de quadros | MIT | 4 GB RAM, Coral ou GPU | O NVR local mais rápido que fala MQTT |
| LLM Vision | Descrições em linguagem natural de eventos de câmera | MIT | Usa o hardware do seu LLM | Transforma caixas delimitadoras em frases legíveis |
| Scrypted | Ingestão de câmera e ponte HomeKit da Apple | MIT | 2 GB RAM | A melhor maneira de expor câmeras não-HomeKit ao HomeKit |
| Blue Iris | NVR nativo do Windows com UI maduro | Proprietary | Windows PC | O peso pesado do Windows; gravação sólida |
| MQTT Explorer | Ferramenta de depuração para mensagens Frigate → Home Assistant | MIT | 200 MB RAM | Lê qualquer tráfego que Frigate emite |
| Ollama | LLM local para o qual LLM Vision fala | MIT | 8 GB RAM + GPU útil | Onde o modelo multimodal é executado |
Os aplicativos
1. Home Assistant — Melhor hub
Home Assistant é o hub para o qual cada integração de câmera nesta pilha aponta. Ele cuida do modelo de entidade, automações acionadas por eventos Frigate, painéis que mostram o último snapshot, notificações para telefones e a interface de configurações para LLM Vision. Mesmo que você já esteja executando Blue Iris ou Scrypted no lado da gravação, Home Assistant é onde a lógica “guaxinim na lixeira → acender luz → enviar notificação” vive.
Onde fica aquém: HAOS é bem definido sobre possuir seu host. No Docker você perde add-ons de supervisor. Curva de aprendizado completa além do básico.
Preços:
- Grátis, Apache 2.0
- Nabu Casa Cloud a $6,50/mês adiciona acesso remoto sem expor uma porta
Plataformas: Linux (HAOS ou Docker), Windows ou macOS via VM/Docker Desktop.
Baixar: Home Assistant
Conclusão: Instale primeiro. Cada outro aplicativo nesta lista assume que está lá.
2. Frigate — Melhor NVR local e detecção de objetos
Frigate é o que transforma RTSP bruto em “pessoa na porta”, “carro na garagem” ou “pacote entregue”. Ele puxa fluxos de suas câmeras, executa detecção em uma Coral Edge TPU ou GPU, publica eventos via MQTT para Home Assistant consumir e grava apenas clipes para os eventos que você se importa. A versão 2026 adicionou um plug-in LLM nativo que entrega snapshots diretamente para um modelo multimodal.
Onde fica aquém: O uso de RAM aumenta com a contagem de câmeras. Coral TPU é oficialmente recomendado e nem sempre está em estoque. A configuração YAML é longa na primeira vez.
Preços:
- Grátis, licenciado por MIT
- Add-on de modelo treinado pago Frigate+ a $50/ano é opcional
Plataformas: Linux (Docker), melhor em x86_64 com um acelerador USB Coral ou uma GPU nVidia.
Baixar: Frigate NVR
Conclusão: Instale em segundo lugar. É por isso que “câmeras com IA sem a nuvem” é uma realidade.
3. LLM Vision — Melhor para descrições de eventos legíveis
LLM Vision é a integração do Home Assistant que entrega snapshots e clipes de câmera para um LLM multimodal e retorna uma descrição em linguagem natural. Funciona com Ollama, OpenAI, Anthropic, Google Gemini e qualquer endpoint compatível com OpenAI. Na prática: Frigate marca uma “pessoa” na porta frontal, LLM Vision pergunta ao Ollama “descreva o que esta pessoa está fazendo”, e o resumo chega como notificação de telefone.
Onde fica aquém: Descrições são tão boas quanto o modelo por trás delas. Modelos de visão pequenos ocasionalmente alucina. A latência em uma GPU doméstica é perceptível.
Preços:
- Grátis, MIT
Plataformas: Funciona dentro do Home Assistant; o LLM subjacente vive onde você o hospeda (Ollama no Linux, LM Studio, OpenAI na nuvem).
Baixar: LLM Vision no GitHub
Conclusão: Instale após Frigate. Isso é o que transforma caixas delimitadoras em “alguém deixou uma bolsa na porta”.
4. Scrypted — Melhor ingestão de câmera e ponte HomeKit
Scrypted é o canivete suíço para câmeras que não falam o protocolo que você quer. Ele puxa RTSP, ONVIF, Ring, Nest, Reolink, Amcrest e os reexpõe como HomeKit Secure Video, RTSP ou WebRTC. Em uma casa com uma mistura de “câmera barata que fala RTSP” e “usuário de iPhone que quer HomeKit”, Scrypted é o tradutor.
Onde fica aquém: Não é em si um detector de objetos com a mesma qualidade que Frigate. Duas ferramentas rodando em paralelo é comum.
Preços:
- Grátis, MIT
- Plug-in NVR opcional com assinatura para sincronização em nuvem
Plataformas: Linux (Docker), Windows, macOS.
Baixar: Scrypted
Conclusão: Instale quando a casa mistura câmeras de vários ecossistemas.
5. Blue Iris — Melhor NVR nativo do Windows
Blue Iris é o veterano. Funciona em um PC Windows, grava no disco local, se integra ao Home Assistant via MQTT e seu painel é o mais polido do espaço. Combine com Frigate para IA ou com sua própria integração DeepStack/CodeProject.AI para detecção de objetos.
Onde fica aquém: Apenas Windows. Proprietário. A UI é Windows dos anos 2010 em espírito.
Preços:
- Licença única cerca de $70 (LE) a $130 (Full)
- Avaliação gratuita disponível
Plataformas: Windows.
Baixar: Blue Iris
Conclusão: Melhor opção quando uma máquina Windows já é o servidor doméstico sempre ligado.
6. MQTT Explorer — Melhor ferramenta de depuração do pipeline
MQTT Explorer é a ferramenta que você abre quando Frigate está emitindo eventos, Home Assistant não está reagindo e você precisa ver o tráfego entre eles. Ele se inscreve em qualquer árvore de tópicos, mostra histórico em um feed ao vivo e permite que você republique mensagens para testar automações. Quando o pipeline está estável você não o toca; enquanto o configura é essencial.
Onde fica aquém: Não é realmente um “aplicativo” que você executa diariamente. Código-fonte disponível em vez de totalmente de código aberto.
Preços:
- Grátis
Plataformas: Windows, macOS, Linux.
Baixar: MQTT Explorer
Conclusão: Instale uma vez, use por uma semana enquanto configura, esqueça que o tem.
7. Ollama — Melhor LLM local para apoiar LLM Vision
Ollama é o tempo de execução onde o modelo multimodal local realmente vive. LLaVA e seus descendentes, Qwen2.5-VL, moondream e outros modelos de visão pequenos são obtidos em alguns comandos e funcionam felizes em uma GPU ou Apple Silicon. LLM Vision aponta para o endpoint Ollama e cada snapshot de evento faz uma viagem de ida e volta através dele.
Onde fica aquém: GPU ou Apple Silicon fortemente recomendado para velocidade. Apenas CPU é possível mas lento. A escolha do modelo afeta a qualidade da descrição.
Preços:
- Grátis, MIT
Plataformas: Linux, macOS, Windows.
Baixar: Ollama
Conclusão: Instale como o mecanismo por trás de LLM Vision quando você quer tudo localmente.
Como escolher o correto
Se você está começando do zero: Home Assistant primeiro, Frigate segundo, LLM Vision terceiro com um pequeno modelo de visão em Ollama. Essa é a pilha de referência.
Se Apple HomeKit importa: adicione Scrypted para expor câmeras não-HomeKit.
Se o servidor doméstico já é uma caixa Windows: Blue Iris assume o papel do NVR e entrega eventos ao Home Assistant.
Quando Frigate não dispara a automação que você espera: MQTT Explorer para ver o que está sendo publicado.
Se LLMs em nuvem são aceitáveis: pule Ollama e aponte LLM Vision para OpenAI ou Gemini para qualidade de descrição mais alta com o custo de sair de casa.
FAQ
O Home Assistant pode fazer IA de câmera sem Frigate?
Existem integrações mais leves (detecção de movimento através da própria integração da câmera, DeepStack, CodeProject.AI). Frigate é onde a detecção de objetos local de classe mundial atual vive. A maioria das pessoas acaba nele.
Eu preciso de um Coral Edge TPU?
Altamente recomendado. Frigate funciona em CPU mas em uma fração da taxa de quadros. Um único stick USB Coral maneja 3 a 5 câmeras confortavelmente. Uma GPU também funciona, com custo de energia mais alto.
Qual LLM é melhor para LLM Vision?
Para local, Qwen2.5-VL e moondream são os atuais favoritos em hardware modesto. Para nuvem, GPT-5 ou Gemini-2.5-Pro produzem descrições notavelmente melhores com o custo da privacidade.
Posso executar isto completamente sem nuvem?
Sim. Home Assistant + Frigate + LLM Vision + Ollama cobre todo o pipeline localmente. Apenas notificações de telefone saem de casa, e até mesmo essas podem ser roteadas através de um servidor Ntfy ou Gotify auto-hospedado.
Isso funciona com câmeras sem fio?
Qualquer câmera que emita RTSP ou suporte ONVIF funciona. Câmeras Wi-Fi são boas; uma rede estável importa mais que uma câmera com fio.
