IA Distribuída

exo para Mac Mini

Usar exo para Mac Mini com Macfleet Cloud

exo permite unificar seus dispositivos existentes em um cluster de GPU poderoso. Funciona com iPhones, iPads, dispositivos Android, Macs, GPUs NVIDIA, Raspberry Pis e quase qualquer outro dispositivo.

Características Principais

• Amplo Suporte a Modelos: Execute LLaMA, Mistral, LlaVA, Qwen, Deepseek e mais
• Particionamento Dinâmico de Modelos: Divida modelos entre dispositivos baseado nos recursos disponíveis
• Descoberta Automática de Dispositivos: Configuração zero necessária para encontrar outros dispositivos
• API compatível com ChatGPT: Mudança de uma linha para executar modelos no seu próprio hardware
• Igualdade de Dispositivos: Arquitetura P2P sem hierarquia mestre-trabalhador

Começando

1. Instale do código fonte: git clone https://github.com/exo-explore/exo.git
2. Mude para o diretório: cd exo
3. Instale dependências: pip install -e . ou source install.sh
4. Inicie exo em cada dispositivo: simplesmente execute exo

Perfeito Para

• Executar modelos maiores do que qualquer dispositivo único poderia lidar
• Usuários conscientes da privacidade que querem processamento de IA local
• Desenvolvedores construindo aplicações de IA
• Utilizar hardware existente em vez de comprar GPUs caras

exo é mantido pela exo labs e lançado sob licença GPL-3.0.