Verteilte KI

exo für Mac Mini

exo für Mac Mini mit Macfleet Cloud verwenden

exo lässt Sie Ihre vorhandenen Geräte zu einem leistungsstarken GPU-Cluster vereinen. Es funktioniert mit iPhones, iPads, Android-Geräten, Macs, NVIDIA-GPUs, Raspberry Pis und fast jedem anderen Gerät.

Hauptfunktionen

• Breite Modellunterstützung: Führen Sie LLaMA, Mistral, LlaVA, Qwen, Deepseek und mehr aus
• Dynamische Modellpartitionierung: Teilen Sie Modelle basierend auf verfügbaren Ressourcen auf Geräte auf
• Automatische Geräteerkennung: Keine Konfiguration erforderlich, um andere Geräte zu finden
• ChatGPT-kompatible API: Eine Zeile ändern, um Modelle auf Ihrer eigenen Hardware auszuführen
• Gerätegleichheit: P2P-Architektur ohne Master-Worker-Hierarchie

Erste Schritte

1. Aus Quellcode installieren: git clone https://github.com/exo-explore/exo.git
2. In Verzeichnis wechseln: cd exo
3. Abhängigkeiten installieren: pip install -e . oder source install.sh
4. exo auf jedem Gerät starten: einfach exo ausführen

Perfekt für

• Ausführung größerer Modelle als jedes einzelne Gerät handhaben könnte
• Datenschutzbewusste Benutzer, die lokale KI-Verarbeitung wollen
• Entwickler, die KI-Anwendungen erstellen
• Nutzung vorhandener Hardware anstatt teurer GPUs zu kaufen

exo wird von exo labs gepflegt und unter der GPL-3.0-Lizenz veröffentlicht.