PDA

Archiv verlassen und diese Seite im Standarddesign anzeigen : Machine Learning Cluster aufbauen


Hamster
2021-12-11, 11:44:30
Servus!

ich würde gerne ein wenig mit verteilter Compute-Power rumspielen.
Sprich, ich möchte lokal erstellte ML-Modelle (Python) auf anderen Rechner ausführen lassen.

Dies hat keinen konkreten Anwendungsfall, sondern ich möchte mich einfach in die Materie etwas einarbeiten und damit rumspielen.

Die Frage ist jetzt, mit welchen (freien) Softwarepaketen ich hier am Besten starten sollte.
Apache Spark?

Folgende Systeme will ich testweise als Cluster einbinden:

- Raspberry Pi (Linux)
- Intel System (Windows)
- Macbook Air mit M1 (OS X)

Habt ihr ein paar gute Tipps oder Webseiten parat um mich damit näher zu beschäftigen?

Danke :)

Monger
2021-12-11, 12:14:23
Was für ein Framework nimmst du denn jetzt?
Ich hab davon ehrlich gesagt keine Ahnung, aber es gibt wohl einen ganzen Haufen von Frameworks für den Zweck, und fast jedes davon unterstützt TensorFlow.
https://medium.com/swlh/10-python-frameworks-for-parallel-and-distributed-machine-learning-tasks-c0215269cfd

Corny
2021-12-11, 13:01:08
c't hat sowas mit dem Raspi gemacht. Den Artikel gibts aber nur kostenpflichtig, außer du bist c't Abonent: https://www.heise.de/select/ct/2021/12/2110908020402798026

konkretor
2021-12-11, 13:08:12
https://pytorch.org/tutorials/intermediate/ddp_tutorial.html