Fragen zum maschinellen Lernen

[Senior Sanchez]

Hi,

Ich lerne gerade für meine "Maschinelles Lernen"-Prüfung und da hatten wir auch den K-Means Algorithmus.

Aus meinem Verständnis ist der K-Means unsupervised, aber ich habe Quellen gefunden die sagen, er sei unsupervised und andere dagegen sagen, er sei supervised. Was ist er nun?

Und wo liegt eigentlich der Vorteil der Linearen Vektorquantisierung gegenüber K-Means? Es läuft doch auf das selbe hinaus, oder etwa nicht?

[Gast]

Hi,

Ich lerne gerade für meine "Maschinelles Lernen"-Prüfung und da hatten wir auch den K-Means Algorithmus.

Aus meinem Verständnis ist der K-Means unsupervised, aber ich habe Quellen gefunden die sagen, er sei unsupervised und andere dagegen sagen, er sei supervised. Was ist er nun?

Ich würde den schon zu unsupervised zählen.

Die Verwirrung kommt wohl daher dass es auch Varianten gibt in denen man a priori schon etwas über die Daten weiß und die Anfangsmittelpunkte entsprechend setzt, dann ist es per definition nicht mehr unsupervised. Ist aber bei einem "klassischen" k-means nicht der Fall -> unsupervised

Und wo liegt eigentlich der Vorteil der Linearen Vektorquantisierung gegenüber K-Means? Es läuft doch auf das selbe hinaus, oder etwa nicht?
Was meinst du mit "Linearen Vektorquantisierung", sagt mir auf die schnelle jetzt nichts

[Coda]

Also ich kenne wiederrum K-Means nicht, aber so wie ich das sehe arbeitet der immer auf Gruppen, während bei LVQ für jeden Punkt nacheinander die Vektoren verändert werden.

[Senior Sanchez]

Okay, danke @Gast schon mal. :)

K-Means arbeitet in der Regel so, dass du k Clusterzentroide definierst. Jetzt ordnet man alle Instanzen diesen k Clustern zu und zwar so, dass jede Instanz genau zu dem Cluster gehört, zu dessen Zentroid auf Basis eines Distanzmaß sie am ähnlichsten ist.
Im eukldischen Distanzmaß also genau zu den Zentroiden, zu dem die Instanz am nähesten ist.

Jetzt werden die neuen Zentroide bestimmt. Diese ergeben sich als Mittelpunkt aller zugehörigen Instanzen.

Die lineare Vektorquantifizierung oder kurz LVQ arbeitet dagegen iterativ. Es werden auch k Startpunkte für den Cluster definiert. Anschließend wieder die Instanzen den nähesten Punkten zugeordnet. Anschließend werden die Vektoren aus den Clusterstartpunkten und allen Punkten des Clusters addiert, mit einer Lernrate multipliziert und das Ergebnis auf den jeweiligen Clusterstartpunkt addiert. Somit wandert dieser Punkt in Richtung der Datensätze ohne das er gleich in den Mittelpunkt gesetzt wird.

Den Vorteil davon sehe ich aber irgendwie nicht, es dauert doch nur länger.

[Senior Sanchez]

Also ich habe noch mal drüber nachgedacht und nachgelesen und es scheint so, dass der große Vorteil von LVQ ist, dass es sowohl anziehende (wie K-means), als auch abstoßende Instanzen berücksichtigen kann. Damit ist es in dem Sinne leistungsfähiger als K-means, da es eben auch die Klassifizierung von Instanzen mit einbezieht.