Grundlagen der Linearen Algebra und Wahrscheinlichkeitstheorie für KI/ML
Lineare Algebra
1. Vektoren und Matrizen:
- Vektoren: Grundbausteine in der linearen Algebra, die verwendet werden, um Datenpunkte und Merkmale zu repräsentieren.
- Anwendung: Darstellung von Datenpunkten im Merkmalsraum, Gewichtungen in neuronalen Netzen.
- Matrizen: Zwei-dimensionale Arrays, die Transformationen und Operationen auf Vektoren ermöglichen.
- Anwendung: Eingabedaten, Gewichtsmatrizen in neuronalen Netzen, Transformationen und lineare Abbildungen.
2. Matrixmultiplikation:
- Das Produkt zweier Matrizen ist eine grundlegende Operation in vielen Algorithmen.
- Anwendung: Berechnungen in neuronalen Netzen, Transformation von Daten.
3. Determinanten und Inverse:
- Determinanten: Hilfreich bei der Lösung linearer Gleichungssysteme und bei der Bestimmung der Invertierbarkeit von Matrizen.
- Anwendung: Eigenwertprobleme, Berechnung von Transformationsmatrizen.
- Inverse: Die Umkehrung einer Matrix ist nützlich für die Lösung linearer Systeme und die Berechnung bestimmter Transformationen.
- Anwendung: Rücktransformationen, Lösungsfindung bei linearen Gleichungssystemen.
4. Eigenwerte und Eigenvektoren:
- Eigenwerte und Eigenvektoren sind Schlüsselkonzepte zur Charakterisierung von Matrizen.
- Anwendung: Hauptkomponentenanalyse (PCA), Dimensionsreduktion, Stabilitätsanalyse in dynamischen Systemen.
5. Singulärwertzerlegung (SVD):
- Eine Methode, um Matrizen in ihre singulären Werte zu zerlegen.
- Anwendung: Dimensionsreduktion, Datenkompression, Rauschreduktion.
Wahrscheinlichkeitstheorie
1. Wahrscheinlichkeitsverteilungen:
- Diskrete Verteilungen: Beschreiben die Wahrscheinlichkeit für diskrete Ereignisse.
- Anwendung: Wahrscheinlichkeitsverteilung von Klassen in Klassifikationsproblemen.
- Stetige Verteilungen: Beschreiben die Wahrscheinlichkeit für stetige Zufallsvariablen.
- Anwendung: Modellierung von Datenverteilungen, Likelihood-Berechnungen.
2. Bedingte Wahrscheinlichkeiten und Bayes' Theorem:
- Bedingte Wahrscheinlichkeiten: Wahrscheinlichkeit eines Ereignisses gegeben, dass ein anderes Ereignis eingetreten ist.
- Anwendung: Naive Bayes-Klassifikator, Entscheidungsfindung unter Unsicherheit.
- Bayes' Theorem: Verknüpft bedingte Wahrscheinlichkeiten und inverse Wahrscheinlichkeiten.
- Anwendung: Bayessche Netzwerke, Bayessche Inferenzmethoden.
3. Erwartungswert, Varianz und Kovarianz:
- Erwartungswert: Durchschnittswert einer Zufallsvariablen.
- Anwendung: Verlustfunktionen, Erwartungsmaximierung.
- Varianz: Maß für die Streuung einer Zufallsvariablen.
- Anwendung: Risikobewertung, Fehleranalyse.
- Kovarianz: Maß für die Abhängigkeit zwischen zwei Zufallsvariablen.
- Anwendung: Korrelation, Dimensionsreduktion (PCA).
4. Zentrale Grenzwertsatz:
- Besagt, dass die Summe einer großen Anzahl von unabhängigen Zufallsvariablen normalverteilt ist, unabhängig von der ursprünglichen Verteilung.
- Anwendung: Hypothesentests, Konfidenzintervalle.
5. Maximum-Likelihood-Schätzung (MLE):
- Eine Methode zur Schätzung der Parameter einer Wahrscheinlichkeitsverteilung durch Maximierung der Likelihood-Funktion.
- Anwendung: Parameteranpassung in statistischen Modellen, Optimierung von Modellen.
Anwendungen in KI/ML
1. Neurale Netze:
- Verwendung von Matrizenoperationen zur Berechnung von Neuronenaktivierungen und Gewichtsaktualisierungen.
- Nutzung von Gradientenabstiegsverfahren zur Optimierung der Gewichtsmatrizen.
2. Hauptkomponentenanalyse (PCA):
- Anwendung von Eigenwerten und Eigenvektoren zur Reduktion der Dimensionalität von Datensätzen, was zu einer effizienteren Verarbeitung und Speicherung führt.
3. Gausssche Mixture-Modelle (GMM):
- Verwendung von Wahrscheinlichkeitsverteilungen und MLE zur Modellierung von Daten als Mischung von mehreren Normalverteilungen.
4. Support Vector Machines (SVM):
- Verwendung von linearen Algebra-Techniken zur Optimierung der Trennhyperflächen zwischen verschiedenen Klassen.
5. Markov-Ketten und Hidden Markov Models (HMM):
- Anwendung der Wahrscheinlichkeitstheorie zur Modellierung zeitabhängiger Daten und zur Vorhersage von Zustandsübergängen.