Grundlagen der Linearen Algebra und Wahrscheinlichkeitstheorie für KI/ML

Lineare Algebra

1. Vektoren und Matrizen:
   - Vektoren: Grundbausteine in der linearen Algebra, die verwendet werden, um Datenpunkte und Merkmale zu repräsentieren.
     - Anwendung: Darstellung von Datenpunkten im Merkmalsraum, Gewichtungen in neuronalen Netzen.
   - Matrizen: Zwei-dimensionale Arrays, die Transformationen und Operationen auf Vektoren ermöglichen.
     - Anwendung: Eingabedaten, Gewichtsmatrizen in neuronalen Netzen, Transformationen und lineare Abbildungen.

2. Matrixmultiplikation:
   - Das Produkt zweier Matrizen ist eine grundlegende Operation in vielen Algorithmen.
     - Anwendung: Berechnungen in neuronalen Netzen, Transformation von Daten.

3. Determinanten und Inverse:
   - Determinanten: Hilfreich bei der Lösung linearer Gleichungssysteme und bei der Bestimmung der Invertierbarkeit von Matrizen.
     - Anwendung: Eigenwertprobleme, Berechnung von Transformationsmatrizen.
   - Inverse: Die Umkehrung einer Matrix ist nützlich für die Lösung linearer Systeme und die Berechnung bestimmter Transformationen.
     - Anwendung: Rücktransformationen, Lösungsfindung bei linearen Gleichungssystemen.

4. Eigenwerte und Eigenvektoren:
   - Eigenwerte und Eigenvektoren sind Schlüsselkonzepte zur Charakterisierung von Matrizen.
     - Anwendung: Hauptkomponentenanalyse (PCA), Dimensionsreduktion, Stabilitätsanalyse in dynamischen Systemen.

5. Singulärwertzerlegung (SVD):
   - Eine Methode, um Matrizen in ihre singulären Werte zu zerlegen.
     - Anwendung: Dimensionsreduktion, Datenkompression, Rauschreduktion.

 Wahrscheinlichkeitstheorie

1. Wahrscheinlichkeitsverteilungen:
   - Diskrete Verteilungen: Beschreiben die Wahrscheinlichkeit für diskrete Ereignisse.
     - Anwendung: Wahrscheinlichkeitsverteilung von Klassen in Klassifikationsproblemen.
   - Stetige Verteilungen: Beschreiben die Wahrscheinlichkeit für stetige Zufallsvariablen.
     - Anwendung: Modellierung von Datenverteilungen, Likelihood-Berechnungen.

2. Bedingte Wahrscheinlichkeiten und Bayes' Theorem:
   - Bedingte Wahrscheinlichkeiten: Wahrscheinlichkeit eines Ereignisses gegeben, dass ein anderes Ereignis eingetreten ist.
     - Anwendung: Naive Bayes-Klassifikator, Entscheidungsfindung unter Unsicherheit.
   - Bayes' Theorem: Verknüpft bedingte Wahrscheinlichkeiten und inverse Wahrscheinlichkeiten.
     - Anwendung: Bayessche Netzwerke, Bayessche Inferenzmethoden.

3. Erwartungswert, Varianz und Kovarianz:
   - Erwartungswert: Durchschnittswert einer Zufallsvariablen.
     - Anwendung: Verlustfunktionen, Erwartungsmaximierung.
   - Varianz: Maß für die Streuung einer Zufallsvariablen.
     - Anwendung: Risikobewertung, Fehleranalyse.
   - Kovarianz: Maß für die Abhängigkeit zwischen zwei Zufallsvariablen.
     - Anwendung: Korrelation, Dimensionsreduktion (PCA).

4. Zentrale Grenzwertsatz:
   - Besagt, dass die Summe einer großen Anzahl von unabhängigen Zufallsvariablen normalverteilt ist, unabhängig von der ursprünglichen Verteilung.
     - Anwendung: Hypothesentests, Konfidenzintervalle.

5. Maximum-Likelihood-Schätzung (MLE):
   - Eine Methode zur Schätzung der Parameter einer Wahrscheinlichkeitsverteilung durch Maximierung der Likelihood-Funktion.
     - Anwendung: Parameteranpassung in statistischen Modellen, Optimierung von Modellen.

 Anwendungen in KI/ML

1. Neurale Netze:
   - Verwendung von Matrizenoperationen zur Berechnung von Neuronenaktivierungen und Gewichtsaktualisierungen.
   - Nutzung von Gradientenabstiegsverfahren zur Optimierung der Gewichtsmatrizen.

2. Hauptkomponentenanalyse (PCA):
   - Anwendung von Eigenwerten und Eigenvektoren zur Reduktion der Dimensionalität von Datensätzen, was zu einer effizienteren Verarbeitung und Speicherung führt.

3. Gausssche Mixture-Modelle (GMM):
   - Verwendung von Wahrscheinlichkeitsverteilungen und MLE zur Modellierung von Daten als Mischung von mehreren Normalverteilungen.

4. Support Vector Machines (SVM):
   - Verwendung von linearen Algebra-Techniken zur Optimierung der Trennhyperflächen zwischen verschiedenen Klassen.

5. Markov-Ketten und Hidden Markov Models (HMM):
   - Anwendung der Wahrscheinlichkeitstheorie zur Modellierung zeitabhängiger Daten und zur Vorhersage von Zustandsübergängen.