Table of Contents

In der psychologischen Forschung hängt das Streben nach genauen und aussagekräftigen Schlussfolgerungen grundlegend von der Qualität und Integrität der gesammelten Daten ab. Zu den verschiedenen Herausforderungen, denen sich Forscher bei der Aufrechterhaltung der Datenqualität gegenübersehen, gehören Ausreißer – Datenpunkte, die erheblich vom allgemeinen Beobachtungsmuster abweichen –, die eines der kritischsten, aber oft missverstandenen Probleme darstellen. Diese extremen Werte können die statistischen Analysen tiefgreifend beeinflussen, was möglicherweise zu verzerrten Ergebnissen, überhöhten Fehlerraten und letztlich zu ungültigen Schlussfolgerungen führen kann, die sowohl Theorie als auch Praxis in diesem Bereich fehlleiten können.

Die Auswirkungen von Ausreißern auf psychologische Datensätze gehen weit über einfache statistische Unannehmlichkeiten hinaus. Wenn unangemessene Methoden verwendet werden, kann dies zu voreingenommenen und falschen Schlussfolgerungen führen, die alles betreffen, von grundlegenden deskriptiven Statistiken bis hin zu komplexen multivariaten Analysen. Zu verstehen, wie Ausreißer erkannt, bewertet und angemessen gehandhabt werden können, ist zu einer wesentlichen Kompetenz für Forscher geworden, die die Gültigkeit und Zuverlässigkeit ihrer Arbeit erhalten wollen. Dieser umfassende Leitfaden untersucht die Vielseitigkeit von Ausreißern in der psychologischen Forschung, untersucht ihre Herkunft, Nachweismethoden, Auswirkungen auf die Datenvalidität und evidenzbasierte Strategien für deren effektives Management.

Ausreißer in der psychologischen Forschung verstehen

Definition von Ausreißern im Kontext psychologischer Daten

Ausreißer sind extreme Werte, die nicht dem Muster der übrigen Daten folgen, aber die Definition, was einen "Ausreißer" ausmacht, ist nuancierter, als es zunächst erscheinen mag. Ausreißer werden weniger formal als "eine Beobachtung (oder eine Teilmenge von Beobachtungen) definiert, die mit dem Rest dieses Datensatzes nicht übereinstimmend zu sein scheint". Genauer gesagt, Ausreißer werden typischerweise als Datenpunkte mit Größen definiert, die über 2,5 oder 3,0 Standardabweichungen vom Mittelwert hinausgehen, obwohl diese herkömmliche Definition Einschränkungen aufweist, die Forscher verstehen müssen.

In der psychologischen Forschung können sich Ausreißer in verschiedenen Formen manifestieren, je nach Art der gesammelten Daten, sie können als ungewöhnlich hohe oder niedrige Werte auf psychologischer Ebene, extreme Reaktionszeiten bei kognitiven Aufgaben oder atypische Antwortmuster in Fragebogendaten auftreten. Die Herausforderung besteht nicht nur darin, diese Extremwerte zu identifizieren, sondern auch darin, festzustellen, ob sie echte psychologische Phänomene, Messfehler oder statistische Anomalien darstellen, die eine besondere Behandlung erfordern.

Arten und Quellen von Ausreißern

Um zu bestimmen, wie mit Ausreißern umzugehen ist, ist es von entscheidender Bedeutung, den Ursprung von Ausreißern zu verstehen.

Messfehler: Diese Ausreißer resultieren aus Fehlern bei der Datenerfassung, -aufzeichnung oder -eingabe. Beispiele sind falsch eingegebene Werte, fehlerhafte Geräte oder missverstandene Anweisungen der Teilnehmer. Solche Fehler werden typischerweise als ungültige Datenpunkte betrachtet, die nach ihrer Identifizierung korrigiert oder entfernt werden sollten.

Sampling Errors: Manchmal treten Ausreißer auf, weil ein Teilnehmer, der nicht zur Zielpopulation gehört, versehentlich in die Stichprobe aufgenommen wurde. Wenn wir beispielsweise die Auswirkungen von X auf Y bei Jugendlichen untersuchen und eine Beobachtung von einem 20-Jährigen haben, ist diese Beobachtung möglicherweise kein statistischer Ausreißer, aber es ist ein Ausreißer im Kontext der beabsichtigten Population der Studie.

Naturelle Variabilität: In der psychologischen Forschung können Ausreißer aufgrund verschiedener Faktoren auftreten, wie Messfehler, Stichprobenverzerrungen oder ungewöhnliches Verhalten der Teilnehmer. Einige Ausreißer stellen echte Extremfälle innerhalb der Bevölkerung dar - Individuen, die rechtmäßig ungewöhnliche psychologische Eigenschaften oder Verhaltensweisen aufweisen. Dies sind gültige Datenpunkte, die wichtige Informationen über das untersuchte Phänomen enthalten können.

Kontextuelle Anomalien: Die Forschung hat verschiedene Kategorien von Ausreißern anhand ihrer Muster identifiziert. Punktanomalien sind einzelne Datenpunkte, die signifikant vom Rest abweichen, während kontextuelle Anomalien Werte sind, die nur ungewöhnlich erscheinen, wenn sie in ihrem spezifischen Kontext betrachtet werden. Kollektive Anomalien beinhalten Gruppen von Datenpunkten, die zusammen von erwarteten Mustern abweichen, auch wenn einzelne Punkte isoliert nicht extrem erscheinen könnten.

Die Prävalenz von Ausreißern in psychologischen Studien

Ausreißer sind in der psychologischen Forschung bemerkenswert häufig, was einen erheblichen Teil der Studien in verschiedenen Teildisziplinen betrifft. Sie fanden heraus, dass die Rohreaktionszeiten ohne Maßnahmen verarbeitet wurden, um Ausreißer in nur etwa einem Drittel der Analysen zu berücksichtigen. In allen anderen Fällen verwendeten die Autoren eine Vielzahl von Techniken, um die Wirkung von Ausreißern zu reduzieren, was zeigt, dass die Mehrheit der Forscher auf Ausreißerprobleme stoßen und sich mit diesen befassen müssen.

Die Häufigkeit, mit der Ausreißer auftreten, variiert je nach Art der durchgeführten psychologischen Messung. Reaktionszeitstudien, Persönlichkeitsbewertungen und Verhaltensbeobachtungen stellen jeweils einzigartige Herausforderungen dar. Leys et al. (2013) untersuchten Ausreißererkennungsmethoden in 127 Artikeln, die im Journal of Personality and Social Psychology (JPSP) und Psychological Science (PSS) von 2010 bis 2012 veröffentlicht wurden. Als Ergebnis verwendeten 56 Artikel (etwa die Hälfte der 127 Artikel) die Ausreißererkennungsmethoden mit der mittleren und Standardabweichung, was sowohl die Prävalenz von Ausreißern als auch die Variabilität in der Art und Weise, wie Forscher sie angehen, hervorhob.

Umfassende Methoden zur Erkennung von Ausreißern

Visuelle Inspektionstechniken

Visuelle Methoden gehören nach wie vor zu den intuitivsten und am weitesten zugänglichen Ansätzen zur Identifizierung von Ausreißern in psychologischen Daten, mit denen Forscher Muster und Anomalien erkennen können, die durch numerische Analysen allein möglicherweise nicht sofort erkennbar sind.

Box Plots: Box Plots (auch bekannt als Box-and-Whisker-Plots) liefern eine visuelle Zusammenfassung der Datenverteilung, die den Median, die Quartile und die potenziellen Ausreißer deutlich anzeigt. Datenpunkte, die über den 1,5-fachen Interquartilbereich (IQR) über dem dritten Quartil oder unter dem ersten Quartil liegen, werden typischerweise als potenzielle Ausreißer gekennzeichnet. Diese Methode ist besonders nützlich, um Verteilungen über verschiedene Gruppen oder Bedingungen zu vergleichen.

Streudiagramme: Für die Untersuchung von Beziehungen zwischen Variablen können Streudiagramme multivariate Ausreißer aufdecken - Datenpunkte, die extrem sind, wenn man zwei oder mehr Variablen gleichzeitig betrachtet. Diese Visualisierungen sind besonders wertvoll bei Korrelations- und Regressionsanalysen, bei denen Ausreißer einen unverhältnismäßigen Einfluss auf die beobachteten Beziehungen ausüben können.

Normale Q-Q-Plots: Quantil-Quantil-Plots vergleichen die Verteilung der beobachteten Daten mit einer theoretischen Normalverteilung. Punkte, die wesentlich von der diagonalen Bezugslinie abweichen, können Ausreißer oder Abweichungen von der Normalität anzeigen. Diese Technik ist besonders nützlich, um zu beurteilen, ob die Daten den Annahmen parametrischer statistischer Tests entsprechen.

Histogramme und Dichte-Plots: Diese Visualisierungen zeigen die Gesamtverteilung von Daten und können dabei helfen, isolierte Extremwerte oder ungewöhnliche Clustering-Muster zu identifizieren. Sie bieten einen Kontext, um zu verstehen, ob Ausreißer isolierte Vorfälle oder Teil eines breiteren Verteilungsmusters sind.

Statistische Nachweismethoden

Während visuelle Inspektion wertvolle Erkenntnisse liefert, bieten statistische Methoden objektivere und quantifizierbare Ansätze zur Erkennung von Ausreißern. univariate, multivariate und modellbasierte statistische Ausreißererkennungsmethoden, ihre empfohlenen Schwellenwerte, Standard-Output und Plotting-Methoden. Wir schließen mit der Überprüfung der verschiedenen theoretischen Arten von Ausreißern, ob sie ausgeschlossen oder gewonnen werden sollen, und die Bedeutung von Transparenz.

Z-Score Methode: Die Z-Score Methode standardisiert Datenpunkte, indem sie sie in Standardabweichungen vom Mittelwert ausdrückt. Ausreißer werden typischerweise als Datenpunkte mit Größen über 2,5 oder 3,0 Standardabweichungen vom Mittelwert definiert. Während sie weit verbreitet ist, hat diese Methode Einschränkungen, wenn sie sich mit nicht-normalen Verteilungen befasst oder wenn die Ausreißer selbst die Berechnung der Mittelwert- und Standardabweichung beeinflussen.

Interquartilsabstand (IQR) Methode: Die IQR Methode ist robuster für Ausreißer als der Z-Score Ansatz, weil sie sich auf Quartile anstatt auf die Mittelwert- und Standardabweichung stützt. Datenpunkte, die unter Q1 - 1,5 × IQR oder über Q3 + 1,5 × IQR fallen, werden typischerweise als Ausreißer gekennzeichnet. Diese Methode ist besonders nützlich, wenn es um schiefe Verteilungen geht, die in psychologischen Daten üblich sind.

Median Absolute Deviation (MAD): Die Methode zur Verwendung der Median Absolute Deviation (MAD) wurde von Hampel (1974) vorgeschlagen und kann für die voreingenommenen Daten verwendet werden, mit denen die Normalverteilung nicht angenommen werden kann, aber die Methode ist in der psychologischen Forschung noch nicht üblich (Leys et al., 2013). Die Statistik MAD verwendet den Median, der eine sehr wünschenswerte Eigenschaft hat, dass er gegen den Einfluss von Ausreißern stabil ist. Dies macht MAD besonders wertvoll für die psychologische Forschung, wo Daten oft von der Normalität abweichen.

Grubbs' Test: Dieser statistische Test ist so konzipiert, dass er einen einzelnen Ausreißer in einem univariaten Datensatz erkennt, der einer ungefähren Normalverteilung folgt. Er testet die Nullhypothese, dass es keine Ausreißer im Datensatz gibt, gegen die alternative Hypothese, dass genau ein Ausreißer existiert. Der Test kann iterativ angewendet werden, um mehrere Ausreißer zu erkennen, obwohl dieser Ansatz Vorsicht erfordert, um eine Aufblähung der Fehlerraten von Typ I zu vermeiden.

Bonferroni-Korrektur für Mehrfachvergleiche: Der Ausreißer wird dann durch Bonferroni-Korrektur (Armstrong, 2014) bestimmt. Die Bonferroni-Korrektur wird durchgeführt, um Fehler vom Typ II zu vermeiden, die als Reaktion auf eine größere Standardabweichung auftreten können. Diese Anpassung ist besonders wichtig, wenn mehrere Ausreißertests mit demselben Datensatz durchgeführt werden.

Multivariate Ausreißererkennung

Psychologische Forschung umfasst häufig mehrere Variablen, die gleichzeitig gemessen werden, was Methoden erfordert, die Ausreißer im multidimensionalen Raum erkennen können.Ein Datenpunkt mag bei keiner einzelnen Variablen extrem erscheinen, könnte aber bei der Betrachtung der Kombination von Variablen sehr ungewöhnlich sein.

Mahalanobis Distance: This metric measures the distance of a data point from the centroid of a multivariate distribution, taking into account the covariance structure of the data. Points with large Mahalanobis distances are considered multivariate outliers. This method is particularly valuable in psychological research involving multiple correlated measures, such as personality inventories or cognitive test batteries.

In Regressionskontexten misst Cooks Entfernung den Einfluss einzelner Datenpunkte auf das Gesamtregressionsmodell. High Cooks Entfernungswerte zeigen Beobachtungen an, die einen wesentlichen Einfluss auf die Regressionskoeffizienten und Vorhersagen haben. Dies ist entscheidend für die Identifizierung einflussreicher Fälle, die beobachtete Beziehungen zwischen psychologischen Variablen antreiben könnten.

Leverage and Influence Statistics: Diese Maßnahmen identifizieren Beobachtungen, die im Prädiktorraum ungewöhnlich sind (hohe Hebelwirkung) oder die das angepasste Modell erheblich beeinflussen (hoher Einfluss).

Modellbasierte Detektionsansätze

Fortgeschrittene modellbasierte Ansätze bieten ausgeklügelte Methoden zur Ausreißererkennung, die die zugrunde liegende Struktur psychologischer Daten berücksichtigen.Wir schlagen eine Ausreißererkennungsmethode vor, die die Erkennung kritischer Verschiebungen in differenzierbaren linearen und nichtlinearen dynamischen Funktionen, einschließlich dynamischer Funktionen für TVPs, erleichtert.

Diese Methoden sind besonders wertvoll, wenn man mit Längsdaten, hierarchischen Strukturen oder komplexen experimentellen Entwürfen arbeitet, die in der heutigen psychologischen Forschung üblich sind, und sie können nicht nur statische Ausreißer, sondern auch dynamische Veränderungen und kritische Übergänge in psychologischen Prozessen im Laufe der Zeit erkennen.

Auswirkungen von Ausreißern auf die Datenvalidität und -zuverlässigkeit

Auswirkungen auf die deskriptive Statistik

Ausreißer können grundlegende deskriptive Statistiken, die die Grundlage für psychologische Forschungsberichte bilden, dramatisch verzerren. Der Mittelwert, der auf extreme Werte reagiert, kann wesentlich auf Ausreißer ausgerichtet werden, was eine irreführende Darstellung der zentralen Tendenz darstellt. Zum Beispiel könnten bei einer Untersuchung der Depressionswerte einige extrem hohe Werte den Gruppenmittelwert aufblähen, was auf höhere durchschnittliche Depressionsniveaus hindeutet, als die meisten Teilnehmer tatsächlich erlebt haben.

Standardabweichungen und -varianzen sind noch anfälliger für Ausreißereinflüsse, da sie quadrierte Abweichungen vom Mittelwert beinhalten. Ein einziger Extremwert kann diese Messungen der Variabilität erheblich aufblähen und sich möglicherweise auf Leistungsanalysen, Stichprobengrößenberechnungen und Interpretationen der Effektgrößen auswirken. Diese Inflation kann dazu führen, dass Forscher die Genauigkeit ihrer Messungen unterschätzen oder die Heterogenität innerhalb ihrer Stichprobe überschätzen.

Ausreißer können daher die Gültigkeit und Zuverlässigkeit der Ergebnisse einer auf Umfragen basierenden Meinungsstudie beeinflussen, indem sie die deskriptiven Statistiken verzerren, die Inferenzanalysen verzerren, die Extrapolation des aus der Stichprobe gewonnenen Wissens auf die gesamte ursprüngliche Population beeinflussen, was bedeutet, dass Ausreißer, die auf der deskriptiven Ebene identifiziert wurden, die Schlussfolgerungen in jeder nachfolgenden Phase der Analyse beeinträchtigen können.

Auswirkungen auf Korrelations- und Regressionsanalysen

Der Einfluss von Ausreißern auf Korrelationskoeffizienten und Regressionsmodelle stellt eine der größten Bedrohungen für die Gültigkeit in der psychologischen Forschung dar: Ein einzelner bivariater Ausreißer kann den Anschein einer starken Korrelation erzeugen, bei der es in der Masse der Daten keine gibt, oder umgekehrt kann er eine echte Beziehung maskieren, indem er Rauschen in die Analyse einführt.

Extreme Datenpunkte oder Ausreißer können einen unverhältnismäßigen Einfluss auf die Schlussfolgerungen aus einer Reihe bivariater Korrelationsdaten haben. Bei Regressionsanalysen können Ausreißer Steigungsschätzungen, Schnittpunkte und die Gesamtanpassung des Modells erheblich verändern. Dies ist besonders problematisch in der psychologischen Forschung, wo Beziehungen zwischen Variablen oft bescheiden sind, was sie besonders anfällig für Verzerrungen durch Extremfälle macht.

Wenn wir beispielsweise feststellen, dass eine Korrelation nicht von bescheidenen Ausreißern beeinflusst wird, aber ein Regressionsmodell mit mehreren Prädiktoren verzerrt wird, dann wären Löschungen oder Transformationen oder andere Anstrengungen für Korrelationen nicht notwendig, aber sie wären bei Regressionen kritischer.

Konsequenzen für Hypothesentests

Ausreißer können die Ergebnisse von Hypothesentests stark beeinflussen, was möglicherweise sowohl zu Typ-I-Fehlern (falsch positiv) als auch zu Typ-II-Fehlern (falsch negativ) führt. Wenn Ausreißer Varianzschätzungen aufblähen, verringern sie die statistische Aussagekraft, was es schwieriger macht, echte Effekte zu erkennen. Umgekehrt können Ausreißer, die sich zufällig mit der Hypothese eines Forschers decken, falsche signifikante Ergebnisse erzeugen.

In diesem Artikel verwenden wir Computersimulationen, um zu zeigen, dass sich aus dieser Flexibilität ernste Probleme ergeben. Die Wahl zwischen alternativen Wegen für den Umgang mit Ausreißern kann zur Inflation von p-Werten und zur Verzerrung von Konfidenzintervallen und Maßen der Effektgröße führen. Diese Flexibilität im Umgang mit Ausreißern schafft das, was Forscher "Freiheitsgrade" nennen, die versehentlich oder absichtlich ausgenutzt werden können, um gewünschte Ergebnisse zu erzielen.

Das Problem wird durch die Tatsache verschärft, dass verschiedene Ausreißererkennungs- und Behandlungsmethoden zu unterschiedlichen Schlussfolgerungen aus demselben Datensatz führen können. Simmons et al. (2011) analysierten etwa 30 Artikel in 'Psychological Science' und berichteten auch über ungerechtfertigte Variabilität bei Entscheidungen darüber, wie Ausreißer definiert und behandelt werden sollen. Die Verfügbarkeit verschiedener Methoden zum Umgang mit Ausreißern bedeutet nicht unbedingt, dass die Wahl, die man in einer bestimmten Studie anwenden soll, willkürlich ist, aber der Mangel an Standardisierung schafft Möglichkeiten für fragwürdige Forschungspraktiken.

Auswirkungen auf Zuverlässigkeitsschätzungen

Die Auswirkungen von Ausreißern erstrecken sich auf psychometrische Eigenschaften von Messinstrumenten, insbesondere Zuverlässigkeitsschätzungen, Untersuchungen haben gezeigt, dass Ausreißer das Cronbach-Alpha, das am häufigsten verwendete Maß für die interne Konsistenz in der psychologischen Forschung, erheblich verzerren können.

Ihre Ergebnisse zeigten, dass Koeffizient-Alpha-Schätzungen mit dem Vorhandensein von Ausreißern stark aufgebläht wurden, und wie die früheren Ergebnisse wurden die Auswirkungen von Ausreißern mit zunehmender theoretischer Zuverlässigkeit reduziert. Diese Inflation kann einen falschen Eindruck von der Messqualität erzeugen, was dazu führt, dass Forscher ungerechtfertigtes Vertrauen in Instrumente setzen, die möglicherweise nicht so zuverlässig sind, wie das aufgeblasene Alpha vermuten lässt.

Die Ergebnisse zeigen, dass der Koeffizient α nicht durch symmetrische Ausreißerkontaminationen beeinflusst wird, während asymmetrische Ausreißer die Schätzungen des Koeffizienten α künstlich aufblähen. Koeffiziente α-Schätzungen sind nach oben gerichtet und variabler, wobei die Asymmetrie und der Anteil der Ausreißerkontamination in der Population zunehmen. Dieser Befund hat wichtige Auswirkungen auf die Skalenentwicklung und Validierungsstudien, bei denen eine genaue Zuverlässigkeitsabschätzung entscheidend ist.

Auswirkungen auf die Gültigkeit von Schlussfolgerungen

In der psychologischen Forschung können Ausreißer die Genauigkeit und Zuverlässigkeit der Ergebnisse stark beeinflussen. In diesem Artikel werden wir das Konzept der Ausreißer, Methoden zu ihrer Erkennung und Strategien zum Umgang mit Ausreißern untersuchen, um die Gültigkeit der Forschungsergebnisse zu gewährleisten. Die ultimative Sorge mit Ausreißern ist ihr Potenzial, die Gültigkeit von Forschungsschlussfolgerungen zu untergraben - das Ausmaß, in dem die Ergebnisse die untersuchten psychologischen Phänomene genau repräsentieren.

Die Gültigkeit statistischer Schlussfolgerungen, die die Angemessenheit von Rückschlüssen auf Beziehungen zwischen Variablen betreffen, ist besonders anfällig für Ausreißereffekte.

Die interne Validität kann auch dann beeinträchtigt werden, wenn Ausreißer systematische Unterschiede zwischen experimentellen Bedingungen darstellen, die nichts mit der beabsichtigten Manipulation zu tun haben, z. B. wenn Ausreißer in einer Behandlungsgruppe Messfehler oder Nichteinhaltung der Teilnehmer anstelle von echten Behandlungseffekten widerspiegeln, können Schlussfolgerungen über die Kausalität ungültig sein.

Externe Validität - die Verallgemeinerung von Befunden auf breitere Populationen - hängt davon ab, ob Ausreißer seltene, aber echte Fälle innerhalb der Population oder Artefakte des Probenahme- oder Messprozesses darstellen.

Evidenzbasierte Strategien zum Verwalten von Ausreißern

Überprüfung und Untersuchung

Bevor sie Entscheidungen über die Behandlung von Ausreißern treffen, sollten die Forscher die Quelle und die Art der Extremwerte gründlich untersuchen.

Datenqualitätsprüfungen: Überprüfen Sie die Dateneingabeverfahren und Originaldatenquellen, um mögliche Transkriptionsfehler, Gerätestörungen oder Verfahrensunregelmäßigkeiten zu identifizieren.

Teilnehmer-Verifizierung: Wenn möglich, prüfen Sie, ob Ausreißer mit bestimmten Teilnehmern verbunden sind, die möglicherweise die Einschlusskriterien nicht erfüllen, die Anweisungen missverstanden haben oder die sich möglicherweise an nicht-konformem Verhalten beteiligt haben.

Kontextanalyse: Das Verständnis des Grundes für den Ausreißer kann die Entscheidung über die Behandlung beeinflussen. Auswirkungen auf die Ergebnisse: Die Auswirkungen des Ausreißers auf die Ergebnisse sollten berücksichtigt werden. Überlegen Sie, ob Ausreißer systematisch unter bestimmten Bedingungen, Zeiträumen oder demografischen Gruppen auftreten, da dies Einblicke in ihre Bedeutung und angemessene Behandlung geben kann.

Theoretische Plausibilität: Bewerten Sie, ob extreme Werte theoretisch plausibel sind, wenn man das zu messende Konstrukt und die zu untersuchende Population berücksichtigt.

Ausschlussstrategien

Wenn festgestellt wird, dass Ausreißer ungültig oder nicht geeignet sind, kann die Entfernung gerechtfertigt sein, jedoch sollte diese Entscheidung sorgfältig und transparent nach festgelegten Leitlinien und mit vollständiger Dokumentation getroffen werden.

Kriterienbasierter Ausschluss: Festlegung klarer, a priori Kriterien für den Ausschluss von Ausreißern auf der Grundlage theoretischer Überlegungen und methodischer Standards. Diese Kriterien sollten in Forschungsprotokollen oder Vorregistrierungen vor Beginn der Datenerhebung festgelegt werden, um Post-hoc-Entscheidungen zu verhindern, die durch ihre Auswirkungen auf die Ergebnisse beeinflusst werden könnten.

Sensitivitätsanalyse: Vor Abschluss der Ausschlussentscheidungen sollten Analysen sowohl mit als auch ohne Ausreißer durchgeführt werden, um deren Auswirkungen auf Schlussfolgerungen zu bewerten. Wenn die Ergebnisse robust für die Einbeziehung von Ausreißern sind, stärkt dies das Vertrauen in die Ergebnisse. Wenn sich die Schlussfolgerungen wesentlich ändern, erfordert dies eine sorgfältige Prüfung und transparente Berichterstattung.

Wir würden vorschlagen, dass Wissenschaftler Daten nicht löschen müssen, ja vielleicht sollten sie sie nicht löschen, wenn sie sich Sorgen um Schieflage, Kurtosis oder univariate Ausreißer machen. Wenn es nicht normale Daten gibt, werden die Ergebnisse wahrscheinlich eher unbedeutend sein. Unwichtige Ergebnisse können für das Forschungsteam enttäuschend sein, aber wenn Daten gelöscht werden, um sie weniger verzerrt aussehen zu lassen (zum Beispiel), können Fragen aufkommen, ob dieser Datenverarbeitungsschritt notwendig war. Diese Perspektive unterstreicht die Wichtigkeit der Betrachtung, ob Ausschluss wirklich notwendig ist oder ob alternative Ansätze geeigneter sein könnten.

Multivariate Überlegungen: Die Ausnahme von der ersten Richtlinie ist, wenn Wissenschaftler Ausreißer bei mindestens zwei Variablen entdecken, die in ein Fokalmodell eingegeben werden. Wenn dieses Muster nichtnormaler Daten auftritt, werden die Forscher zum Status quo des Löschens oder Transformierens der multivariaten Ausreißerwerte zurückkehren. Dies unterstreicht, dass multivariate Ausreißer eine andere Behandlung erfordern als univariate Ausreißer.

Transformationsansätze

Die Datentransformation kann den Einfluss von Ausreißern verringern, während alle Beobachtungen im Datensatz beibehalten werden.

Logarithmische Transformation: Log-Transformationen sind besonders effektiv für positiv verzerrte Daten, die in der psychologischen Forschung üblich sind, wie Reaktionszeiten oder Häufigkeitszählungen. Durch die Komprimierung des oberen Schwanzes der Verteilung reduziert die logarithmische Transformation den Einfluss hoher Ausreißer, während die Rangordnung der Beobachtungen erhalten bleibt.

Quadratwurzeltransformation: Diese mildere Transformation ist nützlich für mäßig verzerrte Daten und Zählvariablen. Sie reduziert die Auswirkungen von Ausreißern weniger dramatisch als die logarithmische Transformation und ist daher angemessen, wenn der Grad der Verdrehung nicht extrem ist.

Inverse Transformation: Für stark verzerrte Daten können inverse Transformationen effektiv sein, obwohl sie die Reihenfolge der Werte umkehren und schwieriger zu interpretieren sind.

Winsorization: Anstatt Ausreißer vollständig zu entfernen, ersetzt Winsorization extreme Werte durch weniger extreme Werte bei einem bestimmten Perzentil (z. B. das 95. oder 99. Perzentil). Dieser Ansatz behält alle Beobachtungen bei und begrenzt gleichzeitig den Einfluss der extremsten Fälle. Wir schließen mit der Überprüfung der verschiedenen theoretischen Arten von Ausreißern, ob sie ausgeschlossen oder winsorisiert werden sollen, und der Bedeutung von Transparenz.

Robuste statistische Methoden

Ein zunehmend beliebter Ansatz zum Management von Ausreißern beinhaltet die Verwendung statistischer Methoden, die von Natur aus resistent gegen ihren Einfluss sind, anstatt die Daten selbst zu ändern oder zu entfernen.

Median-basierte Analysen: Die Verwendung von Medianen anstelle von Mitteln für Maßnahmen der zentralen Tendenz bietet Widerstand gegen Ausreißereinfluss, da der Median durch den mittleren Wert und nicht durch alle Werte in der Verteilung bestimmt wird.

Diese Statistiken berechnen Mittelwerte, nachdem sie einen bestimmten Prozentsatz von Extremwerten aus beiden Teilen der Verteilung entfernt haben. z. B. schließt ein 10%-gekürzter Mittelwert die höchsten und niedrigsten 5% der Werte aus, bevor der Durchschnitt berechnet wird, was einen Kompromiss zwischen dem Mittelwert und dem Median darstellt.

Robuste Regressionsmethoden: Techniken wie M-Schätzung, Regression der geringsten absoluten Abweichung und robuste Regression mit iterativ neu gewichteten kleinsten Quadraten bieten Alternativen zur gewöhnlichen Regression der kleinsten Quadrate, die weniger von Ausreißern beeinflusst werden.

Bootstrapping and Resampling: Diese Berechnungsmethoden bewerten die Stabilität statistischer Schätzungen durch wiederholtes Resampling aus den beobachteten Daten. Sie können Forschern helfen zu verstehen, ob Schlussfolgerungen stark von spezifischen extremen Beobachtungen abhängen und Konfidenzintervalle liefern, die den Einfluss von Ausreißern berücksichtigen.

Bayessche Ansätze: Mit Bayesschen Parameterschätzungen und Wahrscheinlichkeitsverteilungen mit schwereren Schwänzen wird die Notwendigkeit, mit Antwortzeitenausreißern umzugehen, eliminiert, aber auf Kosten der Eröffnung einer anderen Flexibilitätsquelle. Bayessche Methoden können Vorkenntnisse über die erwartete Verteilung von Daten einbringen und natürlich extreme Werte durch geeignete Wahrscheinlichkeitsfunktionen berücksichtigen.

Alternative Scoring-Methoden

Für bestimmte Arten von psychologischen Daten wurden alternative Bewertungsmethoden entwickelt, die den Einfluss von Ausreißern reduzieren und gleichzeitig eine sinnvolle Varianz bewahren.

D-Scores: In Reaktionszeitparadigmen standardisieren D-Scores Unterschiede zwischen Bedingungen durch die Gesamtvariabilität des Individuums, wodurch sie weniger anfällig für extreme Werte sind als rohe Differenzwerte. Untersuchungen haben gezeigt, dass D-Scores oft bessere psychometrische Eigenschaften bieten als alternative Scoring-Methoden bei Aufgaben wie dem Impliziten Assoziationstest.

Mediane Reaktionszeiten: Während Mittel traditionell für Reaktionszeitdaten verwendet werden, bieten Mediane eine robustere Alternative, die weniger von extrem langsamen Reaktionen betroffen ist. Die Forscher sollten sich jedoch bewusst sein, dass die Autoren in allen anderen Fällen eine Vielzahl von Techniken verwendeten, um die Wirkung von Ausreißern zu reduzieren - mediane Aggregation, Abschneiden von Daten über einen kritischen Wert oder eine bestimmte Anzahl von Standardabweichungen vom Mittelwert hinaus, und die Wahl zwischen diesen Methoden kann Schlussfolgerungen beeinflussen.

Rank-Based Transformations: Die Umwandlung von Rohwerten in Ränge eliminiert die metrischen Eigenschaften von Daten, bietet jedoch vollständige Immunität gegen Ausreißereinflüsse. Nichtparametrische Tests auf Rängen können wertvoll sein, wenn Ausreißer vorherrschen und ihre Gültigkeit unsicher ist.

Best Practices und Empfehlungen für Outlier Management

Vorregistrierung und A Priori Planung

Eine der effektivsten Möglichkeiten, ein angemessenes Ausreißermanagement zu gewährleisten, besteht darin, vor Beginn der Datenerhebung klare Pläne zu erstellen.Die Vorregistrierung von Strategien zur Erkennung und Behandlung von Ausreißern verringert das Risiko von Post-hoc-Entscheidungen, die durch ihre Auswirkungen auf die Ergebnisse beeinflusst werden könnten.

Ratcliff wies darauf hin, dass Forscher vor der Durchführung des Experiments entscheiden sollten, wie sie RTs verarbeiten werden, aber es ist zweifelhaft, dass diese Empfehlung immer befolgt wird. Diese Beobachtung zeigt eine anhaltende Kluft zwischen methodischen Idealen und der tatsächlichen Forschungspraxis. Vorregistrierungsplattformen erleichtern es den Forschern nun, ihre beabsichtigten analytischen Ansätze zu dokumentieren, einschließlich spezifischer Kriterien für die Identifizierung und Behandlung von Ausreißern.

Bei der Entwicklung vorregistrierter Pläne sollten die Forscher Folgendes angeben: die Methoden, die zur Ermittlung von Ausreißern verwendet werden (einschließlich spezifischer statistischer Kriterien oder Schwellenwerte), die Bedingungen, unter denen Ausreißer ausgeschlossen werden, im Vergleich zu beibehaltenen, ob alternative analytische Ansätze zur Bewertung der Robustheit verwendet werden und wie Entscheidungen im Zusammenhang mit Ausreißern in Publikationen gemeldet werden.

Transparenz in der Berichterstattung

Unabhängig davon, welche Ausreißermanagementstrategien eingesetzt werden, ist eine transparente Berichterstattung unerlässlich, damit die Leser die Angemessenheit von Entscheidungen und die Robustheit von Schlussfolgerungen bewerten können.

Bei der Berichterstattung über Forschungsergebnisse sollten die Forscher: die verwendete Ausreißererkennungsmethode eindeutig beschreiben, die Anzahl der erkannten und behandelten Ausreißer angeben, die verwendete Handhabungsstrategie beschreiben, die es den Lesern ermöglicht, zu beurteilen, ob das Ausreißermanagement angemessen war, und die Replikationsbemühungen erleichtert.

Umfassende Berichterstattung sollte folgendes umfassen: deskriptive Statistiken vor und nach der Behandlung mit Ausreißern, die spezifischen Kriterien zur Identifizierung von Ausreißern, die Anzahl und den Prozentsatz der betroffenen Beobachtungen, die Gründe für die gewählten Behandlungsstrategien und die Ergebnisse von Sensitivitätsanalysen, die Ergebnisse mit unterschiedlichen Behandlungsansätzen vergleichen.

Viele Zeitschriften verlangen oder ermutigen Autoren, Daten und Analyseskripte öffentlich zugänglich zu machen, was die Transparenz erleichtert, indem andere Forscher Entscheidungen im Zusammenhang mit Ausreißern direkt untersuchen können.

Multiverse Analyseansätze

Eine neue Best Practice beinhaltet die Durchführung von Multiversumanalysen, die systematisch untersuchen, wie sich die Schlussfolgerungen über verschiedene vernünftige analytische Entscheidungen hinweg unterscheiden, einschließlich Ausreißer-Handling-Strategien.

Unsere Literaturrecherche ergab 108 einzigartige Vorverarbeitungspipelines unter 163 untersuchten Studien. Mit empirischen Datensätzen fanden wir heraus, dass Gültigkeit und Zuverlässigkeit durch die Beibehaltung von Fehlerversuchen negativ beeinflusst wurden, indem Fehler-RTs durch die mittlere RT plus eine Strafe ersetzt wurden und Ausreißer beibehalten wurden. Diese Erkenntnis veranschaulicht sowohl die Vielfalt der von Forschern verwendeten Ansätze als auch die Bedeutung der empirischen Bewertung ihrer Folgen.

Multiverse Analyse umfasst: Identifizierung aller vernünftigen analytischen Entscheidungen, einschließlich Ausreißer-Erkennungsmethoden und Behandlungsstrategien; Umsetzung jeder Kombination dieser Entscheidungen; Untersuchung, wie die Ergebnisse in diesem "Multiversum" von Analysen variieren; und Berichterstattung über die Bandbreite der Ergebnisse und die spezifischen Entscheidungen, die die Schlussfolgerungen am meisten beeinflussen. Dieser Ansatz bietet ein vollständigeres Bild der Robustheit der Ergebnisse als traditionelle Einzelanalyse-Berichterstattung.

Kontextspezifische Überlegungen

Optimale Strategien für Ausreißermanagement hängen oft von der spezifischen Art der psychologischen Forschung ab, die durchgeführt wird.

Reaktionszeitstudien: Kognitive psychologische Forschung mit Reaktionszeiten stellt besondere Herausforderungen dar, da RT-Verteilungen typischerweise positiv mit langen rechten Schwänzen verzerrt sind. Ratcliff (1993) analysierte mehrere gängige Methoden und stellte fest, dass ihre Fähigkeit, den Einfluss von Ausreißern zu isolieren, von einer Reihe von Faktoren abhängt, wie der genauen Form der RT-Verteilung und der Prävalenz von Ausreißern, und daher zwischen den Studien variieren kann.

Umfrage- und Fragebogendaten: Selbstberichte können Ausreißer aufgrund von Missverständnissen von Elementen, unvorsichtigem Reagieren oder echten extremen Einstellungen oder Erfahrungen erzeugen. Die Interpretation und Behandlung von Ausreißern erfordert in diesem Zusammenhang eine sorgfältige Prüfung, ob extreme Antworten gültige individuelle Unterschiede oder Datenqualitätsprobleme darstellen.

Langzeitvariante Parametermodelle (TVP) bieten eine einfache, aber effektive Lösung für die Modellierung von Nichtstationarität, indem sie relevante Modellparameter im Laufe der Zeit ändern. In der Längsschnittforschung können Ausreißer kritische Übergänge oder Änderungspunkte darstellen und nicht nur Anomalien, was spezielle Detektionsmethoden erfordert, die die zeitliche Dynamik berücksichtigen.

Neuroimaging und Physiologische Daten: Diese Datentypen beinhalten oft hochdimensionale Messungen mit komplexen Rauschstrukturen.

Vermeidung von häufigen Fallstricken

Mehrere häufige Fehler im Ausreißermanagement können die Gültigkeit der Forschung beeinträchtigen.

Die Fülle von Ansätzen zur Behandlung von Ausreißern legt nahe, dass Forscher versucht sein könnten, verschiedene Wege der Vorverarbeitung von RT-Daten zu erkunden und nur die Methode zu melden, die zu statistisch signifikanten Ergebnissen führt, die ihre Hypothesen stützen. In der Tat berichtete eine Umfrage unter akademischen Psychologen (John et al., 2012), dass fast die Hälfte von ihnen zugeben, an der selektiven Berichterstattung von Daten beteiligt gewesen zu sein, wie das Auslassen von Datenpunkten, nachdem sie ihre Auswirkungen auf die Analyse gesehen haben. Diese Praxis stellt eine ernsthafte Bedrohung für die Forschungsintegrität dar und kann durch Vorregistrierung und transparente Berichterstattung gemindert werden.

Iterative Löschung: Die wiederholte Anwendung von Ausreißererkennungsverfahren nach jeder Löschung kann zu übermäßiger Datenentfernung und verzerrten Verteilungen führen. Wenn iterative Verfahren erforderlich sind, sollten Forscher Methoden verwenden, die speziell für diesen Zweck entwickelt wurden, wie z. B. sequentielle Ausreißertests mit geeigneten Korrekturen für Mehrfachtests.

Multivariate Ausreißer ignorieren: Die Konzentration ausschließlich auf univariate Ausreißer während die Vernachlässigung multivariater Ausreißer wichtige Datenqualitätsprobleme übersehen können. Punkte, die auf einzelnen Variablen normal erscheinen, können in Kombination sehr ungewöhnlich sein, insbesondere in Regressions- oder multivariaten Kontexten.

Übermäßige Abhängigkeit von automatisierten Verfahren: Während statistische Software die Erkennung von Ausreißern erleichtert, sollten automatisierte Verfahren nicht die durchdachte Betrachtung der Bedeutung und der Auswirkungen von Extremwerten ersetzen. Die Studie zeigt, dass a Forscher sich nicht einig sind, ob es angemessen ist, Datenpunkte aus einer Studie zu löschen; b Forscher berichten von einer stärkeren visuellen Untersuchung von Daten als von numerischen Diagnosetechniken zur Erkennung von Ausreißern, was darauf hindeutet, dass die visuelle Inspektion eine wichtige Ergänzung zu statistischen Methoden bleibt.

Inkonsistente Anwendung: Die Anwendung unterschiedlicher Ausreißerkriterien auf verschiedene Variablen oder Bedingungen innerhalb derselben Studie ohne klare Begründung kann zu Verzerrungen führen.

Erweiterte Themen in der Outlier Detection

Machine Learning Ansätze

Die jüngsten Fortschritte im Bereich des maschinellen Lernens und der künstlichen Intelligenz haben neue Möglichkeiten für die Erkennung von Ausreißern in der psychologischen Forschung eröffnet, mit denen komplexe Muster anormaler Daten identifiziert werden können, die sich herkömmlichen statistischen Ansätzen entziehen könnten.

Isolation Forests: Dieser Algorithmus isoliert Ausreißer, indem er zufällig Merkmale auswählt und Werte aufteilt, mit der Logik, dass Ausreißer leichter zu isolieren sind als normale Punkte. Er funktioniert gut mit hochdimensionalen Daten und erfordert keine Annahmen über die Datenverteilung.

Lokaler Ausreißerfaktor (LOF): LOF identifiziert Ausreißer basierend auf der lokalen Dichte von Datenpunkten, was ihn für Datensätze effektiv macht, in denen Ausreißer in Regionen unterschiedlicher Dichte existieren können.

Autoencoder: Diese neuronalen Netzwerkarchitekturen können komprimierte Darstellungen normaler Datenmuster lernen und Ausreißer als Punkte identifizieren, die aus der komprimierten Darstellung nicht genau rekonstruiert werden können.

Ein-Klasse-SVM: Unterstützen Vektormaschinen, die für die Erkennung von Ausreißern angepasst sind, lernen eine Grenze um normale Datenpunkte herum, wobei Punkte außerhalb dieser Grenze als Ausreißer klassifiziert werden.

Ausreißer in spezifischen psychologischen Paradigmen

Verschiedene experimentelle Paradigmen in der Psychologie stellen einzigartige Ausreißerherausforderungen dar, die die Entwicklung spezialisierter Ansätze veranlasst haben.

Implizite Maßnahmen: Aufgaben wie der Implizite Assoziationstest oder Anflugvermeidungsaufgaben beinhalten Reaktionszeitunterschiede, die besonders empfindlich auf Ausreißer reagieren können. Forscher haben spezifische Scoring-Algorithmen (wie den D-Score) entwickelt, die ausreißerresistente Merkmale enthalten, während die Empfindlichkeit gegenüber individuellen Unterschieden erhalten bleibt.

Eye-Tracking-Daten: Eye-Tracking erzeugt riesige Datenmengen mit verschiedenen potenziellen Ausreißern, einschließlich Blinks, Trackverlusten und Kalibrierungsfehlern. Spezielle Vorverarbeitungspipelines wurden entwickelt, um diese datenspezifischen Herausforderungen zu bewältigen und gleichzeitig eine sinnvolle Varianz in Blickmustern zu erhalten.

Erfahrungs-Sampling und Ökologische Momentarische Bewertung: Diese Methoden sammeln wiederholte Messungen in naturalistischen Umgebungen, in denen Ausreißer echte situative Variationen anstelle von Fehlern darstellen können.

Ausreißer in der Meta-Analyse

Metaanalysen aggregieren Ergebnisse in mehreren Studien und Ausreißerstudien können die Gesamtschlussfolgerungen erheblich beeinflussen.

Ausreißerstudien können sich aus methodischen Unterschieden, Publikationsverzerrungen oder einer echten Heterogenität der Effekte in allen Kontexten ergeben. Metaanalytiker müssen die Ziele der Vollständigkeit (einschließlich aller relevanten Studien) mit der Notwendigkeit, genaue Schätzungen der Effektgröße zu liefern, in Einklang bringen. Sensitivitätsanalysen, die den Einfluss potenzieller Ausreißerstudien untersuchen, sind Standardpraxis, ebenso wie Moderatoranalysen, die erklären könnten, warum bestimmte Studien zu unterschiedlichen Ergebnissen führen.

Einflussdiagnostiken, die für Metaanalysen spezifisch sind, wie Cooks Abstand für Metaanalysen und einmalige Analysen, helfen bei der Identifizierung von Studien, die sich überproportional auf die Gesamtschlussfolgerungen auswirken.

Die Zukunft der Ausreißererkennung in der psychologischen Forschung

Aufkommende Technologien und Methoden

Die Landschaft der Entdeckung von Ausreißern entwickelt sich mit technologischen Fortschritten und methodischen Innovationen weiter, und mehrere aufkommende Trends werden wahrscheinlich die zukünftige Praxis in der psychologischen Forschung prägen.

Real-Time Outlier Detection: Da die psychologische Forschung zunehmend Online-Datenerfassung und digitale Phänotypisierung umfasst, können Echtzeit-Ausreißererkennungssysteme potenzielle Datenqualitätsprobleme während der Datenerfassung und nicht nach der Tatsache kennzeichnen.

Adaptive Algorithmen: Machine Learning Systeme, die sich an die spezifischen Eigenschaften einzelner Datensätze anpassen, können eine genauere und kontextsensitivere Erkennung von Ausreißern bieten als One-size-fits-all-Ansätze.

Integration mit Open Science Practices: Die Betonung der Open Science Bewegung auf Transparenz, Vorregistrierung und Datenaustausch schafft neue Möglichkeiten zur Verbesserung des Ausreißermanagements. Geteilte Datensätze ermöglichen es Forschern, Ausreißererkennungsansätze empirisch zu vergleichen, während die Vorregistrierung die Flexibilität bei der Post-hoc-Entscheidungsfindung reduziert.

Standardisierungsbemühungen

Das Gebiet bewegt sich in Richtung einer stärkeren Standardisierung bei der Erkennung und Berichterstattung von Ausreißern, obwohl noch erhebliche Herausforderungen bestehen. Das Verständnis der verschiedenen Methoden zur Erkennung von Ausreißern, ihrer Unterschiede sowie ihrer Vor- und Nachteile kann den Forschern helfen, zwischen ihnen zu wählen und sie richtig anzuwenden.

Fachverbände und Zeitschriften geben zunehmend spezifische Richtlinien für das Ausreißermanagement in verschiedenen Forschungskontexten. Diese Richtlinien helfen, willkürliche Entscheidungen zu reduzieren und gleichzeitig Flexibilität für kontextspezifische Überlegungen zu ermöglichen. Allerdings bleibt die Erreichung eines Konsenses über bewährte Praktiken angesichts der Vielfalt der psychologischen Forschungsmethoden und der kontextabhängigen Natur eines optimalen Ausreißermanagements eine Herausforderung.

Standardisierte Berichtsvorlagen und Checklisten werden entwickelt, um sicherzustellen, dass Entscheidungen im Zusammenhang mit Ausreißern in allen Studien einheitlich dokumentiert werden. Diese Tools helfen sowohl Autoren als auch Gutachtern, sicherzustellen, dass kritische methodische Details nicht übersehen werden.

Bildungsinitiativen

Die Verbesserung des Ausreißermanagements in der psychologischen Forschung erfordert eine bessere Ausbildung der Forscher in allen Laufbahnstadien. Obwohl Ausreißererkennungsmethoden in der Psychologie als ausreichend betrachtet werden sollten, haben viele Forscher ungeeignete Methoden ohne theoretische Grundlage angewandt.

Graduiertenprogramme beinhalten zunehmend umfassende Schulungen in der Datenvorverarbeitung, einschließlich der Erkennung und Verwaltung von Ausreißern. Online-Ressourcen, Tutorials und Workshops bieten zugängliche Lernmöglichkeiten für Forscher, die ihre methodischen Fähigkeiten verbessern möchten. Die Entwicklung benutzerfreundlicher Software-Tools mit eingebauter Anleitung hilft Forschern, geeignete Methoden anzuwenden, auch wenn ihnen umfangreiche statistische Kenntnisse fehlen.

Praktischer Durchführungsleitfaden

Schritt-für-Schritt-Workflow für Outlier Management

Die Umsetzung eines effektiven Ausreißermanagements erfordert einen systematischen Ansatz, der die statistische Strenge mit praktischen Überlegungen in Einklang bringt.

Schritt 1: Planung der Vordatensammlung

  • Definieren Sie klare Ein- und Ausschlusskriterien für die Teilnehmer
  • Festlegung von Datenqualitätsprüfungen und Validierungsverfahren
  • Geben Sie Ausreißererkennungsmethoden an, die für Ihren Datentyp geeignet sind
  • Kriterien für die Behandlung von Ausreißern (Ausschluss, Transformation oder robuste Methoden) bestimmen
  • Dokumentieren Sie diese Entscheidungen in einem Vorregistrierungs- oder Forschungsprotokoll

Schritt 2: Erstdaten-Screening

  • Überprüfen Sie auf Dateneingabefehler und unmögliche Werte
  • Stellen Sie sicher, dass alle Werte in plausible Bereiche fallen
  • Untersuchen Sie fehlende Datenmuster, die auf Datenqualitätsprobleme hinweisen könnten
  • Überprüfung der Teilnehmer-Compliance und der Aufmerksamkeitskontrolle

Schritt 3: Sichtprüfung

  • Erstellen von Histogrammen und Dichtediagrammen für alle kontinuierlichen Variablen
  • Generieren Sie Box-Plots, um potenzielle univariate Ausreißer zu identifizieren
  • Erstellen Sie Streuplots für wichtige Variablenbeziehungen
  • Untersuchen Sie Q-Q-Plots, um Verteilungsannahmen zu bewerten

Schritt 4: Statistische Detektion

  • Anwenden geeigneter univariater Ausreißernachweismethoden (Z-Scores, IQR, MAD)
  • Durchführung einer multivariaten Ausreißererkennung (Mahalanobis-Distanz, Cook-Distanz)
  • Dokumentieren Sie die Anzahl und den Prozentsatz der markierten Beobachtungen
  • Identifizieren Sie Muster bei Ausreißerereignissen (z. B. spezifische Bedingungen oder Teilnehmer)

Schritt 5: Untersuchung und Entscheidungsfindung

  • Untersuchen Sie die Quelle jedes Ausreißers, wenn möglich
  • Bestimmen Sie, ob Ausreißer Fehler oder legitime Extremwerte darstellen
  • Anwendung vordefinierter Entscheidungsregeln für die Ausreißerbehandlung
  • Berücksichtigen Sie die theoretischen und praktischen Implikationen der verschiedenen Behandlungsoptionen

Schritt 6: Implementierung und Sensitivitätsanalyse

  • Umsetzung einer gewählten Ausreißerbehandlungsstrategie
  • Primäranalysen mit behandelten Daten durchführen
  • Durchführung von Sensitivitätsanalysen mit alternativen Behandlungsansätzen
  • Vergleichen Sie die Ergebnisse mit verschiedenen analytischen Entscheidungen

Schritt 7: Transparente Berichterstattung

  • Methoden zum Nachweis von Ausreißern melden und Kriterien
  • Beschreiben Sie die Anzahl und Art der identifizierten Ausreißer
  • Erklären Sie Behandlungsentscheidungen und ihre Gründe
  • Aktuelle Ergebnisse von Sensitivitätsanalysen
  • Machen Sie Daten und Analyseskripte verfügbar, wenn möglich

Software-Tools und Ressourcen

Zahlreiche Software-Tools erleichtern die Erkennung und das Management von Ausreißern in der psychologischen Forschung. Das Verständnis der Fähigkeiten und Grenzen dieser Tools hilft Forschern, geeignete Optionen für ihre Bedürfnisse auszuwählen.

R Packages: Die R Statistical Environment bietet umfangreiche Pakete für die Ausreißererkennung. Das 'Outliers' Package bietet grundlegende univariate Methoden, während 'mvoutlier' multivariate Detektion verarbeitet. Die in diesem Artikel vorgestellten Methoden können mit R (R Core Team, 2021), einer kostenlosen statistischen Software, durchgeführt werden. Das 'Performance' Paket aus dem easystats Ökosystem bietet eine umfassende Ausreißerdiagnose mit benutzerfreundlichen Ausgabe- und Visualisierungsoptionen.

Python Libraries: Python-Benutzer können über Bibliotheken wie scikit-learn (das Isolationswälder und Einklassen-SVM umfasst), PyOD (eine umfassende Outlier-Detection-Bibliothek) und scipy.stats (für grundlegende statistische Methoden) auf die Erkennung von Ausreißern zugreifen.

SPSS und SAS: Kommerzielle statistische Pakete beinhalten eingebaute Ausreißererkennungsfunktionen, obwohl sie möglicherweise weniger flexibel sind als Open-Source-Alternativen. SPSS bietet Ausreißeridentifikation durch seine Explore-Prozedur und Regressionsdiagnostik, während SAS PROC UNIVARIATE und PROC REG für die Ausreißererkennung bereitstellt.

Specialized Tools: Domain-spezifische Software beinhaltet oft Ausreißererkennung, die auf bestimmte Datentypen zugeschnitten ist. Zum Beispiel umfasst Eye-Tracking-Analysesoftware spezielle Algorithmen zum Erkennen von Spurverlusten und Kalibrierungsfehlern, während Neuroimaging-Pakete Methoden zum Identifizieren von Artefakt-kontaminierten Daten enthalten.

Reproduzierbare Workflows erstellen

Reproduzierbarkeit ist für die glaubwürdige Psychologie von entscheidender Bedeutung, und Ausreißermanagement ist eine entscheidende Komponente reproduzierbarer Arbeitsabläufe.

Literate Programmieransätze wie R Markdown oder Jupyter Notebooks ermöglichen es Forschern, Code, Output und narrative Erklärungen in einem einzigen Dokument zu integrieren, was es einfach macht, die Gründe für Ausreißererkennungsmethoden zu dokumentieren, die Ergebnisse verschiedener Ansätze zu zeigen und endgültige Entscheidungen zu erklären.

Versionskontrollsysteme wie Git ermöglichen die Nachverfolgung von Änderungen an Analyseskripten im Laufe der Zeit und bieten eine vollständige Aufzeichnung der analytischen Entscheidungen, einschließlich Änderungen an den Handhabungsverfahren für Ausreißer. Diese Transparenz unterstützt sowohl die Reproduzierbarkeit als auch die Rechenschaftspflicht in der Forschung.

Case Studies und angewandte Beispiele

Beispiel 1: Reaktionszeitstudie

Betrachten wir eine kognitive Psychologie-Studie, die die Wirkung der emotionalen Valenz auf die Reaktionszeiten bei einer lexikalischen Entscheidungsaufgabe untersucht. Erste Daten-Screenings zeigen, dass mehrere Teilnehmer mit extrem langen Reaktionszeiten (>3000ms) bei einigen Studien, während der Großteil der Antworten zwischen 400 und 800ms liegt.

Die Forscher untersuchen zunächst, ob diese langsamen Reaktionen mit bestimmten Teilnehmern oder Bedingungen verbunden sind. Visuelle Inspektion zeigt, dass die meisten Teilnehmer gelegentlich sehr langsame Reaktionen haben, was auf Aufmerksamkeitslücken hindeutet, anstatt systematische Unterschiede. Die Forscher entscheiden sich für eine Kombination von Ansätzen: Entfernen von Versuchen schneller als 200ms (wahrscheinlich vorausschauende Reaktionen) und langsamer als 3000ms (wahrscheinliche Aufmerksamkeitslücken), dann Anwendung einer Log-Transformation, um den verbleibenden positiven Schiefer zu reduzieren.

Sensitivitätsanalysen vergleichen die Ergebnisse mit folgenden Methoden: rohe RTs ohne Ausreißerbehandlung, mittlere RTs nach Kondition, getrimmte Mittel (schnellste und langsamste 5% entfernend) und dem gewählten Ansatz. Die Ergebnisse zeigen, dass der Haupteffekt der emotionalen Valenz bei allen Methoden robust ist, obwohl die Effektgrößen leicht variieren. Diese Robustheit stärkt das Vertrauen in die Ergebnisse.

Beispiel 2: Umfrageforschung

Ein Persönlichkeitsforscher gibt 500 Teilnehmern eine neue Gewissenhaftigkeitsskala, wobei die Ausreißeranalyse fünf Teilnehmer mit extrem niedrigen Werten (mehr als 3 SD unter dem Mittelwert) und drei mit extrem hohen Werten (mehr als 3 SD über dem Mittelwert) ergibt.

Die Untersuchung ergab, dass die Teilnehmer mit niedriger Punktzahl auch mehrere Aufmerksamkeitskontrollen nicht bestanden und inkonsistente Reaktionsmuster aufwiesen, was auf ein unvorsichtiges Reagieren hindeutet. Diese Teilnehmer werden aufgrund von vorab festgelegten Datenqualitätskriterien ausgeschlossen. Die Teilnehmer mit hoher Punktzahl zeigten jedoch konsistente Reaktionsmuster und bestanden alle Aufmerksamkeitskontrollen, was darauf hindeutet, dass sie wirklich hoch gewissenhafte Personen darstellen.

Der Forscher führt Analysen sowohl mit als auch ohne die Teilnehmer mit der höchsten Punktzahl durch. Die Ergebnisse zeigen, dass die Einbeziehung dieser Teilnehmer die Varianz leicht erhöht, aber die Faktorstruktur oder Korrelationen mit anderen Variablen nicht wesentlich beeinflusst. Der Forscher beschließt, diese Teilnehmer zu behalten, wobei er im Manuskript feststellt, dass sie das obere Extrem der Gewissenhaftigkeitsverteilung darstellen.

Beispiel 3: Längsschnittstudie

Ein Entwicklungspsychologe verfolgt Angstsymptome bei Jugendlichen über 12 monatliche Bewertungen. Mehrere Teilnehmer zeigen plötzliche Spitzen in Angst-Scores zu einzelnen Zeitpunkten, was zu potenziellen Ausreißern in den Längsschnittdaten führt.

Anstatt diese als statistische Ausreißer zu behandeln, die entfernt werden sollen, betrachtet der Forscher sie als potenziell bedeutsame Ereignisse. Die Nachuntersuchung der Teilnehmernotizen zeigt, dass einige Spitzen mit berichteten stressigen Lebensereignissen (Prüfungen, Familienkonflikte) übereinstimmen, was darauf hindeutet, dass sie echte psychologische Reaktionen darstellen und keine Messfehler.

Der Forscher verwendet ein Mixed-Effects-Modell, das sowohl die Variabilität innerhalb als auch zwischen den Personen berücksichtigt, was diese temporären Höhen natürlich berücksichtigt, ohne dass sie entfernt werden müssen. Zusätzliche Analysen untersuchen, ob die Häufigkeit und Größe solcher Spitzen längerfristige Angstbahnen vorhersagen, was als Ausreißer betrachtet werden könnte interessante Phänomene.

Ethische Überlegungen im Outlier Management

Balancieren von Statistischer Strenge und Inklusivität

Wenn Ausreißer echte Extremfälle aus unterrepräsentierten Bevölkerungsgruppen oder marginalisierten Gruppen darstellen, kann ihre Entfernung versehentlich wichtige Perspektiven aus den Forschungsergebnissen ausschließen.

Forscher müssen prüfen, ob ihre Ausreißererkennungsmethoden bestimmte Arten von Teilnehmern systematisch ausschließen könnten, zum Beispiel, wenn Personen mit schwerer Psychopathologie in Studien zu klinischen Interventionen durchweg als Ausreißer erscheinen, könnte ihre Entfernung Schlussfolgerungen in Richtung weniger schwerer Fälle verzerren und die Generalisierbarkeit der Ergebnisse auf diejenigen beschränken, die am meisten von der Behandlung profitieren könnten.

Diese Spannung zwischen statistischer Sauberkeit und inklusiver Repräsentation erfordert eine sorgfältige Betrachtung. Forscher sollten sich fragen, ob Ausreißer Messprobleme oder sinnvolle Diversität darstellen und ob ihre Entfernung den Zielen der wissenschaftlichen Genauigkeit dient oder versehentlich den Umfang des psychologischen Wissens einschränkt.

Verhindern fragwürdiger Forschungspraktiken

Die Flexibilität, die der Erkennung und Behandlung von Ausreißern innewohnt, schafft Möglichkeiten für fragwürdige Forschungspraktiken, ob absichtlich oder unbeabsichtigt.

Um solche Praktiken zu verhindern, sind sowohl die Integrität der einzelnen Forscher als auch systemische Sicherheitsvorkehrungen erforderlich. Die Vorregistrierung von Analyseplänen, einschließlich der Strategien für Ausreißermanagement, verringert die Möglichkeit für Post-hoc-Entscheidungen, die durch ihre Auswirkungen auf die Ergebnisse beeinflusst werden. Die transparente Berichterstattung über alle analytischen Entscheidungen, einschließlich derjenigen, die keine Schlussfolgerungen beeinflusst haben, hilft den Lesern, die Robustheit der Ergebnisse zu bewerten.

Zeitschriftenredakteure und Gutachter spielen eine wichtige Rolle bei der Förderung des ethischen Ausreißermanagements, indem sie detaillierte methodische Berichte verlangen und Entscheidungen in Frage stellen, die willkürlich oder ergebnisabhängig erscheinen. Schulungsprogramme sollten die ethischen Dimensionen der Datenanalyse betonen und den Forschern helfen zu verstehen, dass methodische Entscheidungen über ihre statistischen Implikationen hinaus moralisches Gewicht haben.

Achtung der Teilnehmerdaten

Teilnehmer, die sich freiwillig für psychologische Forschung engagieren, tragen ihre Zeit und persönlichen Informationen in der Erwartung bei, dass ihre Daten verantwortungsvoll verwendet werden.

Forscher sollten das Ausreißermanagement unter Berücksichtigung der Anstrengungen angehen, die die Teilnehmer in die Bereitstellung von Daten investiert haben, was bedeutet, dass sie die Quelle der Ausreißer vor der Löschung sorgfältig untersuchen, gegebenenfalls integrative analytische Ansätze anwenden und transparent darüber sein müssen, wie die Daten der Teilnehmer verwendet oder ausgeschlossen wurden.

Wenn Daten aus Qualitätsgründen ausgeschlossen werden müssen, sollten die Forscher untersuchen, ob systematische Probleme bei den Datenerhebungsverfahren zu dem Problem beigetragen haben.

Fazit: Auf dem Weg zu mehr gültige und zuverlässige psychologische Forschung

Die Auswirkungen der Erkennung von Ausreißern auf die Validität von psychologischen Datensätzen können nicht überbewertet werden. Ausreißer können die Genauigkeit und Zuverlässigkeit von Forschungsergebnissen erheblich beeinflussen. Durch das Verständnis des Konzepts von Ausreißern, ihre Erkennung mit statistischen und visuellen Methoden und ihren Umgang mit geeigneten Strategien können Forscher die Validität ihrer Ergebnisse sicherstellen. Wie diese umfassende Untersuchung gezeigt hat, stellen Ausreißer weit mehr als statistische Belästigungen dar - sie sind kritische Entscheidungspunkte, die Forschungsergebnisse und ihre Auswirkungen auf psychologische Theorie und Praxis grundlegend beeinflussen können.

Ein effektives Ausreißermanagement erfordert einen vielschichtigen Ansatz, der statistische Expertise, Domänenwissen, ethische Überlegungen und transparente Berichterstattung integriert. Keine einzige Methode funktioniert optimal in allen Kontexten; stattdessen müssen Forscher nachdenklich Ansätze auswählen und anwenden, die ihren spezifischen Daten, Forschungsfragen und theoretischen Rahmenbedingungen entsprechen. Der Schlüssel liegt darin, von willkürlichen, post-hoc-Entscheidungen zu prinzipiellen, vorgeplanten Strategien überzugehen, die statistische Strenge und inhaltliche Bedeutung ausgleichen.

Der Bereich der Psychologie macht wichtige Fortschritte in Richtung eines besseren Ausreißermanagements durch eine stärkere Betonung der Vorregistrierung, transparenter Berichterstattung und Open-Science-Praktiken. Diese Entwicklungen, kombiniert mit fortschrittlichen statistischen Methoden und Rechenwerkzeugen, bieten Forschern beispiellose Ressourcen für den angemessenen Umgang mit Ausreißern. Werkzeuge und Methoden sind jedoch nur so gut wie das Urteil, das ihre Anwendung leitet.

Die psychologische Forschungsgemeinschaft muss auch in Zukunft Best Practices für die Erkennung und das Management von Ausreißern entwickeln und verfeinern, einschließlich der Erstellung disziplinspezifischer Leitlinien, die die einzigartigen Merkmale verschiedener Forschungsparadigmen berücksichtigen, die Schulung im Datenqualitätsmanagement verbessern und eine Forschungskultur fördern, die methodische Strenge und Transparenz über bequeme Ergebnisse stellt.

Letztendlich ist das Ziel des Ausreißermanagements nicht, alle extremen Werte zu eliminieren oder völlig normale Verteilungen zu erreichen, sondern vielmehr sicherzustellen, dass die Forschungsergebnisse die untersuchten psychologischen Phänomene genau widerspiegeln. Durch die angemessene Skepsis, sorgfältige Untersuchung und transparente Berichterstattung können Forscher die Gültigkeit und Glaubwürdigkeit der psychologischen Wissenschaft stärken und zu einer robusteren und verlässlicheren Wissensbasis beitragen, die sowohl dem Bereich als auch der Gesellschaft dient.

Da sich die psychologische Forschung mit neuen Technologien, Methoden und Anwendungen weiterentwickelt, bleiben die grundlegenden Prinzipien des sorgfältigen Ausreißermanagements konstant: Ihre Daten verstehen, geeignete Methoden anwenden, mehrere Perspektiven berücksichtigen und Ihre Entscheidungen transparent kommunizieren. Diese Prinzipien bilden, konsequent angewendet, die Grundlage für psychologische Forschung, die sowohl wissenschaftlich streng als auch praktisch sinnvoll ist.

Zusätzliche Ressourcen und weitere Lektüre

Forschern, die ihr Verständnis der Erkennung und des Managements von Ausreißern in der psychologischen Forschung vertiefen möchten, stehen zahlreiche Ressourcen zur Verfügung. Die Richtlinien der American Psychological Association zu statistischen Methoden bieten maßgebliche Empfehlungen für Datenanalysepraktiken. Die Leitlinien der Association for Psychological Science zu Transparenz und Offenheitsförderung bieten Rahmenbedingungen für eine transparente Berichterstattung über analytische Entscheidungen.

Online-Plattformen wie das Open Science Framework bieten Werkzeuge für die Vorregistrierung und den Datenaustausch, die ein strenges Ausreißermanagement unterstützen. Statistische Softwaredokumentation, einschließlich umfassender Tutorials für R-Pakete und Python-Bibliotheken, bietet praktische Anleitungen für die Implementierung verschiedener Erkennungsmethoden. Akademische Zeitschriften veröffentlichen zunehmend methodische Arbeiten, die Ausreißererkennungsansätze untersuchen und empirische Beweise für bewährte Praktiken liefern.

Berufliche Entwicklungsmöglichkeiten, einschließlich Workshops auf Konferenzen und Online-Kursen zu fortgeschrittenen statistischen Methoden, helfen Forschern, Fähigkeiten im Datenqualitätsmanagement aufzubauen. Die Einbeziehung dieser breiteren methodischen Literatur und Gemeinschaft hilft einzelnen Forschern, mit sich entwickelnden Best Practices auf dem Laufenden zu bleiben und zu den laufenden Bemühungen beizutragen, die Qualität und Glaubwürdigkeit der psychologischen Forschung zu verbessern.

Durch Investitionen in das Verständnis und die angemessene Verwaltung von Ausreißern können psychologische Forscher die Validität ihrer Datensätze verbessern, die Zuverlässigkeit ihrer Schlussfolgerungen stärken und zu einer robusteren und vertrauenswürdigeren wissenschaftlichen Literatur beitragen, die sowohl das theoretische Verständnis als auch die praktische Anwendung der psychologischen Wissenschaft vorantreibt.