Regression mit Bootstrapping (Tutorial)

[@thechenmin]

vielen dank für so ausführlich und umfassende Erklärung.

[@drachenschlachter6946]

Sehr gutes Video wie immer mein lieber!!!!!

[@ssjvegeto4ever]

Großartig, danke! Immer angenehm auf den Punkt gebracht und erklärt. Eine riesen Hilfe!

[@TheSkullCrossbone]

20 min gegooltet, endlich ein verständliches und konkretes Beisiel gefunden. Danke! Ich frage mich lediglich: Es ist ja nicht wirklich intuitiv, dass man aus einer Stichprobe nochmal bspw. Stichproben generiert und damit mehr Informationen erlangt, als man von Anfang eh zur Verfügung hatte. Aber vermutlich wird es schon so sein, sonst hätte das Verfahren ja keinen Bestand.. :)

[@RegorzStatistik]

Das geht mir intuitiv ganz genauso - ich verstehe nicht wirklich, warum das funktionieren soll (bin aber hinreichend durch die Literatur davon überzeugt, dass es funktioniert). Allerdings komme ich ja auch eher von der angewandten Statistik-Seite, die theoretischen Grundlagen überlasse ich dann gerne den Mathematikern. Standardwerk dazu wäre wohl das Buch von Efron, der dort die Grundlagenarbeit geleistet hat.

[@petrabergknecht-wetzel3378]

:-) dankeschön für die gut verständliche umfassende Erklärung!

[@user-rg9sn3qd4u]

Vielen Dank für dieses hilfreiche Beispiel und die Hilfe allgemein !!

[@merysia]

danke!

[@marinawiskowski4815]

danke, das ist eine wirklich hilfreiche Darstellung :-)

[@teamskeet2518]

Super erklärt! Danke :)

[@StefanieDenk]

Sehr hilfreich! Herzlichen Dank!!! :-)

[@elisaschwing626]

Vielen Dank für das hilfreiche Video! :-) Ich habe noch eine Frage zur Interpretation: Wenn bei einer Regression das Beta eines Prädiktors zwar signifikant wird, aber Bootstrapping die Signifikanz nicht bestätigt (95 % KI unterer Wert: 0.000; oberer Wert: -5,029E-5) kann man dann berichten, dass Bootstrapping die Signifikanz nicht bestätigt, da das KI null einschließt und die Hypothese somit ebenfalls nicht bestätigt werden kann?

[@RegorzStatistik]

Wenn die Regressionsvoraussetzungen erfüllt sind, dann sollte der normale Parametertest zu den gleichen Ergebnissen führen wie Bootstrapping (bzw. äquivalent gesagt das Bootstrapping-KI nicht wesentlich vom normalen KI abweichen). Wenn Bootstrapping zu einem anderen Ergebnis führt, dann deutet das tatsächlich auf eine Verletzung der normalen Regressionsvoraussetzungen hin, so dass dann der normale Parametertest unzuverlässig ist und man sich auf das Bootstrap-Ergebnis stützen sollte. Insofern würde ich in dem Fall schreiben, dass Boostrapping das Ergebnis nicht bestätigt hat, da das KI die Null einschloss. Bei den Zahlen in der Klammer ist es natürlich grenzwertig, wenn eine Grenze exakt Null ist - da würde ich vermutlich sogar noch ein oder zwei weitere Nachkommastellen zusätzlich auswerten, um zu sehen, ob es dann beispielsweise -0.0002 oder + 0.0004 ist. Und ich würde auch die Anzahl der Bootstrap-Samples nochmals hochsetzen (z.B. auf 10,000), damit die Ergebnisse nicht zu sehr von Zufälligkeiten beim Bootstrapping abhängen. (Inhaltlich irritiert mich, dass oben der obere Wert negativ ist, der untere aber Null - eigentlich müsste ja die OG größer sein als die UG.).

[@elisaschwing626]

@@RegorzStatistik Vielen Dank, das war sehr hilfreich! Tatsächlich war der untere Wert -0,000144 und der obere -0,000012 - SPSS hat mir bei ersterem zunächst nicht angezeigt, dass der Wert negativ ist. Somit wäre null dann auch im Bootstrapping ausgeschlossen :-)

[@martentimgru3321]

Moin Herr Regorz, Sie sagen, dass Bootstrapping nicht zur Schätzung von Parametern geeignet ist. Dies ist aber eine Möglichkeit, die gängige Programme anbieten (z.B. JASP). Soweit ich das verstehe, könnte man für jede Bootstrap Stichprobe (sei es R quadrat oder ein B Koeffizient) schätzen und dann entweder den Median oder Mittelwert daraus nehmen. In meiner geringen Erfahrung, mit multiplen linearen Regressionen wo alle Voraussetzungen erfüllt waren und auch in welchen, wo diese leicht verletzt waren aber die Stichprobe über 150, unterscheiden sich diese Punktschätzer nur in den Nachkommastellen. Somit meine Frage: was spricht aus Ihrer Sicht gegen diese Methodik? Beste Grüße im Voraus und vielen Dank für diese wirklich klasse Videos

[@RegorzStatistik]

Technisch kann man das, und es wird zum Teil auch ausgegeben. Ich bin nur recht skeptisch, dass das wirklich hilfreich ist (ich komme aber von der Anwenderseite und bin sicherlich nicht der Experte was die theoretische Begründung von Bootstrapping angeht). Mir ging es im Video primär darum, dass man nicht an das Bootstrapping herangehen sollte mit der Erwartung, damit eine "bessere" Parameterschätzung in der Regression zu bekommen. Für die Parameterschätzung traue ich der Schätzung aus der Originalstichprobe eher als der Bootstrapping-Stichprobe, weil ich bei der Bootstrapping-Strichprobe ja noch eine gewisse Zufallsschwankung (durch die ganzen zufälligen Bootstrap-Stichproben) zusätzlich hinein bekomme. Damit macht es für mich wenig Sinn, den Mittelwert der Bootstrappingergebnisse zu nehmen. (Beim Median könnte es etwas anderes sein - der könnte wirklich eine zusätzliche Info bringen, gerade bei schiefen Verteilungen).

[@sarahdahlhues8438]

Hallo, ich habe eine Frage zu dem Thema. Wenn ich das Bootstrapping durchführen möchte bekomme ich folgende Fehlermeldung: “Dieser Befehl versucht, neue Variablen zu speichern, während das Bootstrapping in Kraft ist. Die neuen Variablen gehen verloren. Die Ausführung dieses Befehls wurde unterbrochen.” Wie genau kann ivh das Problem lösen?

[@RegorzStatistik]

Diese Fehlermeldung hatte ich noch nicht. Ich könnte mir vorstellen, dass diese entsteht, wenn man beim Regressionsbefehl mit Bootstrapping gleichzeitig entweder irgendwelche Werte speichern möchte (z.B. Residuen) oder aber Diagramme mit anfordert (welche SPSS-intern auch auf gespeicherten Werten, z.B. Residuen, beruhen) - das ist aber nur eine Vermutung.

[@ninakramer2277]

Hallo! Ich hätte eine Frage zur Interpretation: Bei meinen Daten ergibt sich, dass die Regression knapp nicht signifkant wird ( p = .063), das 95% BCs Bootstrap Konfidenzintervall den Wert 0 jedoch nicht einschließt [-0.42, -0.02]. Ich frage mich, ob ich nun ein signifikantes oder ein nicht signifikantes Ergebnis berichten muss? Verlasse ich mich auch hier auf die Bootstrap Ergebnisse?

[@RegorzStatistik]

Wenn die Anzahl der Bootstrap-Stichproben hinreichend groß ist, sollten die Ergebnisse des Bootstrapping zur gleichen Entscheidung (sign. oder nicht) führen wie des normalen p-Wertes, *wenn* die Normalverteilungsannahme gegeben ist. Wenn hier also Bootstrapping und normaler Test unterschiedliche Ergebnisse bringen, würde ich davon ausgehen, dass vermutlich die Normalverteilung (oder ggf. auch die Homoskedastizität) verletzt sind, und insofern eher dem Bootstrapping trauen.

[@ninakramer2277]

@@RegorzStatistik Super, herzlichen Dank für die schnelle Rückmeldung!

[@cecilevonderwense4523]

Hallo :) Gibt es auch ein Tutorial für Bootstrapping in R Studio? LG

[@RegorzStatistik]

Das wird voraussichtlich Anfang Juni 22 fertig und es wird dann auch hier verlinkt.

[@RegorzStatistik]

Die Umsetzung von Bootstrapping bei der Regression mit *R* finden Sie hier erklärt: kzbin.info/www/bejne/gKa2mo2ihJ2FeNU

[@ricardoge8256]

Sehr hilfreiches Video :). Vielen Dank dafür. Zu den Voraussetzungen einer Lineraren Regression mittels Bootrapping habe ich eine Frage: Bei der Angabe von den Voraussetzungen von stat. Verfahren (z.B. in einer Masterarbeit) müsste dann tatsächlich als Voraussetzung nur eine angemessene Stichprobengröße genannt werden? Die ganzen anderen Voraussetzungen (unabhängige Residuen, Homoskedastizität) müssten dann quasi nicht mehr berichtet werden und der Verweis auf die Robustheit dieses Verfahrens gegenüber den Verletzungen würde ausreichen?

[@RegorzStatistik]

Bootstrapping ist zunächst einmal robust gegenüber Verletzungen der Normalverteilung (soweit die Stichprobe hinreichend groß ist, N >= 50). Gegenüber Verletzungen der Homoskedastizität ist das Verfahren robuster als die gewöhnliche Regression, aber die in SPSS implementierten Bootstrappingverfahren sind m.W. keine vollständige Absicherung gegen Heteroskedastitzität. Und außerdem ist Bootstrapping m.E. robust gegenüber Ausreißern. Die anderen Regressionsvoraussetzungen bei einer multiplen Regression sind jedoch weiterhin relevant, also das geeignete Skalenniveau, die Unkorreliertheit der Residuen (-> i.d.R. über die Art der Stichprobenziehung begründbar), die Linearität des Zusammenhangs (-> Streudiagramme) sowie die Abwesenheit starker Multikollinearität (->VIF).

[@ricardoge8256]

@@RegorzStatistik Vielen lieben Dank für die ausführliche Erklärung sowie überhaupt für den hilfreichen Blog (www.regorz-statistik.de/inhalte/tutorials.html) :). Habe mich jetzt dazu entschieden eine ANCOVA durchzuführen. Von der Logik her müsste das auch passen: Kovariate ist metrisch und es sollte untersucht werden, ob sie über vier Bedingung hinweg einen Einfluss hat.

[@xibitbo9133]

@@RegorzStatistik Was könnte ich denn machen, wenn meine Residuen nicht normalverteilt sind, und keine Homoskedastizität gegeben ist? Ich rechne in R mit lavaan eine Mediation über Pfadmodelle und hatte vorgehabt Bootstrap zu verwenden. Wenn Bootstrap jedoch nicht das Problem der Hetereskedastizität löst, wie könnte ich dann vorgehen?

[@RegorzStatistik]

Im Kontext von lavaan weiß ich da leider keine Alternative. Grundsätzlich könnte man damit argumentieren, dass Bootstrapping zumindest robuster gegenüber Heteroskedastizität ist, wenn auch nicht absolut robust.

[@xibitbo9133]

@@RegorzStatistik Vielen Dank! Dann werde ich so argumentieren. Leider habe ich nämlich auch nichts dazu gefunden.