Reliabilität eines Assessments überprüfen

Status
Für weitere Antworten geschlossen.
Z

zirkitan

Mitglied
Basis-Konto
11.09.2013
61440
Liebe Forennutzer,

wie kann ich die Reliabilität (wie genau misst das Assessment, was es vorgibt zu messen) eines Assessments ohne Berechnungen überprüfen?
Wie sehe ich, ob z.B. der MMST (Mini-Mental Status-Test) reliabel ist?
Wenn ich mir z.B. die Testretestreliabilität anschaue: Ich check das einfach nicht. Ich bitte um eure Mithilfe!

Vielen Dank
zirkitan
 
Qualifikation
-
Fachgebiet
-
M

mary_jane

Aktives Mitglied
Basis-Konto
10.02.2008
München
AW: Reliabilität eines Assessments überprüfen

Wenn du den MMST bei den gleichen Personen mehrmals anwendest zu unterschiedlichen Zeitpunkten, sollte bis auf minimale Schwankungen, eigentlich das gleiche herauskommen. Es geht ja darum zu beweisen dass der MMST ein zuverlässiges Instrument ist und den wahren Status ohne Fehler möglichst genau erfassen kann.

Problematisch, wäre aber hier, dass die Testpersonen sich an die Fragen irgendwann anpassen könnten. Das kommt jetzt bestimmt auch darauf von welchem Zeitraum (mehrmals täglich, täglich, wöchentlich) man ausgeht. Oder du denkst an nen Patienten der morgens ganz andere Bedingungen mitbringt wie abends, aufgrund von bestimmten Medis oder was auch immer.
Wenn der selbe IQ-Test bei der gleichen Person mehrmals verwendet (innerhalb kurzer Zeit) zeigt sich ja ein Erinnerungseffekt und der IQ wäre dann höher als bei der ersten Messung. In diesem Fall hätte man dann einen niedrigen Reliabilitäskoeffizienten (dieser müsste dann berechnet werden).

Das muss aber nicht unbedingt heißen, dass das Messinstrument nicht zuverlässig ist, da sich ja die Bedingungen geändert haben. Wenn ich mich morgens auf einer frisch geeichte Waage stellte und abends wieder, werden sich die Messwerte unterscheiden. Das heißt aber eben nicht, dass das Messinstrument nicht genau gemessen hat und das ist das Problem an so einem Retest.
 
Qualifikation
Gesundheits-und Krankenpflegerin/Studentin
Fachgebiet
chirurg. ITS
Z

zirkitan

Mitglied
Basis-Konto
Themenstarter/in
11.09.2013
61440
AW: Reliabilität eines Assessments überprüfen

Check, ich sehe das alles genauso wie du, vielen Dank, dass du das noch mal so übersichtlich zusammengefasst hast!

In deinem letzten Absatz beschreibst du genau, worauf ich hinaus will:
Das muss aber nicht unbedingt heißen, dass das Messinstrument nicht zuverlässig ist, da sich ja die Bedingungen geändert haben. Wenn ich mich morgens auf einer frisch geeichte Waage stellte und abends wieder, werden sich die Messwerte unterscheiden. Das heißt aber eben nicht, dass das Messinstrument nicht genau gemessen hat und das ist das Problem an so einem Retest.
-> Also müssen wir, wenn wir die Reliabilität eines Assessments beurteilen wollen schon mal davon ausgehen, dass sich das (Pflege-)Phänomen nicht verändert hat und die zweimalige Anwendung keinen Einfluss auf die Werte hat - wie du geschrieben hast! Aus dem Grad der Übereinstimmung können wir dann ableitet, wie fehlerbehaftet die Einschätzungen waren.

Aber wenn ich jetzt irgendein Assessment (z.B. MMST) in Bezug auf die Reliabilität bewerten möchte (OHNE die Reliabilität zu BERECHNEN), wie gehe ich da vor? Wie sieht die Bewertung praktisch aus, auf einer ganz einfachen, unkomplizierten Ebene?
Wie müsste ich quasi den Satz vervollständigen: "Der Mini-Mental Status Test (oder auch irgendein anderes Assessent) ist reliabel/nicht reliabel, weil ..."? (gerne unter Einbezug von Testretest- und Interaterreliabilität)
 
Qualifikation
-
Fachgebiet
-
M

mary_jane

Aktives Mitglied
Basis-Konto
10.02.2008
München
AW: Reliabilität eines Assessments überprüfen

Was man auch noch machen kann ist die Interrater Reliabilität bestimmen, wobei manche sagen, dass dieser Test eher was für das Gütekriterium Objektivität ist. Aber ich finde so richtig trennen kann man das eh nicht immer. Objektivität ist ja die Voraussetzung.
Also das heißt der Test wird durchgeführt und es sind noch ein oder mehrere weitere Tester anwesend, welche gleichzeitig und unabhängig voneinander das Instrument anwenden. Am Schluss vergleicht man die Ergebnisse und schaut wie weit man auseinander liegt. Natürlich könnte man auch hier wieder Koeffizienten berechnen ;)

Eine weitere Alternative wäre dann noch die interne Konsistenz. Hier vergleicht man z. B. die geraden Itemnummern mit den ungeraden und schaut sich dann an ob sich hier die Werte in den beiden Hälften stark unterscheiden.

Oder du benutzt ein ähnliches Instrument und schaust inwieweit die sich unterscheiden.

Hier auch mal Quellen: Psychologie - Richard J. Gerrig, Philip George Zimbardo - Google Books

Forschungsmethoden in Psychologie und Sozialwissenschaften - Für Bachelor - Walter Hussy, Margrit Schreier, Gerald Echterhoff - Google Books

Zur letzten Frage gibt es vermutlich je nach verwendeten Test unterschiedliche Antwortmöglichkeiten.
Bsp.:
Der BlaBlü Test ist reliabel, weil er unter den gleichen stabilen Umständen bei der gleichen Testperson zu konsistenten Ergebnissen führt, bei Messungen zum Zeitpunkt A und Zeitpunkt B.
 
Qualifikation
Gesundheits-und Krankenpflegerin/Studentin
Fachgebiet
chirurg. ITS
Z

zirkitan

Mitglied
Basis-Konto
Themenstarter/in
11.09.2013
61440
AW: Reliabilität eines Assessments überprüfen

Sorry, dass ich so komische Fragen stelle :D - Die o.g. Vorgehensweise ist ja relativ leicht zu verstehen: Ein Assessment soll auf Herz und Niere überprüft werden; man arbeitet die Gütekriterien ab und ist irgendwann bei der Reliabiliät angelangt. Da man die Reliabilität selbst nicht bewerten kann, wenn ich das richtig verstanden habe, nimmt man sich die Testretestreliabilität, die Interraterreliabiliät und die interne Konsistenz zur Hilfe. Von jeder berechnet man die Koeffizienten und hat am Schluss Zahlenwerte, die eindeutig sagen: Dieses Instrument ist reliabel, weil der Wert bei +1 liegt (oder so ähnlich). ;)

Für mich stellt sich jetzt die Frage: Was sagt (z.B.) die Testretestreliabilität über die Reliabilität des Assessments aus? Antwort: Das Assessment ist reliabel, wenn ich das Assessment unter den o.g. Bedingungen wiederhole und zu den selben Ergebnissen komme. Aber was führt denn zur Testretestreliabilität? Wie muss mein Assessment aufgebaut sein, damit es testretestreliabel ist?

Ich versuche mal einen Ansatz, damit du weißt, wie ich die Frage meine:
Der Mini-Mental Status-Test (MMST) ist reliabel, weil Test-Retest-Reliabilität gegeben ist. Die Gegebenheit der Test-Retest-Reliabilität -also annähernd dieselben Testergebnisse bei zwei unterschiedlichen Messzeitpunkten - ist durch folgende Faktoren begründet:
  • Übersichtliche Gestaltung des Assessment
  • ansprechendes Layout
  • schöne Bildchen am Rand
  • große Schriftgröße
  • ...

Das sind jetzt natürlich nur ausgedachte Faktoren, weil ich die Faktoren des MMST, durch die die Test-Retest-Reliabilität begründet werden kann nicht weiß. Das ist der Punkt, wo ich nicht weiterkomme: Welche Faktoren des Assessments müssen gegeben sein, damit ich sagen kann: Dieses Assessment ist testretestreliabel - also reliabel?
 
Qualifikation
-
Fachgebiet
-
M

mary_jane

Aktives Mitglied
Basis-Konto
10.02.2008
München
AW: Reliabilität eines Assessments überprüfen

Sorry, ich steh etwas auf der Leitung.
Prinzipiell möchtest du also wissen, wie man alle Gütekriterien korrekt berücksichtigt, wenn man ein Assessmentinstrument entwirft?

Ich mach das jetzt einfach mal aus dem Bauch heraus.
Sagen wir mal, man entwirft ein neues Instrument, welches beispielsweise kognitive Defizite aufzeigen soll wie der MMST.
Damit das Instrument auch was taugt muss ich alle Gütekriterien vorab berücksichtigen und überprüfen, da das Instrument sonst wertlos ist.

Objektivität
Also, das Messinstrument muss natürlich objektiv sein. Objektivität ist gewährleistet, wenn unabhängig vom Untersucher bzw. Anwender die gleichen Ergebnisse auftreten. Daher könnte man die Interrater-Reliabilität auch hier verbuchen.
Die Objektivität kann man erhöhen in dem man Schulungen durchführt und sich an genaue Richtlinien hält, so dass alle Anwender wissen, wie jedes einzelne Item anzuwenden ist und wie man bestimmte Phänomene definiert.
Ich kann mich erinnern, dass es bei der Braden-Skala immer wieder Schwierigkeiten gab aufgrund von Übersetzungsfehlern ins Deutsche und das beim Punkt Ernährung viele Anwender etwas anders verstanden. So etwas gilt es zu vermeiden durch eine Schulung aller Anwender. Jeder sollte nach einer Schulung wissen, welches Phänomen in welcher Punktzahl mündet bzw. wie dieses definiert ist. Nimmt man jetzt den MMST und den Punkt mit dem Abzeichnen der Figur. Hier sollte es keine zwei Meinungen geben ob jetzt ein Punkt gegeben wird oder nicht. Wenn das nicht gewährleistet, kann man die Objektivität vergessen.

Validität

Hier geht es darum ob das Instrument auch das misst, was es messen soll. Wenn ich den Blutdruck messe, kann ich nicht wirklich Rückschlüsse auf den Bewusstseinzustand meines Patienten schließen, blöd gesagt. Daher ist hier wichtig vorab Kriterien und Defintionen aufzustellen, welche für einen bestimmten Zustand stehen. Dazu muss man sich u. a. wissenschaftlicher Erkenntnisse bedienen.
Hunderprozentige Validität ist unerreichbar. Wichtig ist, dass der Test gefährdete Personen auch als gefährdet indentifizieren kann (Sensitivtät). Beim MMST ist meiner Meinung nach die Schwierigkeit, dass überdurchschnittlich intelligente Personen den Test gut bestehen könnten und trotzdem schon kognitiv "abgebaut" haben.

Reliabilität
Hier geht es ja, wie oben erwähnt, um die Zuverlässigkeit des Messinstruments. Objektivität ist eine wichtige Voraussetzung, dass bei wiederholten Messungen unter stabilen Umständen die gleichen Ergebnisse auftreten. Man sollte also die Messbedingungen ganz genau standardisieren um Verzerrungen zu vermeiden. Erhöhen könnte man die Reliabilität, in dem man immer unter gleichen Bedingungen (selbe Tageszeit) den Test durchführt. Mehr Items können einen Test auch reliabler machen.

Jetzt hab ich wieder viel viel geschrieben, bin mir aber leider nicht sicher, ob dass deine Fragen, die ich gar komisch finde, überhaupt ansatzweise beantwortet.

Ach ja, die Angaben sind ohne Gewähr :whistling
 
Qualifikation
Gesundheits-und Krankenpflegerin/Studentin
Fachgebiet
chirurg. ITS
M

mary_jane

Aktives Mitglied
Basis-Konto
10.02.2008
München
AW: Reliabilität eines Assessments überprüfen

Jetzt hab ich wieder viel viel geschrieben, bin mir aber leider nicht sicher, ob dass deine Fragen, die ich gar komisch finde, überhaupt ansatzweise beantwortet.
*gar nicht, soll es natürlich heißen
 
Qualifikation
Gesundheits-und Krankenpflegerin/Studentin
Fachgebiet
chirurg. ITS
Z

zirkitan

Mitglied
Basis-Konto
Themenstarter/in
11.09.2013
61440
AW: Reliabilität eines Assessments überprüfen

Jaaaaa :) mit Hilfe deines letzten Beitrags habe ich mich mal hingesetzt und die Antwort auf die Frage "Sind die Gütekriterien (inkl. der Reliabilität) beim MMST" erfüllt?" versucht ohne Berechnung zu finden:

Objektivität
Der MMST ist aus folgenden Gründen objektiv:

  • Standardisierung der Testsituation durch schriftliche Anweisungen (Durchführungsobjektivität)
  • standardisierte Antwortmöglichkeiten bei Item 1 (Durchführungsobjektivität)
  • In den meisten Fällen (außer bei Item 5) stimmt die Punktevergabe eindeutig mit den Auswertungsanweisungen überein (Auswertungsobjektivität)
  • Den „Punktekategorien“ der Auswertung sind eindeutige „Diagnosen“ zugeteilt (Interpretationsobjektivität)
Der MMST ist aus folgenden Gründen nicht objektiv:

  • Eigene Formulierung der Handlungsanweisung notwendig (Item 2-10)
  • Formulierung der Handlungsanweisung von Item 2 ist nicht eindeutig: Soll der Test zur Merkfähigkeit mit denselben oder mit neuen Wörtern wiederholt werden, wenn der Klient nicht weiter weiß?
  • Warum gibt es drei mögliche Punkte zum Vergeben, während sich zur zwei Möglichkeiten, einen Punkt zu vergeben aus der Handlungsanweisung ergeben? (Item 5)
  • Der Anwender könnte unleserlich schreiben (Item 8)
  • weitere persönliche Merkmale des Anwenders (Attraktivität, Seriosität, Stimmlage, Dialekt, etc.) haben ebenfalls Auswirkungen auf das Testergebnis
Zusammenfassend halte ich fest, dass der MMST schon relativ objektiv ist, es aber noch einige wenige Verbesserungsmöglichkeiten gibt. Z.B. können Item 2 und 5 noch optimiert werden. Außerdem könnte die Anweisung aus Item 8 mit dem Computer schon vor Durchführung des Testes geschrieben sein.

Reliabilität
Der MMST ist aus folgenden Gründen reliabel:

  • die große Objektivität trägt zur Reliabilität des MMST bei
  • die Items messen in den meisten Fällen genau, was sie vorgeben zu messen, z.B. muss man beim Item 3 tatsächlich rechnen (Zahlen logisch verknüpfen) um von 100 in 7er Schritten rückwärts zu zählen oder bei Item 7 einen Befehl ausführen, der aus drei Teilen besteht.
Der MMST ist aus folgenden Gründen nicht reliabel:

  • Um sich zu orientieren braucht man nicht das Datum des Tages zu wissen. Das wissen nicht mal alle Menschen, die nicht dement sind.
  • Item 3 misst nur, wie gut das Kurzzeitgedächtnis ist, welches nur ein Teil der Gedächtnisleistung (Merkfähigkeit) widerspiegelt.
Zusammenfassend halte ich fest, dass der MMST bist auf die genannten Ausnahmen sehr reliabel ist. Zu beachten ist, dass man zwar von stabilen Umständen ausgeht, die Retest-Reliabilität in der Praxis beeinflussbar ist, z.B. durch AZ des Patienten, Merkfähigkeit, …

Validität

  • Die Validität kann nur durch Experten beurteilt werden, die einschätzen können, was durch Mangel der geistigen Leistungsfähigkeit beeinträchtigt werden kann.
  • Wenn man davon ausgeht, dass es sich um ein Assessment handelt, das nicht zur Diagnosefindung gedacht ist, sondern dazu, um mit minimalem Aufwand die geistige Leistungsfähigkeit einzuschätzen, ist der Test valide.
  • Die Interpretation der Auswertung ist allerdings unpassend


Würdest du dem zustimmen? Hast du noch Ergänzungs-/Korrekturvorschläge?

Viele Grüße
zirkitan
 
Qualifikation
-
Fachgebiet
-
M

mary_jane

Aktives Mitglied
Basis-Konto
10.02.2008
München
AW: Reliabilität eines Assessments überprüfen

Hört sich doch super an. Wichtig ist eben, wie du eh schon gut bemerkt, dass der MMST eigentlich "nur" ein Screening-Instrument ist. Die Aussagekraft (v. a. in den Anfangsstadien einer Demenz ist begrenzt), trotzdem kann der Test eine hilfreiche erste Einschätzung unterstützen.
Die Sache mit dem Datum ist sehr richtig. Wenn ich grad Urlaub hab, bin ich da oft sehr desorientiert ;). Ich würde noch die andere Seite erwähnen, dasss der Test keine vorhandenen kognitiven Defizite erkennen könnte. Das ist bei mir mal in nem Vortrag von ner Geriaterin so hängengeblieben. Die hat uns von einem sehr intelligenten Journalisten erzählt, welcher selbst schon erhebliche Defizite bei seiner Schreibkunst bei sich bemerkte, aber den MMST mit links bewältigte. Daher ist eine weitere Diagnostik unbedingt nötig.

Wenn man den Test für das verwendet für was er auch gedacht ist und ihn nicht als Diagnoseinstrument nutzt, erfüllt er alle Gütekriterien mit Einschränkungen (welche du ja schon genannt hast).
 
Qualifikation
Gesundheits-und Krankenpflegerin/Studentin
Fachgebiet
chirurg. ITS
Z

zirkitan

Mitglied
Basis-Konto
Themenstarter/in
11.09.2013
61440
AW: Reliabilität eines Assessments überprüfen

Vielen Dank für deine Antworten! Du hast mir wirklich sehr weitergeholfen!
Noch eine Frage: Woran machst du das fest, dass der Test keine vorhandenen kognitiven Defizite erkennen kann?
 
Qualifikation
-
Fachgebiet
-
Pflegeboard.de

Pflegeboard.de

Administrator
Teammitglied
05.07.2001
www.pflegeboard.de
Dieses Thema hat seit mehr als 365 Tagen keine neue Antwort erhalten und u.U. sind die enthalteten Informationen nicht mehr up-to-date. Der Themenstrang wurde daher automatisch geschlossen. Wenn Du eine ähnliche Frage stellen oder ein ähnliches Thema diskutieren möchtest, empfiehlt es sich daher, hierfür ein neues Thema zu eröffnen.
 
Status
Für weitere Antworten geschlossen.

Verwandte Forenthemen

M
Ich suche Personen welche in diesem Bereich arbeiten, ich würde gern einen Austausch starten. Ich werde ab Oktober neu als QMB/Hygiene...
  • Erstellt von: MagicMandy
2
Antworten
2
Aufrufe
457
Zum neuesten Beitrag
MO Audit GmbH
MO Audit GmbH
F
Hallo zusammen, treten bei Euch auch Probleme mit der Dateneingabe auf? Wir können keine Impfmeldungen für unsere ambulanten...
  • Erstellt von: Flybee
0
Antworten
0
Aufrufe
600
F
Regina Reinauer-Gl
Hallo zusammen, ich suche Kontakt zu Mitarbeitern/Kliniken, welche mit der EDV gestützten Version des BAss arbeiten. Meine Suche danach...
  • Erstellt von: Regina Reinauer-Gl
0
Antworten
0
Aufrufe
345
Zum neuesten Beitrag
Regina Reinauer-Gl
Regina Reinauer-Gl
J
Hallo meine Frage ist, ob hier jemand gibt wer sich im Bereich QM in der Pflege sehr gut auskennt, oder arbeitet als QM...
  • Erstellt von: jopa
2
Antworten
2
Aufrufe
1K
Zum neuesten Beitrag
FranziBueckner
F