Stellungnahme zu Veröffentlichungen über das Neue Begutachtungsassessment (NBA)

Stellungnahme zu Veröffentlichungen über das
                     Neue Begutachtungsassessment (NBA)
                    Institut für Pflegewissenschaft an der Universität Bielefeld
                   Medizinischer Dienst der Krankenversicherung Westfalen‐Lippe
                             Bielefeld und Münster, 16. November 2012

Seit Anfang des Jahres 2011 werden Hinweise auf vermeintliche Schwachstellen des „Neuen
Begutachtungsassessments“ (NBA) in die Öffentlichkeit getragen. Sie stammen aus den Arbeiten von
Prof. Dr. Albert Brühl, Inhaber des Lehrstuhls für „Statistik und standardisierte Verfahren der Pflege‐
forschung“ an der Philosophisch‐Theologischen Hochschule Vallendar (PTHV), und einigen seiner
Studierenden. Hierzu wurden wir als die Personen bzw. Institutionen, die das Neue Begutachtungsas‐
sessment entwickelt und mehrfach getestet haben, um eine Stellungnahme gebeten.

Gegenstand der Arbeiten aus Vallendar ist nicht das NBA bzw. das NBA‐Original
Der erste und wichtigste Punkt besteht darin, dass sich die Arbeiten aus Vallendar nicht auf das NBA
(bzw. die Module 1 und 2 des NBA) beziehen, sondern auf eine von Studierenden der Hochschule
Vallendar veränderte Version des Instruments. Die Studierenden haben eine vom Original erheblich
abweichende Definition der NBA‐Kriterien vorgenommen. Die Einzelheiten der Umdefinition sind in
einem „Handbuch“ dargelegt, das die Studierenden selbst erstellt und später zur Schulung von Mit‐
arbeitern ambulanter Pflegedienste eingesetzt haben (abgedruckt in Bensch 2011, S. 297ff). Diese
Mitarbeiter haben dann häuslich versorgte Pflegebedürftige eingeschätzt, später wurden die Erhe‐
bungen auf Heimbewohner ausgedehnt.
Dabei wurden sowohl Inhalte als auch das methodische Vorgehen bei der Einschätzung verändert. So
wurde beispielsweise die Beurteilung bestimmter kognitiver Fähigkeiten von der Reaktionszeit der
Pflegebedürftigen bei der Beantwortung von Fragen abhängig gemacht (Bensch 2011, S. 305). Dies
steht im Widerspruch zum NBA, das explizit nicht als psychometrisches Testverfahren angelegt ist.
Das NBA kann daher nicht, wie in den Arbeiten aus Vallendar, mit Testverfahren wie den Instrumen‐
ten der PISA‐Studie verglichen werden (Brühl 2012, S. 16).
Die Beurteilung eines Instruments durch die Testung einer modifizierten Version mit veränderten
Definitionen verbietet sich. Dass in den Arbeiten aus Vallendar dennoch mit Datenmaterial, das auf
dem Einsatz eines veränderten NBA beruht, Thesen über vermeintliche Schwachstellen des NBA be‐
gründet werden, ist aus wissenschaftlicher Sicht unhaltbar.
Vor diesem Hintergrund erübrigt sich streng genommen jede weitere Diskussion über diese Thesen.

Datenmaterial und Stichproben
Das von den Studierenden erarbeitete „Handbuch“ wurde bei der Schulung von Pflegenden in der
ambulanten Versorgung verwendet, um sie zur Nutzung des NBA zu befähigen. Wir kennen Schilde‐
rungen über den Verlauf dieser Schulungen, die zeigen, dass die teilnehmenden Pflegenden ebenfalls
zahlreiche Irrtümer über das NBA entwickelten1. Dementsprechend sind die erhobenen Daten feh‐

1
 Es gab erhebliche Verständnisschwierigkeiten hinsichtlich wesentlicher Grundannahmen und ‐anliegen des
NBA auf Seiten der Pflegekräfte. Ein Teil davon wurde dokumentiert in Bensch 2011, S. 323ff.

lerhaft. Das ist in den Arbeiten der beteiligten Studierenden gut dokumentiert. Es gab u. a. in sich
widersprüchliche Ergebnisse: Personen beispielsweise, die sich weder mitteilen noch verbale Bot‐
schaften verstehen können, wurden als fähig beurteilt, an einem Gespräch teilzunehmen2. Außerdem
gab es unter den erhebenden Pflegekräften offenbar eine Tendenz, immer die gleichen Bewertungen
bei unterschiedlichen Fähigkeiten vorzunehmen, auch wenn sie mit einem erheblich abweichenden
Schwierigkeitsgrad verknüpft sind (siehe z.B. Franken 2010, S. 150). Diese Tendenz ist zumeist Aus‐
druck von Zeitmangel oder fehlender Bereitschaft (oder Fähigkeit) zu differenzierter Einschätzung;
der Anwender kreuzt dann einfach durch und wählt immer oder fast immer dieselbe Kategorie (z.B.
immer die Beurteilung „Fähigkeit ist in geringem Maße vorhanden“).
Zum Teil erklärt sich diese Tendenz aber auch aus der Stichprobenkonstellation: Wenn eine Stichpro‐
be gewählt wird, in der überwiegend Personen ohne Mobilitätsbeeinträchtigungen vertreten sind, so
fällt das Einschätzungsergebnis zur Mobilität zwangsläufig sehr homogen aus. Diese Homogenität ist
dann Eigenschaft der Stichprobe, nicht des Instruments. In den Arbeiten der Studierenden klingt dies
an, löste aber nicht die nötige selbstkritische Reflexion aus3. Vielmehr wird die Homogenität der Da‐
ten als Beleg für die These verwendet, das NBA habe ein unzureichendes Differenzierungsvermögen.

Interpretation der Bewertungssystematik
Bei den Studien wurde nicht nur ein vom Original abweichendes Manual verwendet, sondern auch
eine veraltete Bewertungssystematik. Die aufgrund von Erprobungserfahrungen angepassten Bewer‐
tungsregeln wurden falsch interpretiert bzw. missverstanden4.

Fehleinschätzungen
Diese und andere Fehler führten zu gravierenden Irrtümern. So wird die These vertreten, dass die
NBA‐Bewertungssystematik zu „einer systematischen Unterbewertung kognitiver Beeinträchtigungen
führt“ (Franken 2010, S. 13). Das Gegenteil ist der Fall, was zu der oben erwähnten Anpassung der
Bewertungssystematik veranlasst hat. Neue Ungerechtigkeiten in der Pflegeversicherung wären die
Folge, wenn Fehleinschätzungen dieser Art in praktische Schritte umgesetzt würden. Inzwischen hat

2
  „Unter den (…) Datensätzen zeigen sich jedoch (…) unvereinbare Muster. Der völlige Verlust, sich mitteilen
und bzw. oder andere zu verstehen, führt so nicht zu einem Verlust der Fähigkeit, an einem Gespräch teilzu‐
nehmen; Einschränkungen in den Fähigkeiten, sich mitzuteilen und andere zu verstehen, beeinträchtigen im
Vergleich nur zu einem geringeren Ausmaß die Teilnahme an einem Gespräch, während umgekehrt die Fähig‐
keit, an Gesprächen teilzunehmen, eingeschränkt bis hin zu völlig verloren sein kann, ohne daß die Fähigkeiten,
sich mitzuteilen oder andere zu verstehen, beeinträchtigt sind“ (Franken 2010, S. 147). Weitere Fehler bei den
Erhebungen sind in der Dissertation von S. Bensch dokumentiert, aber inhaltlich nicht interpretiert bzw. aus‐
gewertet worden (Bensch 2011, S. 331ff).
3
 „Dieses Antwortverhalten könnte möglicherweise auf einen sog. selection bias zurückzuführen sein, d.h. aus‐
wahlabhängig sein“ (Schröder 2010, S. 83). Dies wurde am Lehrstuhl Brühl bislang jedoch nicht geklärt.
4
 Unter Bezugnahme auf den Umsetzungsbericht des BMG‐Beirat wird behauptet: „Die Kategorie ‚überwiegend
selbständig‘, die mit dem numerischen Wert ‚1‘ verbunden ist, soll nicht in die Bewertung einfließen. In der
Konsequenz bedeutet dies, dass ein Pflegebedürftiger, für den der Gutachter in allen fünf Items des Moduls
‚Mobilität‘ (…) ‚überwiegend selbständig‘ attestiert, zwar fünf Punkte in diesem Modul erzielt, aber aufgrund
der fehlenden Wertung dieser Kategorie ‚1‘ bei der Transformation der Itemwerte in den Modulwert leer aus‐
geht und mit null Modulpunkten als ‚selbständig‘ eingeschätzt wird“ (Brühl 2012, S. 63f – Hervorhebungen von
uns). Dies ist sachlich falsch. Die Bewertung „überwiegend selbständig“ fließt in jedem einzelnen NBA‐Modul in
die Bewertung ein. Im geschilderten fiktiven Beispiel wäre der Score ‚5‘ und damit die Modulbewertung „er‐
hebliche Beeinträchtigung der Selbständigkeit bei der Mobilität“ das Ergebnis.
                                                      2

sich das aktuelle NBA‐Modul 2 in einigen tausend Fällen bewährt, und es wurde nachgewiesen, dass
die Erfassung kognitiver Beeinträchtigungen zu den besonderen Stärken des NBA gehört.

Gesamtbeurteilung des NBA?
Es ist wichtig zu verstehen, dass das NBA dazu dient, Leistungsansprüche zu klären5. Die fünf neuen
Stufen der Pflegebedürftigkeit, die das Instrument vorsieht, sollen in Abhängigkeit vom Grad der
Beeinträchtigung Zugang zu Leistungen der Pflegeversicherung erschließen. Deshalb lässt sich das
NBA schon aus systematischen Gründen nicht beurteilen, wenn man – wie in Vallendar – isoliert nur
zwei von sechs maßgeblichen Bestandteilen des Instruments betrachtet6. Zur Beurteilung des NBA
muss u. a. die Frage berücksichtigt werden, wie die Module gewichtet werden und wie sich die
Wechselwirkung der sechs Module auf die Zuordnung einer Stufe der Pflegebedürftigkeit auswirkt
(vgl. z.B. Windeler et al. 2008). Dies blieb in den Arbeiten aus Vallendar unberücksichtigt bzw. konnte
auch gar nicht berücksichtigt werden, weil die Module 3, 4, 5 und 6 nicht untersucht wurden.

Darstellung der Berichte zum NBA

Mehrere Passagen in den Schriften aus Vallendar geben die Arbeit des BMG‐Beirats und die Projekte,
die im Zuge der NBA‐Entwicklung durchgeführt wurden, nicht korrekt wieder. Ein Beispiel hierfür ist
die Behauptung, dass „die Kriteriumsvalidität des NBA anhand des derzeit gültigen Pflegebedürftig‐
keitsbegriffs“ bzw. der „aktuellen Pflegestufen“ geprüft worden sei (Brühl 2012, S. 65). Diese Be‐
hauptung ist schlicht falsch7.

Meinungsstreit der Methodenschulen um das Skalenniveau
Abschließend sei noch auf die Diskussion um das sog. Skalenniveau der NBA‐Merkmale hingewiesen.
Angesprochen ist damit ein Jahrzehnte alter Meinungsstreit unter Statistikern um die Frage, ob man
ordinale Merkmale wie intervallskalierte Merkmale interpretieren kann, wenn man nach Korrelatio‐
nen fragt oder Summenscores bilden will. Dieser Meinungsstreit ist schon so alt wie die Sozialfor‐
schung selbst. A. Brühl vertritt in diesem Meinungsstreit eine ganz bestimmte Richtung. Daraus resul‐
tieren verschiedene Hinweise auf vermeintliche Schwachstellen des NBA im Zusammenhang mit dem
Thema Skalenniveau. Damit verbunden sind aber auch sachliche Fehler. So wird auf Modelle der

5
 Teilweise wird das NBA als Instrument für eine „gute Pflege“ im Pflegealltag missverstanden: „Ob das NBA ein
valides Abbild einer Theorie über Pflegebedürftigkeit ist, die erklären soll, was man differenzieren muss, um gut
pflegen zu können, ist mit statistischen Methoden prüfbar“ (Brühl 2012, S. 7).
6
   Auch hierzu ein Beispiel: „Die im NBA‐Ansatz enthaltene Hypothese, man müsse verschiedene Subskalen
isoliert für sich summieren und deren Summen dann wiederum gewichtet erneut summieren, muss in der vor‐
liegenden Struktur verworfen werden“ (Brühl 2012, S. 8). Die Summenscores des NBA konnten überhaupt nicht
geprüft werden, weil ja nur zwei der sechs Module eingesetzt wurden.
7
   Die Verfasser berufen sich dabei auf den gemeinsamen Bericht des MDS und der Universität Bremen
(Windeler et al. 2008, Ausführungen auf S. 52). An dieser Stelle wird die Validität des NBA bei der Erfassung
bestimmter Beeinträchtigungen dargestellt, wobei aber nicht die heutigen Pflegestufen als Referenz dienen,
sondern die Kriterien zur Feststellung einer „eingeschränkten Alltagskompetenz“ nach §45a SGB XI sowie der
„Test zur Früherkennung von Demenzen mit Depressionsabgrenzung“ (TFDD). Im Bericht wird ausgeführt, dass
ein Goldstandard zur Ermittlung der „echten“ Pflegebedürftigkeit weder für den derzeitigen noch für den neu‐
en, noch zu konzipierenden Pflegebedürftigkeitsbegriff bzw. für die dazu gehörigen Assessmentverfahren exis‐
tiert. Die vergleichende Bewertung der Ergebnisse des neuen Begutachtungsverfahrens im Verhältnis zu den
aktuellen Begutachtungsergebnissen diente zur Abschätzung individueller, antragstellerbezogener Verschie‐
bungen und möglicher finanzieller Folgen auf die Pflegeversicherung.
                                                       3

probabilistischen Testtheorie zurückgegriffen, deren Annahmen auf Instrumente wie das NBA gar
nicht zutreffen.
Andere Statistiker vertreten andere Meinungen, und fast alle renommierten Einschätzungsinstru‐
mente im Gesundheitswesen arbeiten mit ordinalen Skalen, die metrisch interpretiert werden. Bei‐
spiele sind der Barthel‐Index oder das „Functional Independence Measure“ (FIM). In der medizini‐
schen, der gesundheitswissenschaftlichen und auch der pflegewissenschaftlichen internationalen
Forschung gilt es als zulässig und ist es üblich, bei Instrumententestungen entsprechend vorzugehen.

Fazit
Die Daten, auf die sich die angeführten Arbeiten von Prof. Brühl und seinen Studierenden stützen,
wurden mit einem abgewandelten NBA erhoben. Bei näherer Betrachtung zeigen sich außerdem
gravierende Missverständnisse und Fehler, die das Instrument und die dazugehörigen Berichte be‐
treffen. Für die Beurteilung des NBA sind die Arbeiten aus Vallendar daher irrelevant. Wir hoffen
sehr, dass sich die maßgeblichen Entscheidungsträger von Initiativen dieser Art nicht irritieren lassen
und sich auch weiterhin auf die Lösung der komplizierten Sachfragen konzentrieren, die bei der Ein‐
führung des neuen Pflegebedürftigkeitsbegriffs zu lösen sind.

Verfasser:

NBA‐Entwicklungsteam
Dr. Klaus Wingenfeld
Geschäftsführer des Instituts für Pflegewissenschaft an der Universität Bielefeld
Dr. Barbara Gansweid
Leiterin des Fachreferates Pflege, Medizinischer Dienst der Krankenversicherung Westfalen‐Lippe
Leiterin der Sozialmedizinischen Expertengruppe 2 „Pflege“ der MDK Gemeinschaft
Prof. Dr. Andreas Büscher
Professor für Pflegewissenschaft an der Hochschule Osnabrück und wissenschaftlicher Leiter des
Deutschen Netzwerks für Qualitätsentwicklung in der Pflege

Projektleitungen
Prof. Dr. Doris Schaeffer
Lehrstuhl Versorgungsforschung/Pflegewissenschaft der Universität Bielefeld,
Direktorin des Instituts für Pflegewissenschaft an der Universität Bielefeld
Dr. Ulrich Heine
Geschäftsführer des Medizinischen Dienstes der Krankenversicherung Westfalen‐Lippe

                                                  4

Zitierte Schriften

Bensch, S. (2011): Konstruktvalidität der Module „Mobilität“ und „Kognitive und kommunikative Fä‐
     higkeiten“ des Neuen Begutachtungsassessment zur Feststellung von Pflegebedürftigkeit. Dis‐
     sertation zur Erlangung des Doktorgrades der Pflegewissenschaft an der Pflegewissenschaftli‐
     chen Fakultät der Philosophisch‐Theologischen Hochschule Vallendar

Brühl, A. (Hg.) (2012): Pflegebedürftigkeit messen? Herausforderungen bei der Entwicklung pflegeri‐
       scher Messinstrumente am Beispiel des Neuen Begutachtungsassessments (NBA). Bericht des
       Lehrstuhls für Statistik und standardisierte Verfahren der Pflegeforschung, Juli 2012

Franken, G. (2010): Konstruktvalidität der Subskala „Kognitive und kommunikative Fähigkeiten“ des
      Neuen Begutachtungsassessment zur Feststellung von Pflegebedürftigkeit (NBA). Masterarbeit
      zur Erlangung des akademischen Grades „Master of Science“ im Masterstudiengang Pflegewis‐
      senschaft der Pflegewissenschaftlichen Fakultät an der Philosophisch‐Theologischen Hoch‐
      schule Vallendar

Schröder, M. (2010): Konstruktvalidität der Subskala Mobilität des Neuen Begutachtungsassessment
      für Pflegebedürftigkeit (NBA). Masterarbeit zur Erlangung des akademischen Grades „Master
      of Science“ im Masterstudiengang Pflegewissenschaft der Pflegewissenschaftlichen Fakultät an
      der Philosophisch‐Theologischen Hochschule Vallendar

Windeler, J./Görres, S./Thomas, S./Kimmel, A./Langner, I./Reif, K./Wagner, A. (2008): Abschlussbe‐
     richt der Hauptphase 2 der Maßnahmen zur Schaffung eines neuen Pflegebedürftigkeitsbe‐
     griffs und eines neuen bundesweit einheitlichen und reliablen Begutachtungsinstruments zur
     Feststellung der Pflegebedürftigkeit nach dem SGB XI. Essen: MDS/IPP

                                                5