Die 100 Worte Textanalyse zur Messung impliziter Motive – eine Validierungsstudie

Der wissenschaftliche Durchbruch in der Erfassung von impliziten Motiven – Unsere 100 Worte Textanalyse

Im Recruiting wird aktuell viel über den sinnvollen Einsatz von KI diskutiert. So hat der deutsche Ethikrat HR seine zehn Leitlinien zum Umgang mit KI Systemen im Recruiting veröffentlicht, die einen transparenten und geprüften Einsatz von KI Systemen befürworten. Wir von 100 Worte geben uns nicht mit dem Ungefähren zufrieden, sondern weisen nach, was unsere Analyse kann. Nach unserer erfolgreichen Erstvalidierung mit einem Datensatz des renommierten Motivforschers Prof. Dr. Schultheiss sind wir ein zweites Mal angetreten, die Validität unserer Motivkategorien zu testen. Mit unserem Partner-Unternehmen A 47 Consulting, das von Dr. Stefan Dörr geleitet wird, erzielen wir heute Ergebnisse, die die vorherige Validierung sogar noch übertrifft.

Zunächst aber: Warum ist es überhaupt wichtig, eine Validierung durchzuführen? Die Validität ist neben den beiden anderen Merkmalen Objektivität und Reliabilität ein zentrales Gütekriterium und sagt aus, ob ein Test wirklich das misst, was er vorgibt, zu messen. Mit anderen Worten: Messen unsere Motivkategorien Macht, Leistung und Beziehung wirklich Motive und wie gut sind sie darin? Zwar gibt es schon Verfahren, die Motive in Texten messen (z. B. TAT Thematischer Apperzeptionstest), doch braucht die Auswertung dieser Tests viel Zeit, weil sich Experten den Text durchlesen und dann manuell bewerten müssen.

Dies ist nach ökonomischen Gesichtspunkten nicht praktikabel. Eine automatische Auswertung spart viel Zeit und Geld, außerdem macht den Test für einen breiteren Kreis anwendbar. Damit eine automatische Lösung zulässig ist, muss sie sich aber auf den oben genannten Gütekriterien beweisen. Im ersten Nachweis (2018) konnten wir mit unserer Software bereits beeindruckende Ergebnisse erzielen. Doch, wie im Sprichwort „Doppelt hält besser“ schon zum Ausdruck kommt, wollten wir den Beweis ein zweites Mal erbringen und die neuen technologischen Durchbrüche, die in unseren Kern eingeflossen sind, validieren.

Dazu waren aber Daten des bisherigen Standard-Tests nötig, um uns damit vergleichen zu können. Solche Daten in guter Qualität und ausreichender Menge zu finden, ist sehr schwer. Durch unsere vorherige Studie kamen wir mit Dr. Stefan Dörr in Kontakt, einem der Motiv-Experten in Deutschland. Während seiner langjährigen Arbeit konnte er über 1000 Motivgeschichten sammeln. Das Besondere daran: Seine Stichprobe besteht, anders als häufig üblich, nicht aus Studierenden, sondern aus Führungskräften unterschiedlicher Branchen. Freundlicherweise wurden uns diese Daten von Herrn Dr. Dörr zur Verfügung gestellt.

Wir analysierten die Texte der Standard-Tests und verglichen die Ergebnisse unserer Software damit. Als Ende erhielten wir eine Korrelation, die generell als Maß für den Zusammenhang zwischen zwei Merkmalen gilt. Eine hohe Korrelation zeigt an, dass unser Tool ähnlich misst, wie der Standard-Test. Unsere Software erreichte Werte zwischen r = .47 bis r =. 67, was in der Psychologie als starker Effekt angesehen wird. Zum Vergleich, der Zusammenhang zwischen verschiedenen Versionen des Standard-Tests liegt ebenfalls zwischen r = .45 und r = .72 (Winter, 1991).

In unserer Untersuchung wurde folglich gezeigt, dass die Software von 100 Worte Motive in gleicher Qualität erfassen kann, wie bisherige Standard-Tests mit „menschlicher“ Kodierung. Dadurch wird es erstmals möglich, Motive automatisiert valide und skalierbar zu erfassen.

Gerade im Hinblick auf Recruiting ist die Erfassung von Motiven wichtig. Motive sind das psychologische Merkmal, das noch vor der Intelligenz, beruflichen Erfolg erklärt (Elder, 1974). Durch die minuziöse Beschreibung unseres Vorgehens, der verwendeten Methoden und der Ergebnisse, erfüllen wir die Forderung nach Transparenz und Nachvollziehbarkeit, die an gute Forschung gestellt wird. Hiermit berücksichtigen wir übrigens auch die Empfehlungen des KI-Ethikrates.

Hier geht es zum vollständigen Paper:

Link: Die 100 Worte Textanalyse zur Messung impliziter Motive – eine Validierungsstudie

Hier können Sie sich über unsere Produkte informieren
Rebranding Logo ProduktbereicheFÜR RECRUITING
TALENT
INTELLIGENCE
Rebranding Logo ProduktbereicheFÜR KUNDENSERVICE
CUSTOMER
INTELLIGENCE
Rebranding Logo ProduktbereicheFÜR MARKETING
BRAND
INTELLIGENCE
INTERESSE AN DER
PSYCHOLOGICAL AI?

Verwandte Beiträge

Email