Methodenartefakte
Werden theoretisch nicht erwartete Kontra-Faktoren als Methodeneffekte interpretiert, so wird i. d. R. auf die folgenden, durch Kontra-Items bedingten Effekte verwiesen: a) Negationen und andere sprachliche Formulierungsvarianten beeinträchtigten die Verständlichkeit und Interpretierbarkeit von Itemaussagen und b) habituelle Antworttendenzen würden durch Pro- und Kontra-Items unterschiedlich aktiviert. Den üblichen Erklärungen zufolge schwächen solche Effekte die Korrelationen zwischen Pro- und Kontra-Items ab und erhöhen eventuell zusätzlich jene innerhalb der Gruppe der Kontra- oder Pro-Items. In Dimensionsanalysen würden deshalb statt eines bipolaren, bzw. nach Rekodierung der Kontra-Items, statt eines unipolaren Merkmalfaktors, zwei unipolare Merkmalsfaktoren identifiziert.
zu a) Die Verwendung einfacher oder doppelter Verneinungen erschwert das Verständnis von Items und kann dadurch ihre konsistente, d.h. valide Beantwortung beeinträchtigen, insbesondere, wenn Items mit bipolaren Antwortskalen kombiniert werden (zsf. Schimmack et al., 2002). Solche, ausschließlich auf formalen Itemmerkmalen beruhenden Effekte, können einen Kontra-Faktor aber nur dann erklären, wenn die Mehrzahl der Kontra-Items syntaktisch Pro-Items negiert. Dies ist jedoch selten der Fall. Nach einer anderen Erklärung könnten Befragte Probleme haben, die Wechsel der Aussagerichtung wahrzunehmen. Sie würden danach nicht bemerken, dass einige Items eine den anderen Items entgegengesetzte Bedeutung haben und sie deshalb ebenfalls bejahen statt sie zu verneinen. Simulationsstudien von Schmitt und Stults (1985) zufolge kann ein zweiter Kontra-Faktor bereits dann auftreten, wenn nur 10% der Befragten bei polaren bzw. negierten Zustandsbeschreibungen wie happy sad bzw. happy not happy dieselbe Antwortkategorie wählen. Die Autoren weisen jedoch selbst daraufhin, dass mit dieser Simulation nur der Effekt eines hypothetischen Antwortverhaltens belegt wird. Die Prävalenz solcher Antwortmuster in realen Befragungen ist leicht durch Auszählen von Befragten zu ermitteln, die überzufällig häufig Pro- und Kontra-Items gleichermaßen bejahen oder verneinen. Es fehlen jedoch empirische Belege, dass ein solches Antwortverhalten in Befragungen kognitiv und psychisch wenig beeinträchtigter Personen so häufig ist, wie es nach Schmitt und Stults (1985) für die Generierung eines Kontra-Faktors erforderlich wäre. Mindestens ebenso plausibel, aber ebenfalls nicht empirisch belegt, ist die entgegengesetzte Überlegung: Balancierte Instrumente wirken stereotypem Antworten entgegen, da sie erhöhte Aufmerksamkeit erfordern bzw. auslösen (Weems et al., 2003). Item- und Personen- bzw. Verhaltensmerkmale wie "high content overlap, similar phrasings, differential susceptibility to demand charasteristics, and carelessness or difficulty reading reverse-worded items", die z.B. Brown (2003, S. 1413) zusammenfassend unter Verweis auf andere Studien als Gründe für Methodeneffekte interpretiert, sind theoretisch unplausibel: Entgegengesetzt formulierte Aussagen unterscheiden sich häufig semantisch-lexikalisch. Naheliegend ist deshalb, dass die Beantwortung von Kontra-Items dadurch spezifisch mit geprägt ist, dass sie zusätzlich weitere Facetten des Zielmerkmals ansprechen oder andere Personenmerkmale.
Zu b) Rorer unterschied bereits 1965 zwischen Antwortstilen und Antwort"sets". Antwortstile werden weitgehend automatisch und inhaltsunabhängig aktiviert, während Antwort"sets" inhaltsabhängig und absichtlich verzerrend eingesetzt werden. Zur ersten Kategorie gehören Bejahungs-Tendenzen, die bereits als Varianzquelle für die Beantwortung der ausschließlich positiv formulierten Items der Berkeley Gruppe angenommen wurden. Tendenzen zur Verneinung und zur Wahl mittlerer Antwortkategorien fallen ebenfalls in diese Kategorie. Als inhaltsabhängigen Antwort"set" definiert Rorer eine Tendenz zu sozial erwünschtem Antworten. Beide Formen von Antworttendenzen entsprechen nach Rorer und anderen Autoren (zsf. Schimmack et al., 2002) situationsübergreifenden, stabilen Persönlichkeitsmerkmalen. Danach kann ein Kontra-Faktor aber nicht als Methodeneffekt bzw. -artefakt "abgetan" werden, selbst wenn er primär inhaltsunabhängige Antwortstil- statt Konstruktvarianz aufklärt. Auch solche Einflüsse auf das Antwortverhalten müssen vielmehr als systematisch durch andere, inhaltlich relevante, wenn auch unerwünschte Personenmerkmale verursacht akzeptiert werden. Deren potenzielle Auswirkungen würden also nicht nur die Reliabilität, sondern vor allem die Validität der Beantwortung von Items beeinträchtigen. Die zentrale Frage bei der Beurteilung von Kontra-Faktoren kann also nicht darauf beschränkt werden "Wie zuverlässig messen Kontra-Items ein Zielmerkmal?". Sie muss vielmehr lauten: "Was erfassen diese Items: eine Konstruktdimension, zwei Facetten dieses Konstrukts oder eine Konstruktdimension und zusätzliche, von dieser unabhängig wirksame Personenmerkmale?
Auch wenn entgegengesetzte Aussagen oder andere Itemmerkmale Antworttendenzen differentiell auslösen und so Antwortprozess zusätzlich zum Zielmerkmal beeinflussen, ist zu klären: Welche Items sind davon wie betroffen? Fast ausnahmslos wird nur die Beantwortung der Kontra-Items als methodisch beeinflusst diskutiert. Für Pro-Items wird i.d.R. vorausgesetzt, dass sie nicht kontaminierte Konstruktindikatoren sind. Alle inhaltsunabhängig auftretenden und asymmetrisch wirkenden Antwortstile können aber nicht nur die Beantwortung von Kontra- sondern auch die von Pro-Items beeinflussen. In welchem Ausmaß dies geschieht, wird davon abhängen, ob positive oder negative Itemaussagen zu bejahen sind, ob der durch zu bejahende Items referenzierte Konstruktpol in der Zielpopulation extremer ausgeprägt ist als der durch zu verneinende Items operationalisierte, und ob unterschiedlich gepolte Items unterschiedlich extrem formuliert sind. Noch problematischer ist die Beurteilung von Einflüssen sozial erwünschten Antwortens: Dieses variiert inhaltsabhängig. Eine Selbstetikettierung als "sich selbst achtend" ist sozial erwünschter als eine als "sich selbst verachtend". Im ersten Fall stimmen semantisch positiv und in Schlüsselrichtung des Konstrukts formulierte Aussagen überein. Dann ist aber zu erwarten, dass sich sozial erwünschtes Antworten und eine Bejahungstendenz eher auf die Beantwortung von Pro- als von Kontra-Items auswirken. Das Umgekehrte ist für Instrumente wahrscheinlich, in denen Pro-Items negative Aussagen machen, wie im Fall der Selbstwert-Skala von Rosenberg (Alles in allem neige ich dazu, mich für einen Versager zu halten) und des PSWQ (Über irgend etwas mache ich mir immer Sorgen). Dennoch wird z.B. häufig ein SES Kontra- und nicht ein SES Pro-Faktor als durch Antworttendenzen verursacht interpretiert (zsf. Tomás & Oliver, 1999). Für den PSWQ ist dagegen zu erwarten, dass sozial erwünschtes Antworten die Bejahung von Pro-Items reduzieren und die von Kontra-Items erhöhen würde.