یکپارچگی و روایی داده‌های جمع‌آوری‌شده

برای این پژوهش یک سرور اختصاصی راه‌اندازی شده که تمام تعاملات — از لحظه‌ی باز شدن لینک پرسشنامه تا هر پاسخ ثبت‌شده، هر تغییر، و لحظه‌ی ارسال نهایی — در پایگاه‌داده‌ی آن ذخیره می‌شود. این یعنی هیچ داده‌ای به‌صورت پراکنده یا در فایل‌های محلی جمع نشده؛ همه‌چیز از یک منبع واحد و قابل‌بازبینی قابل استخراج است.

در میان گویه‌های اصلی، دو گویه‌ی کنترلی جاسازی شده که متن آن‌ها صریحاً از پاسخ‌دهنده می‌خواهد گزینه‌ی مشخصی را انتخاب کند (مثلاً «برای بررسی دقت پاسخ‌دهی، گزینه‌ی کاملاً موافقم را انتخاب کنید»). پاسخ درست به این دو گویه به‌معنای آن است که پاسخ‌دهنده واقعاً متن گویه‌ها را خوانده، نه این‌که بدون توجه گزینه‌ها را کلیک کرده باشد.

سامانه زمان ورود و خروج پاسخ‌دهنده به هر یک از ۷ سازه‌ی پرسشنامه را جداگانه ثبت می‌کند، نه فقط زمان کل. این داده امکان می‌دهد سرعت پاسخ‌دهی به هر بخش، مستقل از بقیه، ارزیابی و پاسخ‌های غیرعادی سریع (نشانه‌ی رد شدن بدون خواندن) شناسایی شود.

ترتیب نمایش سازه‌ها برای هر پاسخ‌دهنده به‌صورت تصادفی تعیین می‌شود (فقط سازه‌ی «مسئله ناترازی برق» همیشه اول نمایش داده می‌شود، چون مسئله‌ی محوری پژوهش است). این تصادفی‌سازی بر پایه‌ی شناسه‌ی همان پاسخ‌دهنده «قفل» می‌شود — یعنی اگر کسی روزها بعد به پرسشنامه‌ی نیمه‌کاره‌اش برگردد، همان ترتیب قبلی را می‌بیند. هدف، خنثی‌کردن اثر ترتیب/خستگی است: اگر ترتیب سازه‌ها برای همه ثابت بود، سازه‌های پایانی همیشه در معرض ریسک بیشترِ خستگی پاسخ‌دهنده قرار می‌گرفتند و نتیجه را مغرضانه می‌کردند.

اگر پاسخ‌دهنده‌ای صفحه را ببندد یا خیلی ساده از آن خارج شود، بدون آنکه دکمه‌ی ارسال را زده باشد، پاسخ‌هایش تا همان لحظه به‌صورت «پیش‌نویس» ذخیره می‌مانند. با لینک اختصاصی‌اش می‌تواند هر زمان — حتی روزها بعد — برگردد و از همان‌جا که رها کرده بود ادامه دهد.

اگر پاسخ‌دهنده هرگز برنگردد و پرسشنامه را نهایی نکند، آن پیش‌نویس تا ابد در همان وضعیت «ارسال‌نشده» باقی می‌ماند. در استخراج داده برای تحلیل، فقط رکوردهایی با وضعیت «ارسال‌شده» خوانده می‌شوند — پیش‌نویس‌های ناتمام، حتی اگر بخشی از گویه‌ها را هم پر کرده باشند، اصلاً وارد فایل داده نمی‌شوند و در هیچ گزارشی شمرده نشده‌اند.

پاسخ‌دهنده در هر لحظه از پرسشنامه می‌تواند با دکمه‌ی «نمی‌خواهم ادامه دهم؛ همین‌جا ثبت نهایی شود» پاسخ‌های تا آن لحظه را به‌صورت نهایی ارسال کند — بدون نیاز به تکمیل کل پرسشنامه. این حالت با «رهاکردن بی‌سروصدای صفحه» فرق اساسی دارد: این یک تصمیم آگاهانه و ثبت‌شده است، و دقیقاً به همین دلیل چنین پاسخ‌هایی (برخلاف پیش‌نویس‌های رهاشده) در داده حضور دارند — هرچند در پاکسازی نهایی، اگر درصد تکمیل‌شان از آستانه‌های تعیین‌شده کمتر باشد، ممکن است از نمونه‌ی سالم کنار گذاشته شوند.

هر پاسخ‌دهنده باید هر دو گویه‌ی کنترلی را درست پاسخ داده باشد، دست‌کم ۸۰٪ گویه‌ها را تکمیل کرده باشد (یا در صورت تکمیل ناقص اما بالای کف ۶۰٪، کیفیت پاسخ‌دهی‌اش از سایر جهات کامل تأیید شود)، واریانس پاسخ‌هایش طبیعی باشد (نه یکنواخت)، الگوی پاسخ‌دهی «نردبانی»/مکانیکی نداشته باشد، و سرعت پاسخ‌دهی‌اش از آستانه‌ی نسبی (۷۰٪ میانه‌ی زمان کل نمونه) پایین‌تر نباشد. جزئیات کامل و اسکریپت قابل‌اجرای این پاکسازی در «راهنمای ساده فرضیه‌ها» و ضمیمه‌ی روش‌شناسی رساله مستند شده است.