Платформа Толока как источник респондентов для онлайн-опроса: опыт оценки качества данных
Научная статья
-
Кирилл Андреевич Гаврилов
Национальный исследовательский университет «Высшая школа экономики»; Институт социологии ФНИСЦ РАН, Москва, Россия
gavrilov@socio.msk.ru
ORCID ID https://orcid.org/0000-0002-9666-9897
Elibrary Author_id 213292ResearchID H-6832-2015
Аннотация
В статье представлен опыт использования краудсорсинговой платформы Толока компании «Яндекс» для рекрутирования респондентов онлайн-исследования. Основываясь на методологических работах о похожей зарубежной платформе Amazon Mechanical Turk, выдвигаются гипотезы о качестве данных опроса пользователей Толоки в сравнении с результатами, полученными с применением других типов конформных выборок, – отбором участников онлайн-панели и рекрутированием респондентов через социальные сети. Дополнительно, только на данных Толоки, рассматривается показатель внимательности респондентов. Основной вывод статьи: Толока позволяет быстро и с небольшими затратами рекрутировать респондентов, а результаты сопоставимы по качеству с теми, что получены иными способами. В частности, респонденты из Толоки почти всегда проходят опрос до конца, заполняют анкеты быстрее других типов респондентов, но реже участников онлайн-панели прибегают к «стрейтлайнингу» (т.е. дают однотипные ответы на табличный вопрос), они так же часто дают ответы на открытый вопрос, как и респонденты из соцсетей (но реже, чем члены онлайн-панели), хотя их ответы и короче. Только 36% респондентов прошли проверку на внимательность, эти участники дольше заполняли анкету и реже являлись стрейтлайнерами. Увеличение вознаграждения не повышало долю внимательных респондентов, но уменьшало скорость заполнения анкеты, увеличивало количество ответов на открытый вопрос и снижало долю стрейтлайнеров.Ключевые слова:Толока, краудсорсинг, онлайн-опрос, качество данных, Amazon Mechanical TurkЛитература
Couper M. Web Surveys: A review of issues and approaches // Public Opinion Quarterly. 2000. Vol. 64 (4). P. 464–494.
Отчет рабочей группы AAPOR о неслучайных выборках. Июнь 2013 г. / Американская ассоциация исследователей общественного мнения; пер. с англ. Д. Рогозина, А. Ипатовой. М.: ФОМ, 2016. 170 с. URL: https://fom.ru/uploads/files/FOM_AAPOR_book1.pdf (дата обращения: 01.07.2022).
Мавлетова А. М. Социологические опросы в сети Интернет: возможности построения типологии // Социология: методология, методы, математическое моделирование (Социология: 4М). 2010. № 31. С. 115–134.
Девятко И. Ф. От «виртуальной лаборатории» до «социального телескопа»: метафоры тематических и методологических инноваций в онлайн-исследованиях // Онлайн-исследования в России: тенденции и перспективы / Под ред. А. В. Шашкина, И. Ф. Девятко, С. Г. Давыдова. М.: МИК, 2016. С. 19–33.
Chmielewski M., Kucker S. An MTurk crisis? Shifts in data quality and the impact on study results // Social Psychological and Personality Science. 2020. Vol. 11 (4). P. 464–473. DOI: 10.1177/1948550619875149
Кулиева А. К. Возможность использования Яндекс. Толока для проведения онлайн-экспериментов (на примере решения сенсомоторной задачи) // Ананьевские чтения – 2020. Психология служебной деятельности: достижения и перспективы развития: материалы международной научной конференции, 8–11 декабря 2020 г. СПб.: Скифия-принт, 2020. С. 195–196.
Таран Е. А., Маланина В.А., Касати Ф. Алгоритм использования краудсорсинговых инструментов для сбора и анализа данных научных исследований (на примере подготовки систематизированного обзора литературы) // Экономика и управление инновациями. 2020. № 4 (15). С. 39–46.
Danilova E. Worker’s motivation and planning strategies on crowdsourcing platforms. The case of Yandex Toloka // Digital Transformation and Global Society. DTGS 2021. Communications in Computer and Information Science. 2022. Vol. 1503. DOI: 10.1007/978-3-030-93715-7_38
Chapkovski Ph. Interactive experiments in Toloka // SSRN: [site]. 03.02.2022. 40 р. URL: https://ssrn.com/abstract=3727227 (date of access: 04.07.2022).
Antoun et al. Comparisons of online recruitment strategies for convenience samples: Craigslist, Google AdWords, Facebook, and Amazon Mechanical Turk / C. Antoun, C. Zhang, F. G. Conrad, M. F. Schober // Field Methods. 2016. Vol. 28 (3). P. 231–246. DOI: 10.1177/1525822X15603149
Smith S.M. et al. A multi-group analysis of online survey respondent data quality: Comparing a regular USA consumer panel to MTurk samples / S. M. Smith, C. A. Roster, L. L. Golden, G. S. Albaum // Journal of Business Research. 2016. Vol. 69 (8). P. 3139–3148. DOI: 10.1016/j.jbusres.2015.12.002
Девятко И. Ф. Инструментарий онлайн-исследований: попытка каталогизации // Онлайн исследования в России 3.0 / Под ред. А. В. Шашкина, И. Ф. Девятко, С. Г. Давыдова. М.: Кодекс, 2012. С. 17–30.
Kees J. et al. An analysis of data quality: Professional panels, student subject pools, and Amazon’s Mechanical Turk / J. Kees, C. Berry, S. Burton, K. Sheehan // Journal of Advertising. 2017. Vol. 46. P. 141–155. DOI: 10.1080/00913367.2016.1269304
Ogletree A. M., Katz B. How Do Older Adults Recruited Using MTurk Differ From Those in a National Probability Sample? // International Journal of Aging and Human Development. 2021. Vol. 93 (2). P. 700–721. DOI: 10.1177/0091415020940197
Behrend T. S. et al. The viability of crowdsourcing for survey research / T. S. Behrend, D. J. Sharek, A. W. Meade, E. N. Wiebe // Behavior Research Methods. 2011. Vol. 43. P. 800–813. DOI: 10.3758/s13428-011-0081-0
Paolacci G., Chandler J., Ipeirotis, P. G. Running experiments on Amazon Mechanical Turk // Judgment and Decision Making. 2010. Vol. 5 (5). P. 411–419.
Zhou H., Fishbach A. The pitfall of experimenting on the web: How unattended selective attrition leads to surprising (yet false) research conclusions // Journal of Personality and Social Psychology. 2016. Vol. 111 (4). P. 493–504. DOI: 10.1037/pspa0000056.
Sprouse J. A validation of Amazon Mechanical Turk for the collection of acceptability judgments in linguistic theory // Behavior Research Methods. 2011. Vol. 43 (1). P. 155–67. DOI: 10.3758/s13428-010-0039-7
Fleischer A., Mead A. D., Huang J. Inattentive responding in MTurk and other online samples // Industrial and Organizational Psychology: Perspectives on Science and Practice. 2015. Vol. 8 (2). P. 196–202. DOI: 10.1017/iop.2015.25
Keith M. G., Tay L., Harms P. D. Systems perspective of Amazon Mechanical Turk for organizational research: Review and recommendations // Frontiers in Psychology. 2017. Vol. 8. DOI: 10.3389/fpsyg.2017.01359
Agley J. et al. Quality control questions on Amazon’s Mechanical Turk (MTurk): A randomized trial of impact on the USAUDIT, PHQ-9, and GAD-7 / J. Agley, Y. Xiao, R. Nolan, L. Golzarri-Arroyo // Behavior Research Methods. 2022. Vol. 54 (2). P. 885–897. DOI: 10.3758/s13428-021-01665-8
Cheung J. H. et al. Amazon Mechanical Turk in organizational psychology: An evaluation and practical recommendations / J. H. Cheung, D. K. Burns, R. R. Sinclair, M. Sliter // Journal of Business and Psychology. 2017. Vol. 32. P. 347–361. DOI: 10.1007/s10869-016-9458-5 202
Paolacci G., Chandler J. Inside the Turk: Understanding Mechanical Turk as a participant pool // Current Directions in Psychological Science. 2014. Vol. 23. P. 184–188.
Wessling K. S., Huber J., Netzer O. MTurk Character misrepresentation: Assessment and solutions // Journal of Consumer Research. 2017. Vol. 44 (1). P. 211–230. DOI: 10.1093/jcr/ucx053
Hamby T., Taylor W. Survey satisficing inflates reliability and validity measures: An experimental comparison of college and Amazon Mechanical Turk samples // Educational and Psychological Measurement. 2016. Vol. 76 (6). P. 912–932. DOI: 10.1177/0013164415627349
Lu L. et al. Improving Data Quality Using Amazon Mechanical Turk Through Platform Setup / L. Lu, N. Neale, N. D. Line, M. Bonn // Cornell Hospitality Quarterly. 2022. Vol. 63 (2). P. 231–246. DOI: 10.1177/19389655211025475
Hauser D. J., Schwarz N. Attentive Turkers: MTurk participants perform better on online attention checks than do subject pool participants // Behavior Research Methods. 2016. Vol. 48. P. 400–407. DOI: 10.3758/s13428-015-0578-z
Horton J. J., Rand D. G., Zeckhauser R. J. The online laboratory: conducting experiments in a real labor market // Experimental Economics. 2011. Vol. 14. P. 399–425. DOI: 10.1007/s10683-011-9273-9
Casler K., Bickel L., Hackett E. Separate but equal? A comparison of participants and data gathered via Amazon’s MTurk, social media, and face-to-face behavioral testing // Computers in Human Behavior. 2013. Vol. 29 (6). P. 2156–2160. DOI: 10.1016/j.chb.2013.05.009.
Gandullia L., Lezzi E., Parciasepe P. Replication with MTurk of the experimental design by Gangadharan, Grossman, Jones & Leister (2018): Charitable giving across donor types // Journal of Economic Psychology. 2020. Vol. 78 (C). DOI: 10.1016/j.joep.2020.102268
McCredie M.N., Morey L.C. Who are the Turkers? A characterization of MTurk workers using the Personality Assessment Inventory // Assessment. 2019. Vol. 26 (5). P. 759–766. DOI: 10.1177/1073191118760709
Абрамов Р. Н. Практический опыт рекрутирования целевой выборки с помощью социальных сетей: кейс опроса о ностальгии по советскому // Социология: методология, методы, математическое моделирование (Социология: 4М). 2019. № 48. С. 83–112.
Федоровский А. М. Качество онлайн-опросов. Методы проверок // Мониторинг общественного мнения: экономические и социальные перемены. 2015. № 3. С. 29–36.
Корытникова Н. В. Параметры проверки и контроля качества онлайн- опроса с использованием параданных // Мониторинг общественного мнения: экономические и социальные перемены. 2018. № 3. С. 65–77. DOI: 10.14515/monitoring.2018.3.04
Zhang C., Conrad F. G. Speeding in web surveys: The tendency to answer very fast and its association with straightlining // Survey Research Methods. 2014. Vol. 8 (2). P. 127–135. DOI: 10.18148/srm/2014.v8i2.5453
Kim Y. et al. Straightlining: Overview of Measurement, Comparison of Indicators, and Effects in Mail–Web Mixed-Mode Surveys / Y. Kim, J. Dykema, J. Stevenson [et al.] // Social Science Computer Review. 2019. Vol. 37 (2). P. 214–233. DOI: 10.1177/0894439317752406
Reuning K., Plutzer E. Valid vs. Invalid Straightlining: The Complex Relationship Between Straightlining and Data Quality // Survey Research Methods. 2020. Vol. 14. P. 439–459. DOI: 10.18148/srm/2020.v14i5.7641
de Leeuw E. D. Data Quality in Mail, Telephone, and Face-to-Face Surveys. Amsterdam: TT-Publicaties, 1992. 170 р.
Yan T., Tourangeau R. Fast Times and Easy Questions: The Effects of Age, Experience, and Question Complexity on Web Survey Response Times // Applied Cognitive Psychology. 2008. Vol. 22 (1). P. 51–68. DOI: 10.1002/acp.1331
Galesic M. Dropouts on the web: Effects of interest and burden experienced during an online survey // Journal of Official Statistics. 2006. Vol. 22 (2). P. 313–328.
Galesic M., Bosnjak M. Effects of Questionnaire Length on Participation and Indicators of Response Quality in a Web Survey // Public Opinion Quarterly. 2009. Vol. 73 (2). P. 349–360. DOI: 10.1093/poq/nfp031
Smyth J. D. et al. Open-ended questions in web surveys: Can increasing the size of answer boxes and providing extra verbal instructions improve response quality? / J. D. Smyth, D. A. Dillman, L. M. Christian, M. McBride // Public Opinion Quarterly. 2009. Vol. 73 (2). P. 325–337. DOI: 10.1093/poq/nfp029
Buhrmester M. D., Talaifar S., Gosling S. D. An evaluation of Amazon’s Mechanical Turk, its rapid rise, and its effective use // Perspectives on Psychological Science. 2018. Vol. 13 (2). P. 149–154. DOI: 10.1177/1745691617706516
Peer E., Vosgerau J., Acquisti A. Reputation as a sufficient condition for data quality on Amazon Mechanical Turk // Behavior Research Methods. 2014. Vol. 46. P. 1023–1031. DOI: 10.3758/s13428-013-0434-y
Casey L. S. et al. Intertemporal Differences Among MTurk Workers: Time-Based Sample Variations and Implications for Online Data Collection / L. S. Casey, J. Chandler, A. S. Levine [et al.] // SAGE Open. 2017. Vol. 7 (2). DOI: 10.1177/2158244017712774
СтатьяПоступила: 17.06.2022
Опубликована: 18.12.2022
ВыпускРазделОНЛАЙН-ИССЛЕДОВАНИЯ
