Datos, pruebas e ideas

Por qué los científicos sociales deberían tomárselos más en serio y aprender de sus errores

Howard Becker, Horacio Pons

• Editorial: Siglo XXI Editores
• Año: 2019
• ISBN:
  9789876298674
• Categoría: Social Sciences
• Categoría: Sociology

En cualquier investigación en ciencias sociales los riesgos acechan: muchas veces, las categorías que se usan para analizar un fenómeno pueden olvidar parte de él, los hechos que contradicen la hipótesis inicial quedan sin registrarse, las encuestas favorecen una respuesta o inhiben otra, los resultados se generalizan a cuestiones que no se estudiaron y quienes recolectan los datos pueden influir con sus sesgos y motivaciones en las respuestas que obtienen. Para Howard Becker –uno de los sociólogos clave en la escena contemporánea–, estos errores no ocurren al azar ni son inesperados. "En realidad –escribe–, la organización de nuestras actividades de investigación los torna hasta cierto punto probables y esperables", naturalizados con la afirmación tranquilizadora de que "todo el mundo lo hace así".En Datos, pruebas e ideas, Becker explora una variedad de distorsiones y errores de investigación, mediante ejemplos de indagaciones ajenas y una extensa experiencia propia de trabajo de campo en distintos ámbitos. A partir de este valioso material postula que, lejos de naturalizarse o tomarse como simples "fallas técnicas", los errores deberían convertirse por derecho propio en objetos de investigación.Con sentido del humor, ánimo de polemizar y tono accesible, Becker –cuyos heterodoxos escritos de metodología son ya un clásico en las ciencias sociales–, invita a sus colegas a salir de la comodidad de las recetas aprendidas y nunca cuestionadas, y a reflexionar sobre los supuestos que los guían para identificar sus problemas de investigación e, incluso, sobre los sesgos que ellos mismos pueden transmitir a sus resultados. En este libro, llamado a ocupar un lugar destacado en las bibliotecas de estudiantes de grado y posgrado, profesores e investigadores, Becker exhorta a "crear datos que sirvan como pruebas fidedignas, capaces de soportar el peso que les atribuimos, las ideas que queremos explorar".

Parte II

¿Quiénes recolectan los datos y cómo lo hacen?

Secuencias, protagonistas y trampas de la recopilación de datos

La realización de investigaciones científicas implica (inevitable y, por lo tanto, invariablemente) la participación de mucha gente y muchos tipos de gente. Como cualquier otra iniciativa humana de magnitud, muchas personas, en este caso no todas científicos formados o calificados, tienen que colaborar de un modo u otro para producir resultados que la comunidad científica pertinente considere aceptables. Dichos resultados requieren y reflejan los esfuerzos combinados de todas y cada una de ellas. Cada acción de cada participante afecta los datos encontrados, convertidos en pruebas de una idea y luego declarados un resultado. Los problemas de la conexión de datos, pruebas e ideas dependen en gran medida de quién recolecte las palabras, los números y los materiales visuales de los que depende el resto de la operación. El tipo de personas que recopilan los datos, sus razones para ser parte de la operación investigativa, su interés en hacer investigación social y lo que esperan sacar de ella afectan los datos recolectados, la manera de analizarlos y el aporte final que, en carácter de pruebas, hacen al desarrollo de algún corpus de conocimiento científico. Y los errores que ocurren como resultado de la inevitable producción colectiva de los datos pueden ser –a decir verdad, deben ser– en sí mismos el objeto de una suerte de estudio sociológico.

Tipos de recolectores de datos

Con el fin de ordenar los tipos de investigación en ciencias sociales, preguntémonos quiénes recolectan los datos originales. ¿Son los investigadores principales, que han tenido la idea de la investigación y, en consecuencia, recibirán las recompensas y críticas resultantes? ¿Son los discípulos de los investigadores principales, que han sido educados y capacitados por estos y, en consecuencia, han aprendido a compartir sus objetivos e ideas acerca de la manera de hacer las cosas y de los criterios de exactitud que es preciso cumplir? ¿Son los recolectores de datos personas contratadas para hacer un trabajo específico y entrenadas en las actividades que este exige, aunque sin que tengan interés personal alguno en los resultados de la investigación? ¿O recopilan materiales utilizados a la larga en una investigación en función de las finalidades bastante diferentes de una organización para la que trabajan, como parte de alguna otra tarea? ¿Los materiales que recolectan proporcionarán con el tiempo una base para emitir un juicio sobre la calidad de su propio trabajo cotidiano y las recompensas que reciben por hacerlo? En cada caso, la situación laboral influye en las motivaciones y concepciones que esos recolectores de datos incorporan a su tarea, y con eso, en su modo de realizarla y, por lo tanto, en la pertinencia como pruebas de los datos recolectados. Por último, a menudo las personas mismas cuya vida social se estudia son quienes recolectan los datos, cuando informan acerca de sus propias actividades, creencias e ideas, mientras otros, eventualmente, recopilan los formularios completados. ¿Cuán interesadas están dichas personas en la exactitud de lo que ponen en esos formularios? ¿Qué interés tienen en el uso final de esos datos?

En un extremo, el investigador en jefe –que ha concebido la idea para la investigación, desarrollado y definido el problema por investigar, planificado la recolección y el análisis de los datos, muy probablemente recaudado el dinero necesario para hacer esa recolección, y que escribirá el informe final– recolecta por sí mismo todos los datos. Si soy esa persona, realizo todas las entrevistas, hago y registro todas las observaciones en el terreno, hago todos los análisis y escribo todos los informes. Ninguna otra persona hace nada de todo esto. (Se produce una ligera variación cuando un equipo de iguales o casi iguales comparte todo el trabajo.)

El antropólogo típico que describí antes, instalado en el terreno y lejos de la universidad, personifica este tipo de recolector de datos. Si soy como ese estereotipo, todo lo que salga de ese trabajo me pertenece, yo lo hice y yo recibo cualquier elogio o censura que la comunidad profesional o lega pertinente le haga. Tengo un interés evidente en garantizar la validez de todas las operaciones –no quiero que dentro de cinco años aparezca alguien y muestre que me equivoqué en todo–, y ese interés propio coincide con el de la gente que interpreta y juzga la exactitud y el valor probatorio de los datos, mis datos, sobre los cuales se apoya el producto final.

Podemos imaginar que los investigadores en jefe, profundamente comprometidos con el éxito del proyecto, quieran hacer todo a la perfección. Pero no podemos darlo por sentado, debido a los casos ocasionales de investigadores principales que, tan ansiosos por que su estudio “salga bien” y pruebe lo que quieren probar, inventan datos que ni ellos ni nadie han recolectado y tratan de hacer pasar la invención como algo real. (Véase el examen de un conocido caso en Faludi, 1991.) No sabemos si los casos de esta índole expuestos hasta el día de hoy representan una cantidad mucho más grande de científicos tramposos nunca atrapados o son los únicos efectivamente producidos. Un lector prudente tratará esta situación como una posibilidad siempre presente. Una posibilidad menos dañina, pero a veces afirmada, surge si hay motivos para pensar que un investigador ha dejado que la ideología o la ilusión contaminen los resultados (cosa que puede ocurrir en cualquier tipo de investigación, aunque de diferentes maneras).

Los investigadores principales suelen reclutar a estudiantes de posgrado como asociados o asistentes de investigación, y podemos imaginar (lo cual no significa aceptar como artículo de fe) que las motivaciones de estos últimos variarán según el tipo de posición que ocupen en el equipo de investigación: los papeles más serios que asuman en él los llevarán a preocuparse más por hacer el trabajo lo mejor posible, para poder compartir las recompensas.

Los científicos sociales utilizan grandes cantidades de datos que las organizaciones que estudian recolectan con finalidades propias; en ciertos aspectos, esa información se superpone con los objetivos de la investigación independiente o puede reelaborarse para ponerla al servicio de esta. El ejemplo más obvio: el US Census, que lleva adelante el programa más grande y cuidadosamente implementado de recolección de datos que yo conozca, hace ese trabajo, en primer lugar porque, de acuerdo con la Constitución de los Estados Unidos, la representación de cada estado en la Cámara de Representantes federal se basa sobre las dimensiones de su población. La recolección de esa información requiere de un personal, cuya tarea consiste en todo momento en ocuparse de completar la operación –de enorme magnitud– de contar la población entera del país. Como de ese modo los resultados en cierta medida cuentan con la garantía de ser de la mejor calidad posible, los informes del US Census interesan a una población que supera con mucho, en cantidad y variedad, a la de los miembros de la Cámara de Representantes o la Corte Suprema. Las organizaciones comerciales valoran el US Census por sus precisos informes que les indican dónde pueden encontrar potenciales clientes de edades, géneros y clases sociales específicas, entre otras cosas. Los gobiernos municipales que planean construir escuelas quieren saber en qué zonas están los niños que asistirán a ellas, y en qué cantidad. Cuando los estados deciden dónde construir nuevas carreteras y sistemas de transporte, los datos de aquel organismo los ayudan a hacer proyecciones sobre los lugares desde y hasta donde viajarán sus usuarios. De este modo, los datos del US Census son, por así decir, de propiedad de todos y cada uno de los miembros de la población de un país, cualquiera de los cuales podría imaginar un proyecto de investigación –algo que quiera saber– que requiera su uso.

Otras organizaciones gubernamentales recolectan tipos más específicos de información destinados a otros usos oficiales, y los datos que producen para su propio consumo a menudo son (o podrían ser) útiles para otros objetivos de investigación ideados por los científicos sociales; en ese caso, los productores tal vez compartan sus recursos de información con personas como nosotros (aunque nada los obligue a hacerlo).

Las organizaciones de salud, y en especial los organismos oficiales como los centros de control y prevención de enfermedades, publican muchos informes que incluyen abundantes datos sobre una diversidad de temas relacionados con la enfermedad y la muerte, pero también sobre tópicos más generales que los sociólogos y otros científicos sociales pueden utilizar para una variedad de hipótesis vinculadas a la estructura familiar, la incidencia de una enfermedad en relación con las condiciones de vida, el consumo de drogas y muchos otros temas que les parezcan interesantes, pero con referencia a los cuales no puedan recolectar la información relevante por carecer del dinero y el personal necesarios. El gobierno, en cambio, sí los tiene, y en ocasiones da a los científicos acceso a los datos para que vuelvan a analizarlos.

De manera similar, las estadísticas recopiladas y publicadas por los organismos gubernamentales sobre las causas de muerte suministran con frecuencia datos para la investigación sociológica. Con su precursor estudio sobre el suicidio, Émile Durkheim (2006 [1897]) mantuvo a generaciones de sociólogos ocupadas en el intento de liberar a sus investigaciones sobre ese tema de los muchos problemas planteados cuando, en los certificados de defunción, esa es la causa de muerte aducida. Pero los forenses y médicos legistas, que llenan los formularios oficiales donde se especifica esa “causa de muerte”, generan los números que los sociólogos utilizan luego para someter a prueba ideas y teorías que han tenido un papel prominente en la historia de la disciplina. Y la investigación ha mostrado que el modo en que esos funcionarios atribuyen causas de tanta importancia social como el “suicidio” o el “homicidio” puede verse influido por sus afiliaciones y problemas profesionales.

La criminología –que amalgama a personas interesadas en el derecho, el delito, las prisiones y asuntos conexos– utilizó durante largo tiempo los registros de los organismos de orden público como la principal fuente de datos sobre la incidencia del delito, y los datos disponibles sobre personas arrestadas o condenadas por determinado delito (dos poblaciones posiblemente distintas, a veces descriptas como perpetradoras de esos delitos, aunque el arresto y la condena no son marcadores infalibles de ese hecho), como la principal fuente de conocimiento sobre los delincuentes. Al menos hasta que los defectos de ese material (que refleja intereses –además de los registros exactos– que la policía y los tribunales tienen que satisfacer al crearlo) comenzaron a producir resultados evidentemente poco realistas. Durante mucho tiempo el Uniform Crime Reports, una compilación del FBI de datos recolectados por jurisdicciones policiales locales, suministró el material con el que los diarios podían preparar artículos sobre el alza o la baja del índice delictivo en el plano nacional o local, un elemento de interés político constante. Utilizamos los cambios en los índices delictivos para evaluar argumentos sobre si la imposición estricta de las leyes contra delitos menores (o la legalización de la portación abierta u oculta de armas o decenas de otras posibles “causas”) afecta o no esos índices, y si los afecta, en qué sentido. ¿Y en qué otro lugar podemos buscar información confiable sobre las actividades delictivas?

De manera similar, las actas escolares contienen mucha información que los científicos sociales estiman útil, desde los registros de asistencia hasta los resultados de las pruebas, las notas y otras medidas indicativas del desempeño. Muchos de los datos destinados a investigaciones son recolectados por grandes organizaciones –centros de investigación por encuestas y empresas de sondeos comerciales, por ejemplo– que no hacen otra cosa que investigar, habitualmente por medio de encuestas de grandes dimensiones que utilizan cuestionarios estandarizados. Esas organizaciones contratan a personal calificado para planificar sus estudios –crear los instrumentos de investigación, los cuestionarios, los cronogramas de entrevistas y las especificaciones de las muestras– y controlar la ejecución del plan, que implica llevar el estudio al terreno, contratar, capacitar y supervisar a los entrevistadores y monitorear la codificación de los resultados y su transferencia a formatos digitales con fines de análisis. Esos profesionales de tiempo completo supervisan a equipos de entrevistadores, codificadores y otros trabajadores calificados (el nivel de la calificación de estos es otra cuestión). En todos los niveles de dichas organizaciones, las personas que trabajan tienen motivaciones no necesariamente coincidentes con las de quienes las han contratado, con los objetivos de un científico que quiere utilizar los datos producidos por ellas para someter a prueba ideas o con las finalidades de quienes han aportado el dinero que financia todo el asunto. Sin más información de la que obtenemos habitualmente, no podemos aceptar la presunción de que todos esos empleados se entreguen con plena determinación a las ideas y metas de sus empleadores. Un observador externo no irrazonablemente escéptico podría pedir que se encarara una búsqueda seria de pruebas de que la investigación se hace tal como ha de figurar en la factura correspondiente. La información sobre el incumplimiento de esos ideales es lo bastante grande para generar sospechas verosímiles.

Las grandes organizaciones de investigación tienen cuentas que pagar semana tras semana –un personal permanente considerable y los costos fijos resultantes en materia de salarios, seguro de salud, mantenimiento de las oficinas, almacenamiento de datos, servicios públicos, etc.–, por lo cual deben procurar que haya un flujo estable de proyectos entrantes, cuyos auspiciantes pagarán lo suficiente para mantener la empresa en funcionamiento. Algunas organizaciones consagradas a la investigación cuentan con un apoyo parcial de universidades: son ejemplos de esto el Centro de Investigación por Encuestas de la Universidad de Míchigan y el Centro de Investigaciones Nacionales de Opinión de la Universidad de Chicago. Al menos una, el Centro de Investigación Pew, es casi totalmente financiada por una fundación. Algunas, como el US Census o el Insee francés, obtienen sus fondos primarios directamente de un gobierno nacional, y muchas son empresas comerciales, que venden servicios de sondeos a corporaciones, grupos y candidatos políticos y cualquier otro que tenga la solvencia suficiente para comprar sus productos.

En estas organizaciones, la mayoría de las personas que recolectan los datos concretos, las que salen al mundo y ven (o al menos telefonean) a gente que cumple con las especificaciones de la muestra, y luego hacen las preguntas impresas en los formularios del estudio, son lo que de manera oportuna, pero tal vez antipática, Julius Roth (1966) llamó “trabajadores temporarios”, contratados para determinado trabajo, sin formación profesional específica anterior al respecto, pagados por hora o entrevista y sin voz en cuanto a los temas sobre los cuales hay que preguntar, ni la manera de enunciar las preguntas ni a ninguno de los demás problemas, pequeños pero importantes, que inevitablemente surgen en la realización cotidiana de las entrevistas. No sé cuántas de esas organizaciones tienen entrevistadores permanentes y de tiempo completo, sumamente capacitados e informados sobre los procedimientos de las ciencias sociales. Pero los artículos de investigación rara vez se refieren a medidas tomadas para impedir que los investigadores inventen las entrevistas en vez de hacerlas, para investigar otras prácticas de los entrevistadores que puedan afectar la calidad de los datos, o para corregir sus datos a fin de tomar en cuenta las amenazas conocidas a la validez del tipo de datos que recolectan. A lo sumo, nos aseguran que sus entrevistadores han sido “bien capacitados” y supervisados con especial atención. No creo ser la única persona que tiene ciertas reservas acerca de la aceptación de esas aserciones al pie de la letra, y en los próximos capítulos presentaré algunas pruebas sobre estas cuestiones. Además, por lo general he prestado atención a la frecuencia con que los datos originales proceden de lo que las personas estudiadas han “recolectado” por sí mismas en el transcurso de la vida que sus entrevistadores quieren conocer.

He organizado sin mucha rigidez los restantes capítulos alrededor de esas distinciones entre productores de datos, y utilizado esta clasificación aproximada de las personas que los proporcionan a las ciencias sociales, para preparar un examen de los errores, las equivocaciones y las dificultades que tenemos que esperar y a los que debemos estar atentos cuando usamos datos recolectados por una diversidad tan grande de gente como pruebas de nuestras ideas y teorías. La misma clasificación sugiere maneras de manejar esas cuestiones y mostrar de qué modo los problemas que parecen de carácter administrativo pueden convertirse en problemas científicos si repensamos nuestra comprensión de la forma específica de la recolección de datos implicada.

He reunido todo lo que pude encontrar sobre la exactitud de los datos recolectados de cada manera, los tipos de errores que se producen de ordinario en esos resultados, el modo en que los investigadores los enfrentan y las medidas que suelen tomar para evitarlos. Como no quiero que este libro parezca sólo un montón de reprimendas y críticas maliciosas intramuros, también utilicé los ejemplos que en un principio suscitaron mi curiosidad e interés en esta área del trabajo científico para presentar modelos de cómo podemos ocuparnos efectivamente...

Índice

• Cubierta
• Índice
• Portada
• Copyright
• Epígrafe
• Dedicatoria
• Agradecimientos
• Parte I. De qué se trata todo: datos, pruebas e ideas
• Parte II. ¿Quiénes recolectan los datos y cómo lo hacen?
• Reflexiones finales
• Referencias bibliográficas