Revista de Estudios Sociales

rev. estud. soc. | eISSN 1900-5180 | ISSN 0123-885X

Key Points of Discussion in Scientific Research Evaluation: Peer Review, Bibliometrics and Relevance

No. 58 (2016-10-01)
  • Nerina Fernanda Sarthou

Abstract

This article seeks to bring together in a single document the set of issues surrounding the definition and implementation of mechanisms and criteria relating to the evaluation of scientific research. It revisits and orders the basic agreements regarding their defects and the proposals for countering them based on a bibliographical review revolving around three questions: who participates in the assessment; how the assessment is carried out; and what is to be evaluated. Finally, it briefly presents some notes referring to the specific literature generated from Latin America, highlighting the limited space dedicated to this topic until now.

Keywords: Bibliometrics (Thesaurus); research evaluation, peer review, relevance (Author’s keywords)

References

Amin, Mayur y MichaelMabe. 2003. “Impact Factors: Use and Abuse”. Medicina63 (4): 347-354.

Beigel, Fernanda. 2013. “Centros y periferias en la circulación internacional del conocimiento”. Nueva Sociedad245: 110-123.

Beigel, Fernanda. 2015. “Circuitos segmentados de consagración académica: las revistas de Ciencias Sociales y Humanas en la Argentina”. Información, Cultura y Sociedad32: 11-35.

Bianco, Mariela, NataliaGras y JudithSutz. 2014. “Reflexiones sobre la práctica de la evaluación académica”. En Veinte años de políticas de investigación en la Universidad de la República: aciertos, dudas y aprendizajes, coordinado por MarielaBianco y JudithSutz, 209-235. Montevideo: Ediciones Trilce.

Bornmann, Lutz. 2011. “Peer Review and Bibliometric: Potentials and Problems”. En University Rankings, editado por Jung CheolShin, Robert K.Toutkoushian y UlrichTeichler, 145-164. Berlin: Springer.

Bozeman, Barry, James S.Dietz y MonicaGaughan. 2001. “Scientific and Technical Human Capital: An Alternative Model for Research Evaluation”. International Journal of Technology Management22 (7/8): 716-740.

Braun, Dietmar. 1998. “The Role of Funding Agencies in the Cognitive Development of Science”. Research Policy27 (8): 807-821.http://dx.doi.org/10.1016/S0048-7333(98)00092-4

Campanario, Juan Miguel. 2002. “El sistema de revisión por expertos (peer review): muchos problemas y pocas soluciones”. Revista Española de Documentación Científica25 (3): 166-184.http://dx.doi.org/10.3989/redc.2002.v25.i3.107

Cañibano, Carolina y BariBozeman. 2009. “Curriculum Vitae Method in Science Policy and Research Evaluation: The State-of-the-Art”. Research Evaluation18 (2): 86-94.http://dx.doi.org/10.3152/095820209X441754

Cañibano, Carolina, JavierOtamendi y FranciscoSolís. 2010. “Investigación y movilidad internacional: análisis de las estancias en centros extranjeros de los investigadores andaluces”. Revista Española de Documentación Científica3: 428-457.http://dx.doi.org/10.3989/redc.2010.3.736

Chubin, Daryl y EdwardHackett. 1990. Peerless Science: Peer Review and U.S. Science Policy.Nueva York: State University of New York Press.

Cole, Stephen, JonathanCole y Gary A.Simon. 1981. “Chance and Consensus in Peer Review”. Science214 (4523): 881-886.http://dx.doi.org/10.1126/science.7302566

Davyt, Amílcar y LeaVelho. 2000. “A avaliação da ciência e a revisão por pares: passado e presente. Como será o futuro?”História, Ciências, SaúdeVII (1): 93-116.http://dx.doi.org/10.1590/S0104-59702000000200005

De la Vega, Iván. 2003. “Cienciometría y política científica en la periferia: el caso de Venezuela”. Revista Espacios24 (1): 5-17.

Derrick, Gemma y VincenzoPavone. 2013. “Democratising Research Evaluation: Achieving Greater Public Engagement with Bibliometrics-Informed Peer Review”. Science and Public Policy40 (5): 563-575. http://dx.doi.org/10.1093/scipol/sct007

Frederiksen, Lars Frode, FinnHansson y Søren BarleboWenneberg. 2003. “The Agora and the Role of Research Evaluation”. Evaluation9: 149-172.http://dx.doi.org/10.1177/1356389003009002003

Gómez, Yuri J.2004. “Política científica colombiana y bibliometría: usos”. Nómadas22: 241-254.

Grediaga Kuri, Rocío. 2011. “El papel de pares y publicaciones periódicas en la validación del conocimiento científico”. Revista Mexicana de Investigación Educativa16 (48): 7-14.

Gross, P.L.K. y E.M.Gross. 1927. “College Libraries and Chemical Education”. Science66 (1713): 385-389.

Guédon, Jean-Claude. 2011. “El acceso abierto y la división entre ciencia ‘principal’ y ‘periférica’”. Crítica y Emancipación6: 135-180.

Hicks, Diana. 2004. “The Four Literatures of Social Sciences”. En Handbook of Quantitative Science and Technology Research, editado por Henk F.Moed, WolfgangGlänzel y UlrichSchmoch, 476-496. Dordrecht: Springer.

Jiménez-Buedo, María e Irene RamosVielba. 2009. “¿Más allá de la ciencia académica?: modo 2, ciencia posnormal y ciencia posacadémica”. ArborCLXXXV (738): 721-737.

Krauskopf, Manuel y María InésVera. 1995. “Las revistas latinoamericanas de corriente principal: indicadores y estrategias para su consolidación”. Revista Interciencia20 (3): 144-148.

Kreimer, Pablo. 1998. “Publicar y castigar. El paper como problema y la dinámica de los campos científicos”. Redes5 (12): 51-73.

Kreimer, Pablo. 2011. “La evaluación de la actividad científica: desde la indagación sociológica a la burocratización. Dilemas actuales”. Propuesta Educativa2: 59-77.

Kreimer, Pablo. 2015. “Los mitos de la ciencia: desventuras de la investigación, estudios sobre ciencia y políticas científicas”. Nómadas42: 33-51.

Lamont, Michele. 2009. How Professors Think: Inside the Curious World of Academic Judgement.Cambridge – Londres: Harvard University Press.

Langfeldt, Liv. 2006. “The Policy Challenges of Peer Review: Managing Bias, Conflict of Interests and Interdisciplinary Assessments”. Research Evaluation15 (1): 31-41.http://dx.doi.org/10.3152/147154406781776039

Langfeldt, Liv y SveinKyvik. 2011. “Researchers as Evaluators: Tasks, Tensions and Politics”. Higher Education62 (2): 199-212.http://dx.doi.org/10.1007/s10734-010-9382-y

Lattuada, Mario. 2014. “La evaluación de la investigación en las universidades argentinas. Contextos, culturas y limitaciones”. Revista Iberoamericana de Ciencia, Tecnología y Sociedad9 (27): 157-164.

Lee, Carole, CassidySugimoto, GuoZhang y BlaiseCronin. 2013. “Bias in Peer Review”. Journal of the American Society for Information Science and Technology64 (1): 2-17.http://dx.doi.org/10.1002/asi.22784

Marquina, Mónica. 2006. La evaluación por pares en el escenario actual de aseguramiento de la calidad de la educación superior. Un estudio comparativo de seis casos nacionales. Buenos Aires: Coneau.

Miguel, Sandra. 2011. “Revistas y producción científica de América Latina y el Caribe: su visibilidad en SciELO, RedALyC y SCOPUS”. Revista Interamericana de Bibliotecología34 (2): 187-199.

Molas-Gallart, Jordi. 2012. “Research Governance and the Role of Evaluation A Comparative Study”. American Journal of Evaluation33 (4): 583-598.

Mugnaini, Rogério. 2006. “Caminhos para adequação da avaliação da produção científica brasileira: impacto nacional versus internacional”. Disertación doctoral, Universidade de São Paulo.

Mulligan, Adrian, HallLouise y RaphaelEllen. 2013. “Peer Review in a Changing World: An International Study Measuring the Attitudes of Researchers”. Journal of the American Society for Information Science and Technology64 (1): 132-161.http://dx.doi.org/10.1002/asi.22798

Musselin, Christine. 2013. “How Peer Review Empowers the Academic Profession and University Managers: Changes in Relationships Between the State, Universities and the Professoriate”. Research Policy42 (5): 1165-1173.http://dx.doi.org/10.1016/j.respol.2013.02.002

Mutzl, Rüdiger, LutzBornmann y Hans-DieterDaniel. 2013. “Types of Research Output Profiles: A Multilevel Latent Class Analysis of the Austrian Science Fund’s Final Project Report Data”. Research Evaluation22: 118-133.http://dx.doi.org/10.1093/reseval/rvs038

Naidorf, Judith y DanielaPerrotta. 2015. “La ciencia social politizada y móvil de una nueva agenda latinoamericana orientada a prioridades”. Revista de la Educación Superior44 (174): 19-46.http://dx.doi.org/10.1016/j.resu.2015.05.001

Naidorf, Judith, PatriciaGiordana y MauricioHorn. 2007. “La pertinencia social de la Universidad como categoría equívoca”. Nómadas27: 22-33.

Nicholas, David, AnthonyWatkinson, HamidJamali, EdiHerman, CarolTenopir, RachelVolentine y KennethLevine. 2015. “Peer Review: Still King in the Digital Age”. Learned Publishing28 (1): 15-21.http://dx.doi.org/10.1087/20150104

Ortiz, Renato. 2009. La supremacía del inglés en las ciencias sociales.Buenos Aires: Siglo Veintiuno Editores.

Ríos Gómez, Claudia y Víctor HerreroSolana. 2005. “La producción científica latinoamericana y la ciencia mundial: una revisión bibliográfica (1989-2003)”. Revista Interamericana de Bibliotecología28 (1): 43-61.

Rip, Arie. 1994. “The Republic of Science in the 1990s”. Higher Education28 (1): 3-23.

Romanos de Tiratel, Susana. 2008. Revistas argentinas de Ciencias Sociales y Humanidades: visibilidad en bases de datos internacionales.Buenos Aires: Instituto de Investigaciones Bibliotecológicas – Universidad de Buenos Aires – Facultad de Filosofía y Letras.

Rueda-Clausen Gómez, Christian, Cristina Villa-RoelGutiérrez y Christian E. Rueda-ClausenPinzón. 2005. “Indicadores bibliométricos: origen, aplicación, contradicción y nuevas propuestas”. MedUNAB8 (1): 29-36.

Sanz Menéndez, Luis. 2014. “La evaluación de la ciencia y la investigación”. RES. Revista Española de Sociología (21): 137-148.

Scott, Alister. 2007. “Peer Review and the Relevance of Science”. Futures39: 827-845.http://dx.doi.org/10.1016/j.futures.2006.12.009

Seglen, Per. O.1997. “Why the Impact Factor of Journals Should Not Be Used for Evaluating Research”. British Medical Journal314: 498-502.

Sutz, Judith. 2014. “Calidad y relevancia en la investigación universitaria: apuntes para avanzar hacia su convergencia”. Revista Iberoamericana de Ciencia, Tecnología y Sociedad27 (9): 63-83.

Vaccarezza, Leonardo y Juan PabloZabala. 2002. La construcción de la utilidad social de la ciencia: Investigadores en biotecnología frente al mercado.Quilmes: Universidad Nacional de Quilmes.

Van Leeuwen, Ted, HenkMoed, RobertTijssen, MartijnVisser y AnthonyVan Raan. 2001. “Language Biases in the Coverage of the Science Citation Index and Its Consequences for International Comparisons of National Research Performance”. Scientometrics51 (1): 335-346.

Vessuri, Hebe, Jean-ClaudeGuédon y Ana MaríaCetto. 2014. “Excellence or Quality? Impact of the Current Competition Regime on Science and Scientific Publishing in Latin America and Its Implications for Development”. Current Sociology62 (5): 647-665.http://dx.doi.org/10.1177/0011392113512839

Weller, Ann. 2001. Editorial Peer Review: Its Strengths and Weaknesses.Nueva Jersey: American Society for Information Science and Technology.

Ziman, John. 2003. ¿Qué es la ciencia? Madrid: Cambridge University Press.

Zuckerman, Harriet y RobertMerton. 1971. “Patterns of Evaluation in Science. Institutionalisation, Structure and Functions of Referee System”. Minerva9 (1): 66-100.http://dx.doi.org/10.1007/BF01553188

License