On Incentives , Political and Economical Externalities , and Research Output Assessment Procedures

Merton y otros sociologos, filosofos e historiadores de la ciencia hace ya tiempo mostraron como las comunidades academicas estan sujetas a analisis similares a los que se hacen para otro tipo de comunidades. Es evidente ademas que estos procesos implican la atencion tanto de sus propias dinamicas internas, de tipo conceptual y metodologico, como de las presiones e influencias de otras comunidades academicas. Hoy es evidente la incidencia de las externalidades generadas por estas. Tanto asi que pueden considerarse como productos emergentes de ellas mismas o de las dinamicas de interaccion entre comunidades. 
 
A este respecto, han sido varias las editoriales y articulos de revistas top que mencionan la influencia de la financiacion externa, la responsabilidad social, los indices de impacto, conflictos de interes e incluso la influencia de las denominadas redes sociales y academicas sobre los productos y la forma de comunicacion de los mismos (Editorial, 2013, 2014; Piwowar, 2013; Thelwall, Haustein, Lariviere, & Sugimoto, 2013; Van Noorden, 2013). Pero no se limita a un fenomeno posterior a la publicacion sino por el contrario a la generacion misma de las investigaciones. 
 
Asi, un ejemplo cercano y tangible esta asociado a los sistemas de incentivos generados por las comunidades que evaluan y controlan la asignacion de recursos para la investigacion que termina por orientar el comportamiento de los investigadores sobre la cantidad, calidad, lugar y tipo de publicacion, generando fuertes conflictos de interes tanto de los investigadores como regulacion social de la investigacion y su difusion (Editorial, 2014). Otro ejemplo es como los sistemas de acreditacion promovieron la explosion de publicaciones para evidenciar la produccion y el compromiso institucional con la investigacion lo cual genero presiones sobre las comunidades academicas para publicar. Dando ademas como resultado diferencias entre sistemas de medicion a nivel internacional, actualmente no existe una homogeneidad entre las medidas de los indices de citacion de Google Scholar, indices de Scopus y el factor de impacto de Thompson Reuters (Bornmann et al., 2009; Silva, 2012). 
 
Por algunas de estas razones resulta critico, para salvar unos minimos de calidad de dicha produccion, que los procesos de evaluacion sean exhaustivos, exogamicos y contrastados intersubjetivamente en forma ciega; estas caracteristicas buscan disminuir el efecto de algunas externalidades, por ejemplo, las que surgen de intereses de comunidades con afinidades o que por el contrario compiten o que surgen de comunidades que se oponen en terminos ideologicos, politicos o incluso personales. Esta es la razon por la cual se busca que los pares no conozcan los autores, las instituciones o el pais, o si es asi que el evaluador no sea del mismo lugar (aunque esto es muy dificil de lograr), pero esta tarea se complejiza por cuanto los evaluadores deben contar con experticia tematica similar y con una formacion metodologica solida lo cual no es sencillo de lograr y mas cuando algunas comunidades no se encuentran suficientemente desarrolladas, actualizadas o que han construido lenguajes que solo hablan ellos mismos. 
 
Adicionalmente, este problema se complejiza a un mas si le sumamos variables de tipo economico. Los investigadores ganan incentivos por publicacion y los evaluadores no reciben ningun tipo de reconocimiento economico, en la mayoria de los casos. Es entonces evidente que los incentivos juegan como una externalidad a la dinamica academica similar a los intereses politicos, ideologicos e incluso personales. Es un contraste que los equipos editoriales deben tener en cuenta como parte de su proceso de evaluacion. 
 
Desafortunadamente, las comunidades academicas en transcurso de consolidacion son mas vulnerables a ajustar sus practicas en funcion de los incentivos o de las externalidades mencionadas, mas aun si dependen de instituciones fragiles. Esta es otra razon que sustenta la necesidad de construir sistemas de evaluacion exogamicos doble ciegos. Este proceso ideal debera complementarse con procesos en los que los formatos de evaluacion e incluso la transparencia de las evaluaciones permitan evidenciar la incidencia de las evaluaciones. Sin embargo esta dinamica no es facil de lograr por cuanto ni evaluadores ni evaluados parecen aun listos para que estos procesos sean completamente transparentes para toda la comunidad, sin embargo, y por proceso de autorregulacion de las practicas cientificas, seguramente en un futuro cercano esto podra lograrse. 
 
Quiero senalar finalmente que hoy en dia nadie es ingenuo. Los academicos sabemos el valor de los incentivos; pero lo critico es desdibujar nuestro trabajo en funcion de estos y no de producir conocimiento pertinente, relevante y de calidad, o peor aun, externalizar la responsabilidad en el sistema que solemos criticar cuando solo nosotros somos responsables de las consecuencias derivadas de las decisiones que tomamos como investigadores, evaluadores e incluso como editores. Por algunas de estas razones y por una responsabilidad etica y social debemos hacer visible las implicaciones de las externalidades como tambien del comportamiento de los investigadores y los evaluadores frente a estas. 
 
Referencias 
 
Bornmann, L., Marx, W., Schier, H., Rahm, E., Thor, A., & Daniel, H.-D. (2009). Convergent validity of bibliometric Google Scholar data in the field of chemistry—Citation counts for papers that were accepted by Angewandte Chemie International Edition or rejected but published elsewhere, using Google Scholar, Science Citation Index, Scopus, and Chemical Abstracts. Journal of Informetrics, 3(1), 27–35. doi:10.1016/j.joi.2008.11.001 
 
Editorial. (2013). Enemy of the good. Nature, 503, 438. 
 
Editorial. (2014). Conflict of interest. Nature, 505, 132. 
 
Piwowar, H. (2013). Value all research products. Nature, 493, 159. 
 
Silva, A. L. C. (2012). El indice-H y Google Academico: una simbiosis cienciometrica inclusiva. Acimed, 23(2), 308–322. 
 
Thelwall, M., Haustein, S., Lariviere, V., & Sugimoto, C. R. (2013). Do altmetrics work? Twitter and ten other social web services. PloS One, 8(5), e64841. doi:10.1371/journal.pone.0064841 
 
Van Noorden, R. (2013). PLOS profits prompt revamp Budget crunch hits Keeling ’ s curves. Nature, 503, 320–321.

It has been long shown by Merton and other sociologists, philosophers and science historians that scientific communities can be subject to similar analyses to those applied to other communities.Moreover, these processes involve attending to both internal (conceptual and methodological) and external (pressures and influences by other academic communities) factors.The externalities created by the latter are now standalone products generated by the dynamics of interaction amongst communities.
Several editorials and papers in top-ranking journals have mentioned that output and its communication are influenced by external funding, social responsibility, impact factors, interest conflicts, and even social and academic networks (Editorial, 2013(Editorial, , 2014;;Piwowar, 2013;Thelwall, Haustein, Larivière, & Sugimoto, 2013;Van Noorden, 2013).But this is not only related to publication, but to research generation as well.A close and tangible example is the incentive systems that communities that assess and control resource allocation for research have put in place, and that end up gearing researchers' behaviour towards quantity, quality, location and type of publication, and raising strong conflicts of interest (Editorial, 2014).Another example is how accreditation systems promoted an large increase in the number of publications in order to accommodate more output and to show an institutional commitment to research, which created pressure for academic communities to publish.This also resulted in differences amongst measurement systems, and nowadays there is no agreement amongst the measurements offered by Google Scholar, Scopus, and Thompson Reuters' Impact Factor (Bornmann et al., 2009;Silva, 2012).
In order to preserve some minimal output quality, reviewing procedures must be exhaustive, exogamic and intersubjectively contrasted via blind peer-review; these requirements aim to decrease the effect of some externalities -for instance, those stemming from interests held by competing communities, or from ideological, political, or even personal, animosities.This is why peer-reviewers should not know the authors, their institutions, or their countries of precedence.The task is complicated by the fact that reviewers must have experience in the area and solid methodological training, which is not simple, especially in not so well developed communities or groups who have created their own language for communication.
If we add economical variables, the problem gets worse.Researchers get incentives for publication and reviewers, in most cases, do not get anything for reviewing.This is another example of incentives as externalities akin to political, ideological or personal interests, that must be borne in mind by the editorial teams as part of the review process.
Academic communities in consolidation are unfortunately more vulnerable to adjust their practices as a function of incentives or externalities, especially when rooted in fragile institutions.This is another reason for exogamic double blind reviewing systems.This ideal process will need to be supplemented by other transparency measures, but neither reviewers

Externalities, and Research Output Assessment Procedures
nor authors seem to be prepared for complete transparency in publications.Hopefully, this will be achieved through self-regulation of the scientific processes.
I want to point out that no one is naïve these days.Researchers know the value of incentives, but we cannot get drawn into making our work worse because of them, instead of producing pertinent, relevant, quality work, or even worse, placing all responsibility on the system we so easily criticise.It is only us who are responsible for the consequences of decisions we make as researchers, reviewers and editors.Our ethical and social command is to denounce the implications of these externalities and of the researchers' behaviour.