<?xml version="1.0" encoding="UTF-8"?><?xml-model type="application/xml-dtd" href="http://jats.nlm.nih.gov/publishing/1.1d3/JATS-journalpublishing1.dtd"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD JATS (Z39.96) Journal Publishing DTD v1.1d3 20150301//EN" "http://jats.nlm.nih.gov/publishing/1.1d3/JATS-journalpublishing1.dtd">
<article xmlns:ali="http://www.niso.org/schemas/ali/1.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xlink="http://www.w3.org/1999/xlink" xmlns:mml="http://www.w3.org/1998/Math/MathML" dtd-version="1.1d3" specific-use="Marcalyc 1.2" article-type="research-article" xml:lang="pt">
<front>
<journal-meta>
<journal-id journal-id-type="marcador">1515</journal-id>
<journal-title-group>
<journal-title specific-use="original">Cuadernos de Contabilidad</journal-title>
<abbrev-journal-title abbrev-type="publisher">Cuad. Contab.</abbrev-journal-title>
</journal-title-group>
<issn pub-type="ppub">0123-1472</issn>
<publisher>
<publisher-name>Pontificia Universidad Javeriana</publisher-name>
<publisher-loc>
<country>Colombia</country>
<email>cuadernosdecontabilidad@javeriana.edu.co</email>
</publisher-loc>
</publisher>
</journal-meta>
<article-meta>
<article-id pub-id-type="art-access-id" specific-use="redalyc">151563103007</article-id>
<article-id pub-id-type="doi">https://doi.org/10.11144/Javeriana.cc21.acvs</article-id>
<article-categories>
<subj-group subj-group-type="heading">
<subject>Artículos</subject>
</subj-group>
</article-categories>
<title-group>
<article-title xml:lang="pt">Análise dos ciclos de vida dos sistemas de avaliação de desempenho: características, funções e processos<xref ref-type="fn" rid="fn2">*</xref>
</article-title>
<trans-title-group>
<trans-title xml:lang="es">Análisis de los ciclos de vida de los sistemas de evaluación de desempeño: características, funciones y procesos</trans-title>
</trans-title-group>
<trans-title-group>
<trans-title xml:lang="en">Analysis of the Life Cycles of Performance Evaluation Systems: Characteristics, Functions and Processes</trans-title>
</trans-title-group>
</title-group>
<contrib-group>
<contrib contrib-type="author" corresp="yes">
<contrib-id contrib-id-type="orcid">http://orcid.org/0000-0001-6736-7227</contrib-id>
<name name-style="western">
<surname>dos Santos Matos</surname>
<given-names>Lucas</given-names>
</name>
<xref ref-type="corresp" rid="corresp1"><sup>a</sup></xref>
<xref ref-type="aff" rid="aff1"/>
<email>L.matos@ufsc.br</email>
</contrib>
<contrib contrib-type="author" corresp="no">
<contrib-id contrib-id-type="orcid">http://orcid.org/0000-0001-7420-8507</contrib-id>
<name name-style="western">
<surname>Rolim Ensslin</surname>
<given-names>Sandra</given-names>
</name>
<xref ref-type="aff" rid="aff2"/>
</contrib>
<contrib contrib-type="author" corresp="no">
<contrib-id contrib-id-type="orcid">http://orcid.org/0000-0001-7963-4679</contrib-id>
<name name-style="western">
<surname>Ensslin</surname>
<given-names>Leonardo</given-names>
</name>
<xref ref-type="aff" rid="aff3"/>
</contrib>
</contrib-group>
<aff id="aff1">
<institution content-type="original">Universidade Federal de Santa Catarina, Brasil</institution>
<institution content-type="orgname">Universidade Federal de Santa Catarina, Brasil</institution>
<country country="BR">Brasil</country>
</aff>
<aff id="aff2">
<institution content-type="original">Universidade Federal de Santa Catarina, UFSC, Brasil</institution>
<institution content-type="orgname">Universidade Federal de Santa Catarina</institution>
<country country="BR">Brasil</country>
</aff>
<aff id="aff3">
<institution content-type="original">Universidade do Sul de Santa Catarina, UNISUL, Brasil</institution>
<institution content-type="orgname">Universidade do Sul de Santa Catarina</institution>
<country country="BR">Brasil</country>
</aff>
<author-notes>
<corresp id="corresp1"><sup>a</sup> Autor para correspondência. Correio eletrônico: <email>l.matos@ufsc.br</email>
</corresp>
</author-notes>
<pub-date pub-type="epub-ppub">
<season>Enero-Diciembre</season>
<year>2020</year>
</pub-date>
<volume>21</volume>
<history>
<date date-type="received" publication-format="dd/mm/yyyy">
<day>16</day>
<month>04</month>
<year>2019</year>
</date>
<date date-type="accepted" publication-format="dd/mm/yyyy">
<day>29</day>
<month>11</month>
<year>2019</year>
</date>
<date date-type="pub" publication-format="dd/mm/yyyy">
<day>05</day>
<month>06</month>
<year>2020</year>
</date>
</history>
<permissions>
<ali:free_to_read/>
<license xlink:href="https://creativecommons.org/licenses/by/4.0/">
<ali:license_ref>https://creativecommons.org/licenses/by/4.0/</ali:license_ref>
<license-p>Esta obra está bajo una Licencia Creative Commons Atribución 4.0 Internacional.</license-p>
</license>
</permissions>
<abstract xml:lang="pt">
<title>Resumo</title>
<p>O presente estudo tem por objetivo desenvolver um mapa conceitual sobre o ciclo de vida dos sistemas de avaliação de desempenho, apontando as características, funções e processos de cada uma de suas fases. Trata-se de uma pesquisa exploratória e descritiva, de natureza teórica e qualitativa. Foi realizada uma revisão de literatura composta por 30 artigos representativos da temática de avaliação de desempenho. Os artigos foram selecionados aplicando a metodologia ProKnow-C. Os resultados encontrados evidenciam a preocupação dos estudos da área em desenvolver estruturas de sistemas de avaliação que possam ser generalizados. Igualmente, são relevantes os aspectos relacionados à importância do uso de ferramentas de avaliação de desempenho como apoio gerencial. Entretanto, fica evidenciada a lacuna existente referente a estudos sobre o estágio de implementação e, principalmente, sobre a revisão dos sistemas. Estes assuntos recebem menor volume de pesquisas e carecem de fundamentos para a sua consolidação.</p>
<p><bold>Códigos JEL</bold>: M10, M19</p>
</abstract>
<trans-abstract xml:lang="es">
<title>Resumen</title>
<p>El presente estudio tiene por objetivo desarrollar un mapa conceptual sobre el ciclo de vida de los sistemas de evaluación de desempeño, señalando las características, funciones y procesos de cada una de sus fases. Se trata de una investigación exploratoria y descriptiva, de naturaleza teórica y cualitativa. Se realizó una revisión de literatura compuesta por 30 artículos representativos del tema evaluación de desempeño. Los artículos fueron seleccionados aplicando la metodología ProKnow-C. Los resultados encontrados evidencian la preocupación de los estudios del área por desarrollar estructuras de sistemas de evaluación que se puedan generalizar. Igualmente, son relevantes los aspectos relacionados con la importancia del uso de herramientas de evaluación de desempeño como apoyo gerencial. Sin embargo, es evidente la ausencia de estudios relativos a la etapa de implementación y, principalmente, a la revisión de los sistemas. Estos asuntos representan un menor volumen de investigaciones y carecen de conceptos para su consolidación.</p>
<p><bold>Códigos JEL</bold>: M10, M19</p>
</trans-abstract>
<trans-abstract xml:lang="en">
<title>Abstract</title>
<p>This paper aims to develop a conceptual map about the life cycle of performance evaluation systems, pointing out the characteristics, functions, and processes of each one of its phases. It is exploratory and descriptive research, of theoretical and qualitative nature. A literature review composed of 30 representative articles on the subject of performance evaluation was carried out. The articles were selected applying the methodology ProKnow-C. The results show the concern of studies in the area to develop structures of evaluation systems that can be generalized. Furthermore, aspects related to the motivations, and the importance of using performance evaluation tools as management support was relevant. However, it has been evidenced that there is a gap in studies on the implementation stage and, mainly, on the review of the systems. These issues received less research and present weaknesses in their foundation.</p>
<p><bold>JEL Codes</bold>: M10, M19</p>
</trans-abstract>
<kwd-group xml:lang="pt">
<title>Palavras-chave</title>
<kwd>avaliação de desempenho</kwd>
<kwd>sistemas de avaliação de desempenho</kwd>
<kwd>ciclo de vida</kwd>
</kwd-group>
<kwd-group xml:lang="es">
<title>Palabras clave</title>
<kwd>Evaluación de desempeño</kwd>
<kwd>sistemas de evaluación de desempeño</kwd>
<kwd>ciclo de vida</kwd>
</kwd-group>
<kwd-group xml:lang="en">
<title>Keywords</title>
<kwd>Performance evaluation</kwd>
<kwd>performance evaluation systems</kwd>
<kwd>life cycle</kwd>
</kwd-group>
<counts>
<fig-count count="4"/>
<table-count count="1"/>
<equation-count count="0"/>
<ref-count count="35"/>
</counts>
<custom-meta-group>
<custom-meta>
<meta-name>Para citar este artigo</meta-name>
<meta-value>Matos, L. S., Ensslin, S. R., &amp;, Ensslin, L. (2020). Análise dos ciclos de vida dos sistemas de avaliação de desempenho: características, funções e processos. <italic>Cuadernos de Contabilidad, 21</italic>. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.11144/Javeriana.cc21.acvs">https://doi.org/10.11144/Javeriana.cc21.acvs</ext-link>
</meta-value>
</custom-meta>
</custom-meta-group>
</article-meta>
</front>
<body>
<sec sec-type="intro">
<title>
<bold>Introdução</bold>
</title>
<p>Avaliação e gestão de desempenho têm sido utilizadas e estudadas há mais de um século, em todo tipo de organização. Entretanto, ainda que pesquisadores e autores discutam a grande importância do tema, este está em constante evolução, consequência do ambiente amplamente mutável e instável causado pelas mudanças nos mercados globais. (<xref ref-type="bibr" rid="ref19">Lebas, 1995</xref>; <xref ref-type="bibr" rid="ref16">Ghalayni &amp; Noble, 1996</xref>; <xref ref-type="bibr" rid="ref23">Neely, 1999</xref>; <xref ref-type="bibr" rid="ref4">Bourne et al., 2003</xref>; <xref ref-type="bibr" rid="ref17">Gomes et al., 2004</xref>; <xref ref-type="bibr" rid="ref30">Tangen, 2004</xref>; <xref ref-type="bibr" rid="ref21">Micheli &amp; Manzoni, 2010</xref>; <xref ref-type="bibr" rid="ref2">Bititci et al., 2012</xref>; <xref ref-type="bibr" rid="ref8">Choong, 2014b</xref>; <xref ref-type="bibr" rid="ref10">Cuccurullo et al., 2016</xref>; <xref ref-type="bibr" rid="ref34">Valmorbida &amp; Ensslin, 2016</xref>; <xref ref-type="bibr" rid="ref20">Matos et al., 2019</xref>).</p>
<p>Desde a segunda metade da década de 90 o número de pesquisas realizadas sobre o tema avaliação de desempenho –AD– cresceu de forma gradativa, sob diferentes óticas, por pesquisadores de diversificadas áreas, evidenciando a relevância do tema para a literatura, principalmente focadas em métodos de gestão (<xref ref-type="bibr" rid="ref24">Neely, 2005</xref>; <xref ref-type="bibr" rid="ref5">Broadbent &amp; Laughlin, 2009</xref>;<xref ref-type="bibr" rid="ref33"> Taticchi, Tonelli, &amp; Cagnazzo, 2010</xref>; <xref ref-type="bibr" rid="ref7">Choong, 2014a</xref>;<xref ref-type="bibr" rid="ref35"> Yadav, Sushil, &amp; Sagar, 2014</xref>). Contudo, apesar de todos os esforços aplicados, seja por pesquisadores, seja por profissionais, dificilmente é possível determinar consenso relativo aos conceitos acerca do tema avaliação de desempenho, devido à multidisciplinaridade e multiaplicabilidade (<xref ref-type="bibr" rid="ref4">Bourne et al., 2003</xref>; <xref ref-type="bibr" rid="ref12">Ferreira &amp; Otley, 2009</xref>). Assim, faz-se necessário desenvolver o entendimento atual da literatura em relação ao tema de pesquisa, buscando a consolidação dos fundamentos e definições.</p>
<p>Centra-se, este trabalho, em estudar o ciclo de vida dos sistemas de avaliação de desempenho, procurando analisar os aspectos inerentes a cada uma das fases de desenvolvimento e uso dos sistemas, a partir dos artigos seminais da literatura teórica relativa ao tema da avaliação de desempenho, sobretudo no que diz respeito à AD organizacional como instrumento informacional de apoio à gestão. Desta forma, definiu-se como objetivo dessa pesquisa desenvolver um mapa conceitual sobre o ciclo de vida dos sistemas de avaliação de desempenho, apontando as características, funções e processos de cada uma de suas fases, baseando-se nas definições de <xref ref-type="bibr" rid="ref14">Franco-Santos et al. (2007)</xref>. Esse objetivo permite interpretar como a literatura lida com as fases desse ciclo de vida, sinalizando marcos epistemológicos e lacunas emergentes relativas ao tema.</p>
<p>Justifica-se a realização deste estudo frente a sua importância, originalidade e viabilidade (<xref ref-type="bibr" rid="ref6">Castro, 1977</xref>). Sua importância reside em realizar uma extensa revisão da literatura, a qual é discutida há mais de um século nas áreas organizacionais, de operações e comportamentais, por exemplo, buscando consolidar entendimento de diversos autores em relação ao tema. É também original, pois não se encontra no fragmento selecionado da literatura uma revisão relativa aos aspectos característicos, de funções e processos sobre as fases do ciclo de vida dos sistemas de avaliação de desempenho. Viável, devido ao acesso permitido às bases de dados da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior para coleta e análise da literatura, as quais tornaram possível a execução da pesquisa.</p>
<p>Quanto à estrutura deste trabalho, além desta introdução, o artigo apresenta mais quatro seções. A seção referencial teórica apresenta os elementos teóricos e conceituais que fundamentam as definições metodológicas para execução do trabalho, bem como evidencia os conhecimentos existentes na literatura a respeito do tema estudado. A seguir, serão apresentados os procedimentos metodológicos da pesquisa, descrevendo as ações que permitiram o alcance do objetivo proposto. Os resultados e apontamentos relativos à revisão da literatura são apresentados na próxima seção. Por fim, são apresentadas as conclusões do estudo, e, em seguida, as referências utilizadas para a fundamentação desta pesquisa.</p>
</sec>
<sec>
<title>
<bold>Referencial teórico</bold>
</title>
<p>Os Sistemas de Avaliação de Desempenho –SAD– se apresentam como ferramentas de apoio à gestão, por meio de construção, uso e revisão de métricas de desempenho para desenvolver o conhecimento necessário sobre o ambiente em que estão inseridas, com o fornecimento de informações hábeis aos seus usuários (<xref ref-type="bibr" rid="ref19">Lebas, 1995</xref>; <xref ref-type="bibr" rid="ref25">Neely, Gregory, &amp; Platts, 1995</xref>; <xref ref-type="bibr" rid="ref21">Micheli &amp; Manzoni, 2010</xref>; <xref ref-type="bibr" rid="ref2">Bititci et al., 2012</xref>; <xref ref-type="bibr" rid="ref31">Taticchi, Balachandran, &amp; Tonelli, 2012</xref>; <xref ref-type="bibr" rid="ref8">Choong, 2014b</xref>; <xref ref-type="bibr" rid="ref20">Matos et al., 2019</xref>). O tema relacionado aos SAD tem sido estudado há um considerável tempo, porém o desenvolvimento dos estudos sobre os SAD recebeu forte aumento de atenção somente a partir do início da década de 1990, com o surgimento de ferramentas e metodologias para a tomada de decisão, na tentativa de corresponder às críticas frequentes aos métodos tradicionais de mensuração de desempenho que se multiplicavam na época (<xref ref-type="bibr" rid="ref16">Ghalayni &amp; Noble, 1996</xref>;<xref ref-type="bibr" rid="ref17"> Gomes, Yasin &amp; Lisboa, 2004</xref>; <xref ref-type="bibr" rid="ref24">Neely, 2005</xref>; <xref ref-type="bibr" rid="ref2">Bititci et al., 2012</xref>; <xref ref-type="bibr" rid="ref15">Franco-Santos et al., 2012</xref>; <xref ref-type="bibr" rid="ref10">Cuccurullo et al., 2016</xref>).</p>
<p>Desde então, os estudos sobre os SAD seguem por diversos pontos de vista, abordando, por exemplo, sobre limitações dos sistemas (<xref ref-type="bibr" rid="ref21">Micheli &amp; Manzoni, 2010</xref>), fundamentos e teorias subjacentes (<xref ref-type="bibr" rid="ref7">Choong, 2014a</xref>; <xref ref-type="bibr" rid="ref22">Micheli &amp; Mari, 2014</xref>) e ciclo de vida dos SAD, no qual a preocupação tem residido em aspectos relacionados ao acompanhamento de um sistema desde sua concepção até a sua atualização, de modo longitudinal (<xref ref-type="bibr" rid="ref3">Bourne et al., 2000</xref>; <xref ref-type="bibr" rid="ref32">Taticchi &amp; Balachandran, 2008</xref>; <xref ref-type="bibr" rid="ref26">Nudurupati et al., 2011</xref>). O primeiro artigo a abordar esse ponto de vista, relacionado ao ciclo de vida dos sistemas, foi desenvolvido por <xref ref-type="bibr" rid="ref3">Bourne et al. (2000)</xref>, os quais apontam quatro estágios de desenvolvimento do ciclo de vida dos SAD: (i) concepção; (ii) implementação; (iii) uso, e devido ao conhecimento construído durante e a partir do uso dos sistemas, que torna possível modificar a estratégia organizacional; e (iv) revisão.</p>
<p>A primeira fase, concepção, tem como propósito a identificação de objetivos e definição de métricas para sua mensuração, direcionando-as para a estratégia organizacional. Deste modo, tem-se, essencialmente, a incorporação das características do negócio de forma sistematizada em indicadores para a gestão (<xref ref-type="bibr" rid="ref3">Bourne et al., 2000</xref>; <xref ref-type="bibr" rid="ref32">Taticchi &amp; Balachandran, 2008</xref>; <xref ref-type="bibr" rid="ref26">Nudurupati et al., 2011</xref>; <xref ref-type="bibr" rid="ref31">Taticchi et al., 2012</xref>).</p>
<p>Na fase de implementação são executadas tarefas para articular a utilização do sistema, como padronização da coleta de dados, métodos de processamento e definição de procedimentos e canais de comunicação (<xref ref-type="bibr" rid="ref23">Neely, 1999</xref>; <xref ref-type="bibr" rid="ref13">Folan &amp; Browne, 2005</xref>; <xref ref-type="bibr" rid="ref14">Franco-Santos et al., 2007</xref>; <xref ref-type="bibr" rid="ref31">Taticchi et al., 2012</xref>). Essa fase representa o início do processo de utilização do SAD, com a explanação de papéis e envolvimento das pessoas (<xref ref-type="bibr" rid="ref3">Bourne et al., 2000</xref>).</p>
<p>Para os autores da área de AD (<xref ref-type="bibr" rid="ref23">Neely, 1999</xref>; <xref ref-type="bibr" rid="ref27">Otley, 1999</xref>; <xref ref-type="bibr" rid="ref1">Behn, 2003</xref>; <xref ref-type="bibr" rid="ref17">Gomes, Yasin, &amp; Lisboa, 2004</xref>; <xref ref-type="bibr" rid="ref5">Broadbent &amp; Laughlin, 2009</xref>; <xref ref-type="bibr" rid="ref7">Choong, 2014a</xref>; <xref ref-type="bibr" rid="ref34">Valmorbida &amp; Ensslin, 2016</xref>), o uso de um sistema de avaliação de desempenho promove conhecimentos sobre questões relacionadas à gestão organizacional e, consequentemente, reconduze as estruturas estratégicas na organização. Portanto, torna-se necessário reavaliar a suficiência do sistema, promovendo atualização no que respeita às métricas, às questões relacionadas ao ambiente interno e externo, bem como se excluem questões desalinhadas aos propósitos da gestão. Esse ajuste é realizado na quarta fase, revisão, onde se busca manter o sistema alinhado à estratégia organizacional e aos interesses de seus usuários (<xref ref-type="bibr" rid="ref25">Neely et al., 1995</xref>; <xref ref-type="bibr" rid="ref4">Bourne et al., 2003</xref>; <xref ref-type="bibr" rid="ref24">Neely, 2005</xref>; <xref ref-type="bibr" rid="ref12">Ferreira &amp; Otley, 2009</xref>; <xref ref-type="bibr" rid="ref26">Nudurupati et al., 2011</xref>; <xref ref-type="bibr" rid="ref15">Franco-Santos et al., 2012</xref>; <xref ref-type="bibr" rid="ref35">Yadav et al., 2014</xref>).</p>
<p>Nesse sentido, compreender como os sistemas se desenvolvem e evoluem ao longo da gestão de uma organização é fundamental para construir conhecimento sobre os fatores que influenciam mudanças e podem agregar valor à administração. Em suma, avançar no conhecimento relacionado aos estágios do ciclo de vida dos sistemas de avaliação de desempenho possui grande relevância, permitindo desenvolver um conhecimento sólido sobre o que se tem por consenso na literatura e o que ainda carece de discussão na mesma.</p>
</sec>
<sec>
<title>
<bold>Procedimentos metodológicos</bold>
</title>
<p>Essa pesquisa exploratória e descritiva, de natureza teórica e qualitativa (<xref ref-type="bibr" rid="ref29">Richardson, 2011</xref>; <xref ref-type="bibr" rid="ref18">Gray, 2013</xref>) se utiliza do instrumento de intervenção <italic>Knowledge Development Process – Constructivist</italic> (ProKnow-C) (<xref ref-type="bibr" rid="ref11">Ensslin et al., 2015</xref>) para viabilizar a seleção de um fragmento da literatura representativo sobre o tema e permitir o desenvolvimento de um mapa conceitual da literatura sobre o ciclo de vida dos SAD. Esse instrumento oferece um processo construtivista para revisar a literatura sobre um tema específico, com o objetivo de desenvolver o entendimento necessário sobre o tema nos pesquisadores (<xref ref-type="bibr" rid="ref11">Ensslin et al., 2015</xref>; <xref ref-type="bibr" rid="ref34">Valmorbida &amp; Ensslin, 2016</xref>; <xref ref-type="bibr" rid="ref20">Matos et al., 2019</xref>).</p>
<p>A partir de um grupo de palavras-chave, definidas a partir de estudos anteriores (<xref ref-type="bibr" rid="ref2">Bititci et al., 2012</xref>; <xref ref-type="bibr" rid="ref34">Valmorbida &amp; Ensslin, 2016</xref>; <xref ref-type="bibr" rid="ref20">Matos et al., 2019</xref>), pesquisados nos resumos, título e palavras-chave, em um grupo de 10 bases de dados, foi possível realizar a seleção de um Portfólio Bibliográfico (PB) representativo da literatura sobre avaliação de desempenho. A pesquisa considerou o limite temporal até o ano de 2017 (maio), período em que foi executada a indagação nas bases de dados. A <xref ref-type="fig" rid="gf1">figura 1</xref> apresenta um resumo do processo de seleção do fragmento da literatura, o qual iniciou com um montante de 34.604 referências e finalizou com um PB representativo composto por 30 artigos teóricos/seminais. Os artigos selecionados estão listados e codificados na <xref ref-type="table" rid="gt1">tabela 1</xref>. Os códigos são utilizados para referenciar os trabalhos diretamente nos mapas conceituais construídos.</p>
<p>
<fig id="gf1">
<label>
<bold>Figura 1</bold>
</label>
<caption>
<title>Resumo do processo de seleção do Portfólio Bibliográfico</title>
</caption>
<alt-text>Figura 1 Resumo do processo de seleção do Portfólio Bibliográfico</alt-text>
<graphic xlink:href="151563103007_gf2.png" position="anchor" orientation="portrait"/>
<attrib>Fonte: elaborado pelos autores, baseado em <xref ref-type="bibr" rid="ref8">Choong (2014b)</xref>.</attrib>
</fig>
</p>
<p>
<table-wrap id="gt1">
<label>Tabela 1</label>
<caption>
<title>Portfólio bibliográfico de artigos selecionado</title>
</caption>
<alt-text>Tabela 1 Portfólio bibliográfico de artigos selecionado</alt-text>
<graphic xlink:href="151563103007_gt2.png" position="anchor" orientation="portrait"/>
<attrib>Fonte: dados da pesquisa.</attrib>
</table-wrap>
</p>
<p>Este PB selecionado serve de base para todo o processo de análise da literatura e para composição do referencial teórico deste trabalho. Para o atendimento ao objetivo proposto, a análise se inicia com a identificação das fases do ciclo de vida dos sistemas de avaliação de desempenho, segundo o trabalho seminal de <xref ref-type="bibr" rid="ref3">Bourne et al. (2000)</xref>. De acordo com <xref ref-type="bibr" rid="ref3">Bourne et al. (2000)</xref>, o ciclo de vida dos sistemas de avaliação de desempenho é composto por três fases: (i) concepção; (ii) implementação; e (iii) uso dos sistemas. No entanto, é explícito durante o artigo que há uma quarta fase, responsável, em todo o processo, por atualizar o sistema e se adaptar a mudanças dentro da organização. Desta forma, será utilizada uma nova etapa, ainda baseada em <xref ref-type="bibr" rid="ref3">Bourne et al. (2000)</xref>, definida como etapa de (iv) revisão.</p>
<p>Para cada uma das quatro fases explicitadas serão identificadas, a partir da análise dos artigos do PB, as características, funções e processos inerentes, tomando-se por base a definição de <xref ref-type="bibr" rid="ref14">Franco-Santos et al. (2007)</xref>. Em seu artigo seminal, <xref ref-type="bibr" rid="ref14">Franco-Santos et al. (2007)</xref> se propuseram a identificar as características, funções e processos relacionados aos SAD, distinguindo os elementos reconhecidos na literatura para construir definições sobre os aspectos necessários e suficientes para a composição de um sistema de avaliação de desempenho. Nesta mesma linha, a proposição do presente artigo vem ao encontro da construção de uma definição sobre os aspectos necessários e suficientes, desta vez relacionada aos estágios do ciclo de vida dos SAD, buscando entender como os sistemas evoluem e quais são os papéis de cada fase. Consequentemente, adota-se a metodologia utilizada por <xref ref-type="bibr" rid="ref14">Franco-Santos et al. (2007)</xref>, onde as características representam as propriedades ou elementos que compõem as fases do ciclo de vida dos sistemas. As funções representam os propósitos almejados com a conclusão de cada uma dessas fases. Por fim, os processos demonstram as ações que se combinam para a realização de cada uma das fases.</p>
<p>Para identificação dos elementos dos estágios dos ciclos de vida, utiliza-se o método denominado como <italic>member checking </italic>por <xref ref-type="bibr" rid="ref9">Creswell (2014)</xref>, onde um dos autores fica responsável pela identificação inicial dos elementos e os demais autores conferem a precisão e a lógica dos achados. Com os aspectos identificados elencados, são construídos os mapas conceituais, utilizando-se daqueles aspectos consensuais entre os diversos autores, ou seja, são considerados apenas aqueles aspectos defendidos por dois ou mais artigos. Estes elementos consensuais permitem compreender como a literatura lida com os estágios do ciclo de vida dos SAD, evidenciando aspectos ainda não abordados na literatura sobre avaliação de desempenho.</p>
</sec>
<sec sec-type="results">
<title>
<bold>Resultados</bold>
</title>
<p>A análise de conteúdo dos artigos selecionados demonstra a diversidade de elementos encontrados e as diferentes formas em que são abordados os sistemas de avaliação de desempenho, no que se referem às características, funções e processos de cada fase do ciclo de vida dos sistemas. Desta forma, a análise permitiu a identificação dessas propriedades a partir dos conteúdos dos artigos, tornando possível a consolidação de elementos consensuais em mapas conceituais sobre as fases do ciclo de vida dos sistemas de avaliação de desempenho.</p>
<sec>
<title>
<bold>
<bold>
<italic>Características das fases do ciclo de vida</italic>
</bold>
</bold>
</title>
<p>As características identificadas a partir da análise de conteúdo são apresentadas na <xref ref-type="fig" rid="gf2">Figura 2</xref>. A figura representa as quatro fases do desenvolvimento dos sistemas de avaliação de desempenho, contendo as características consensuais dos artigos analisados. Graficamente, a imagem procura centralizar aqueles elementos mais citados dos trabalhos selecionados, deixando mais afastados do centro os menos citados. As referências são numeradas dentro das figuras conforme os códigos apresentados durante a seção de procedimentos metodológicos, evidenciados na <xref ref-type="table" rid="gt1">tabela 1</xref>.</p>
<p>Essa primeira análise demonstra um grande contraste existente na literatura a respeito dos sistemas de avaliação de desempenho. Ainda que seja reconhecida a importância de analisar os ciclos de vida dos sistemas de avaliação de desempenho (<xref ref-type="bibr" rid="ref3">Bourne et al., 2000</xref>; <xref ref-type="bibr" rid="ref32">Taticchi &amp; Balachandran, 2008</xref>; <xref ref-type="bibr" rid="ref26">Nudurupati et al., 2011</xref>; <xref ref-type="bibr" rid="ref31">Taticchi et al., 2012</xref>) sob a ótica de suas fases de desenvolvimento, a literatura tem dado ênfase aos elementos de concepção de sistemas, preocupando-se, principalmente, em como devem ser constituídos os sistemas.</p>
<p>A concepção é a fase em que é encontrado o maior número de características consensuais, conforme mostrado na <xref ref-type="fig" rid="gf2">figura 2</xref>. De acordo com a análise realizada, as principais características evidenciadas pelos autores em relação à fase de concepção dos sistemas de avaliação são: (i) os sistemas, a partir das medidas de desempenho, devem derivar e estar alinhados com a estratégia da organização; (ii) devem ser consideradas medidas financeiras e não-financeiras de desempenho; (iii) as medidas de desempenho devem ser identificadas a partir da percepção de seus usuários; (iv) as medidas de desempenho devem estar integradas em um único sistema holístico; (v) metas devem ser estipuladas para cada umas das medidas de desempenho; (vi) os sistemas devem ser multidimensionais, ou seja, devem considerar múltiplos aspectos; e (vii) os sistemas devem ser dinâmicos e flexíveis. Essas características dizem respeito aos elementos que se esperam como elementares para a construção de sistemas de avaliação e são resultados da evolução diante às limitações do modo tradicional dos sistemas de avaliação de desempenho. Importante salientar que foram identificadas mais características consensuais para a fase de concepção, no entanto com representatividade bastante inferior às características apontadas.</p>
<p>A implementação diz respeito à fase em que os procedimentos de coleta e processamento de dados dos sistemas de avaliação são iniciados na organização (<xref ref-type="bibr" rid="ref3">Bourne et al., 2000</xref>). A característica mais citada em relação a esta fase refere-se ao comprometimento e apoio dos gestores da organização, tratada como essencial para o sucesso da implementação dos sistemas. As demais características encontradas são a automatização da coleta de dados e um mecanismo de comunicação que permita o diálogo e o retorno de informações à organização como um todo.</p>
<p>Após a fase de implementação tem-se a continuidade da utilização do sistema, gerando informações relevantes a seus usuários. As características identificadas nos artigos apontam para elementos comunicativos claros e simples, de modo que o uso dos sistemas de avaliação forneça <italic>feedback</italic>para os diversos <italic>stakeholders</italic> das organizações de forma completa, servindo de apoio à gestão.</p>
<p>
<fig id="gf2">
<label>
<bold>Figura 2</bold>
</label>
<caption>
<title>Características consensuais das fases do ciclo de vida dos sistemas de AD</title>
</caption>
<alt-text>Figura 2 Características consensuais das fases do ciclo de vida dos sistemas de AD</alt-text>
<graphic xlink:href="151563103007_gf3.png" position="anchor" orientation="portrait"/>
<attrib>Fonte: elaborado pelos autores.</attrib>
</fig>
</p>
<p>O final do ciclo, com a fase de revisão, representa o repensar na validade do sistema e as características encontradas sinalizam essas propriedades. Segundo as características apontadas, o sistema precisa estar consonante e alinhado com a estratégia da organização, logo o sistema deve ser flexível e possuir um mecanismo de revisão, de modo que as metas, objetivos e medidas estejam sempre de acordo com a estratégia mutável da organização.</p>
<p>Contudo, ainda que sejam encontradas características para cada uma das fases do ciclo de vida dos sistemas de avaliação de desempenho, pouca importância tem sido aplicada pelos artigos seminais do tema para as fases de implementação, uso e revisão. Em verdade, os trabalhos têm demonstrado interesse em como desenvolver sistemas que consigam abranger as necessidades do maior número de usuários possível, com a concepção de quadros conceituais generalistas, discutindo principalmente as características necessárias desses sistemas. Logo, as demais fases não possuem o mesmo volume de características defendidas pelos autores assim como sobre as características da fase de concepção.</p>
</sec>
<sec>
<title>
<bold>
<bold>
<italic>Funções das fases do ciclo de vida</italic>
</bold>
</bold>
</title>
<p>As funções, ou propósitos, de cada uma das fases do ciclo de vida dos sistemas de AD, identificadas a partir da análise de conteúdo, estão elencadas na <xref ref-type="fig" rid="gf3">figura 3</xref>. Essas funções representam as respostas ao questionamento “pra que serve esta fase?”.</p>
<p>Conforme apresentado na <xref ref-type="fig" rid="gf3">figura 3</xref>, as funções identificadas para a fase de concepção dizem respeito à estruturação dos sistemas de avaliação de desempenho, por meio do desenvolvimento medidas de desempenho harmônicas, integradas e dinâmicas, baseadas na estratégia da organização, a qual deve nortear a evolução de objetivos operacionais, contendo metas para o alcance dos objetivos superiores. Desta forma, pode-se inferir que esta fase possui por propósito a construção dos sistemas de avaliação, tomando-se por base a estratégia da organização.</p>
<p>
<fig id="gf3">
<label>
<bold>Figura 3</bold>
</label>
<caption>
<title>Funções consensuais das fases do ciclo de vida dos sistemas de AD</title>
</caption>
<alt-text>Figura 3 Funções consensuais das fases do ciclo de vida dos sistemas de AD</alt-text>
<graphic xlink:href="151563103007_gf4.png" position="anchor" orientation="portrait"/>
<attrib>Fonte: elaborado pelos autores.</attrib>
</fig>
</p>
<p>As funções da fase de implementação direcionam para a efetiva distribuição das informações para que o sistema de avaliação possa ser colocado em uso na organização. É essencial - segundo as funções identificadas nos artigos – que todos os indivíduos da organização sejam comunicados da implementação do sistema, dos objetivos, prioridades, metas e dos direcionamentos desejados para o alcance da estratégia da organização. Por conseguinte, são encontradas funções relativas à promoção da comunicação de informações para o efetivo alinhamento de todas as partes e níveis da empresa à estratégia, para que haja harmonia na busca do alcance e execução dos objetivos estratégicos.</p>
<p>A terceira fase do ciclo de vida dos sistemas de avaliação, fase de uso, recebe maior atenção dos estudos no que diz respeito às funções. Grande parte destes estudos discute a importância e realizam a revisão da literatura quanto à avaliação de desempenho organizacional, e, neste sentido, comumente descrevem os propósitos do uso de sistemas de avaliação de desempenho, o que explica o volume de aspectos encontrados. Dentre as funções identificadas, a busca pela melhoria contínua se apresenta com maior número de referências no fragmento da literatura selecionado. O processo de aprendizagem organizacional, estimulado a partir do uso dos sistemas de avaliação, também se apresenta como importante função. Ainda, são encontradas as funções de quantificação do desempenho e o fornecimento tempestivo de informações aos seus usuários, os quais podem influenciar o comportamento das pessoas. Todas essas funções evidenciam o propósito de promover a gestão da organização, estimulando melhores práticas e a construção de conhecimentos nos diversos usuários das informações, gerando melhores resultados para a empresa.</p>
<p>Para que esse sistema se mantenha alinhado aos seus propósitos, a fase de revisão representa a função de atualização dos sistemas, mantendo-se adequados às mudanças ocorridas nos objetivos estratégicos, sempre com o objetivo de modificar positivamente o <italic>status quo</italic> e estimulando a melhoria contínua na organização. Conforme os objetivos e metas são atingidos, o sistema deve se adaptar e continuar a provocar melhorias na organização.</p>
<p>A partir da análise das funções de cada uma das fases do ciclo de vida dos sistemas de avaliação é possível identificar que apesar da grande importância aplicada à fase de concepção, no que respeitam às características, os estudos estão preocupados com as funções gerais dos sistemas, descrevendo seus propósitos de utilização e suas finalidades, preocupando-se em menor grau quanto às funções de construção e implementação dos sistemas.</p>
</sec>
<sec>
<title>
<bold>
<bold>
<italic>Processos das fases do ciclo de vida</italic>
</bold>
</bold>
</title>
<p>A análise dos processos visa identificar quais são as ações combinadas que devem ser executadas em cada fase do ciclo de vida dos sistemas de avaliação para que o sistema possa efetuar suas funções de forma completa. Os processos consensuais identificados são apresentados na <xref ref-type="fig" rid="gf4">figura 4</xref>.</p>
<p>Os processos que compõem a fase de concepção pretendem à construção e desenvolvimento de sistemas a partir da tradução da estratégia e demais objetivos do negócio em medidas de desempenho operacionais e, inclusive, o estabelecimento de metas para cada medida. Espera-se que os sistemas sejam completados a partir desses processos, definindo indicadores de desempenho baseados nos postulados estratégicos da organização.</p>
<p>Os processos presentes na fase de implementação foram pouco discutidos nos artigos analisados. Contudo, aqueles encontrados relacionam-se com a possibilitar o pleno funcionamento dos sistemas nas organizações, com a definição de procedimentos para coleta de dados, do fluxo de informações e a capacitação e habilitação dos indivíduos para utilização dos sistemas. Neste sentido, evidencia-se a necessidade de maiores discussões relativas ao mapeamento de processos para a implementação de sistemas de avaliação, os quais carecem de maior fundamentação.</p>
<p>Quanto à fase de uso dos sistemas de avaliação, quantificar a eficiência e eficácia de uma ação, conceito defendido por <xref ref-type="bibr" rid="ref25">Neely et al. (1995)</xref>, se apresenta com maior número de referências entre os processos para esta etapa, devido a adoção do conceito por parte dos demais autores. Esse conceito, apesar de vago e generalista, costuma ser tratado na literatura como a definição da avaliação de desempenho, o que demonstra uma consolidação que carece de operacionalização, com maior direcionamento a uma ação em específico. Os restantes processos encontrados se apresentam apoiados na premissa de que os sistemas devem prover informações para o apoio à decisão, com o diagnóstico do desempenho a partir de relatórios gráficos.</p>
<p>Por fim, identificou-se que os processos da fase de revisão, assim como os da fase de implementação, recebem pouca atenção na literatura. Os processos achados apontam para a realização de atualização dos indicadores de desempenho, mantendo-se sempre alinhados com a estratégia e objetivos da organização, mesmo quando alterados em virtude de mudanças. Igualmente, cita-se a retroalimentação de informações aos usuários, o que permite o <italic>feedback</italic>.</p>
<p>
<fig id="gf4">
<label>
<bold>Figura 4</bold>
</label>
<caption>
<title>Processos consensuais das fases do ciclo de vida dos sistemas de AD</title>
</caption>
<alt-text>Figura 4 Processos consensuais das fases do ciclo de vida dos sistemas de AD</alt-text>
<graphic xlink:href="151563103007_gf5.png" position="anchor" orientation="portrait"/>
<attrib>Fonte: elaborado pelos autores.</attrib>
</fig>
</p>
<p>Ante o exposto, é possível verificar que a literatura tem trabalhado com conceitos já estabelecidos, no que diz respeito aos processos. As fases de concepção e uso recebem maior atenção em detrimento das fases de implementação e revisão. Essas constatações salientam a lacuna existente na literatura, mostrando a carência de maiores esforços para a consolidação de conceitos para a área, porém, ao mesmo tempo, promovendo-os.</p>
</sec>
</sec>
<sec sec-type="conclusions">
<title>
<bold>Conclusões</bold>
</title>
<p>Esta pesquisa teve por objetivo desenvolver um mapa conceitual sobre o ciclo de vida dos sistemas de avaliação de desempenho, apontando as características, funções e processos de cada uma de suas fases. Para que o mapa conceitual pudesse ser constituído, foi selecionado um Portfólio Bibliográfico representativo da literatura, composto por 30 artigos teóricos seminais ou emergentes relativos ao tema de avaliação de desempenho. O processo resumido de seleção do PB está apresentado na <xref ref-type="fig" rid="gf1">figura 1</xref>.</p>
<p>A partir desses artigos foi possível desenvolver os mapas conceituais relativos às características, funções e processos das fases de concepção, implementação, uso e revisão dos sistemas de avaliação de desempenho. Assim, desenvolveram-se três mapas conceituais, contendo aspectos consensuais sobre cada fase do ciclo, os quais foram apresentados nas <xref ref-type="fig" rid="gf2">figuras 2</xref>,<xref ref-type="fig" rid="gf3"> 3</xref> e <xref ref-type="fig" rid="gf4">4</xref>.</p>
<p>Os resultados sinalizam elementos essenciais para a composição dos sistemas de avaliação de desempenho e também demonstram uma importante lacuna de pesquisa. Os artigos selecionados, em sua maioria, preocupam-se em maior escala com as fases de concepção e uso dos sistemas. A literatura procurou, e ainda busca, por composições que possam ser generalizadas para a estruturação de sistemas de avaliação, no intuito de encontrar sistemas ou métodos de avaliação de desempenho susceptíveis de serem utilizados por organizações em geral, situação já criticada por outros trabalhos. Outro aspecto bem conduzido pela literatura refere-se às motivações e funções da utilização da avaliação de desempenho como uma ferramenta gerencial de apoio à decisão, com o objetivo de apresentar informações aos seus usuários. No entanto, verificou-se que as fases de implementação e revisão não possuem o mesmo desenvolvimento na literatura, recebendo um menor volume de pesquisas para a consolidação de fundamentos, trata-se então de importante lacuna a ser preenchida por pesquisadores da área. O investimento em fundamento e pesquisas relacionadas ao estágio de atualização dos sistemas de avaliação de desempenho é um diferencial para a pesquisa sobre o tema, o qual carece de maiores discussões para seu fortalecimento.</p>
<p>Recomenda-se, portanto, para ampliação dos achados desta pesquisa, que esta constatação seja estudada a partir da visão dos artigos empíricos da área de avaliação de desempenho, as quais podem ter considerado esses aspectos buscados. Neste sentido, sugere-se a análise de artigos empíricos como possiblidade de pesquisas futuras, o que permitiria uma visão ampliada sobre a matéria e possibilitaria a comparação do que se discute nos artigos conceituais com aqueles estudos aplicados, relacionados à avaliação de desempenho.</p>
<p>Finalmente, evidencia-se que a pesquisa contribui para a consolidação de conhecimentos relacionados aos estágios do ciclo de vida dos SAD, demonstrando aspectos consensuais na literatura, mas que se apresentam dispersos em diferentes áreas ou com linguagens dissonantes, o que dificulta a definição de um alicerce para o tema, conforme levantado por autores da área (<xref ref-type="bibr" rid="ref25">Neely et al., 1995</xref>; <xref ref-type="bibr" rid="ref24">Neely, 2005</xref>; <xref ref-type="bibr" rid="ref2">Bititci et al., 2012</xref>; <xref ref-type="bibr" rid="ref10">Cuccurullo, Aria, &amp; Sarto, 2016</xref>). Desta forma, os resultados da pesquisa favorecem a busca para a robustez do tema.</p>
<p>É importante salientar que, devido ao uso de um instrumento de abordagem construtivista para realização da pesquisa, os resultados encontrados são fruto de delimitações impostas e de análises dos pesquisadores sobre a matéria estudada. Nesse sentido, todo o processo de seleção e de análise dos artigos se baseia na experiência dos pesquisadores com a matéria, tratando-se de uma característica da pesquisa baseada no ProKnow-C, mas que também deve ser levantada como limitação do estudo. Ainda, salienta-se que o universo pesquisado se baseia nas bases de dados escolhidas e nas palavras-chave definidas para o processo, podendo haver trabalhos relevantes que podem não ter sido considerados para o estudo.</p>
</sec>
</body>
<back>
<ref-list>
<title>
<bold>Referencias</bold>
</title>
<ref id="ref1">
<mixed-citation>Behn, R. D. (2003). Why measure performance? Different purposes require different measures. <italic>Public Administration Review, 63</italic>(5), 586-606. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1111/1540-6210.00322">https://doi.org/10.1111/1540-6210.00322</ext-link>.</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Behn</surname>
<given-names>R. D.</given-names>
</name>
</person-group>
<article-title>Why measure performance? Different purposes require different measures.</article-title>
<source>Public Administration Review</source>
<year>2003</year>
<volume>63</volume>
<issue>5</issue>
<fpage>586</fpage>
<lpage>606</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1111/1540-6210.00322">https://doi.org/10.1111/1540-6210.00322</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1111/1540-6210.00322</pub-id>
</element-citation>
</ref>
<ref id="ref2">
<mixed-citation>Bititci, U., Garengo, P., Dörfler, V., &amp; Nudurupati, S. (2012). Performance measurement: challenges for tomorrow. <italic>International Journal of Management Reviews, 14</italic>(3), 305-327. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1111/j.14682370.2011.00318.x">https://doi.org/10.1111/j.14682370.2011.00318.x</ext-link>
</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Bititci</surname>
<given-names>U.</given-names>
</name>
<name>
<surname>Garengo</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Dörfler</surname>
<given-names>V.</given-names>
</name>
<name>
<surname>Nudurupati</surname>
<given-names>S.</given-names>
</name>
</person-group>
<article-title>Performance measurement: challenges for tomorrow</article-title>
<source>International Journal of Management Reviews</source>
<year>2012</year>
<volume>14</volume>
<issue>3</issue>
<fpage>305</fpage>
<lpage>327</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1111/j.14682370.2011.00318.x">https://doi.org/10.1111/j.14682370.2011.00318.x</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1111/j.14682370.2011.00318.x</pub-id>
</element-citation>
</ref>
<ref id="ref3">
<mixed-citation>Bourne, M., Mills, J., Wilcox, M., Neely, A., &amp; Platts, K. (2000). Designing, implementing and updating performance measurement systems. <italic>International Journal of Operations &amp; Production Management, 20</italic>(7). <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/01443570010330739">https://doi.org/10.1108/01443570010330739</ext-link>.</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Bourne</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Mills</surname>
<given-names>J.</given-names>
</name>
<name>
<surname>Wilcox</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Neely</surname>
<given-names>A.</given-names>
</name>
<name>
<surname>Platts</surname>
<given-names>K.</given-names>
</name>
</person-group>
<article-title>Designing, implementing and updating performance measurement systems</article-title>
<source>International Journal of Operations &amp; Production Management</source>
<year>2000</year>
<volume>20</volume>
<issue>7</issue>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/01443570010330739">https://doi.org/10.1108/01443570010330739</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1108/01443570010330739</pub-id>
</element-citation>
</ref>
<ref id="ref4">
<mixed-citation>Bourne, M., Neely, A., Mills, J., &amp; Platts, K. (2003). Implementing performance measurement systems: A literature review. <italic>International Journal of Business Performance Management, 5</italic>(1), 1-24. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1111/j.1540-62.10.2007">https://doi.org/10.1111/j.1540-62.10.2007</ext-link>,00860.x</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Bourne</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Neely</surname>
<given-names>A.</given-names>
</name>
<name>
<surname>Mills</surname>
<given-names>J.</given-names>
</name>
<name>
<surname>Platts</surname>
<given-names>K.</given-names>
</name>
</person-group>
<article-title>Implementing performance measurement systems: A literature review</article-title>
<source>International Journal of Business Performance Management</source>
<year>2003</year>
<volume>5</volume>
<issue>1</issue>
<fpage>1</fpage>
<lpage>24</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1111/j.1540-62.10.2007">https://doi.org/10.1111/j.1540-62.10.2007</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1111/j.1540-62.10.2007,00860.x</pub-id>
</element-citation>
</ref>
<ref id="ref5">
<mixed-citation>Broadbent, J., &amp; Laughlin, R. (2009). Performance management systems: A conceptual model. <italic>Management Accounting Research, 20</italic>(4), 283-295. <ext-link ext-link-type="uri" xlink:href="http://dx.doi.org/10.1016/j.mar.2009.07.004">http://dx.doi.org/10.1016/j.mar.2009.07.004</ext-link>
</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Broadbent</surname>
<given-names>J.</given-names>
</name>
<name>
<surname>Laughlin</surname>
<given-names>R.</given-names>
</name>
</person-group>
<article-title>Performance management systems: A conceptual model</article-title>
<source>Management Accounting Research</source>
<year>2009</year>
<volume>20</volume>
<issue>4</issue>
<fpage>283</fpage>
<lpage>295</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="http://dx.doi.org/10.1016/j.mar.2009.07.004">http://dx.doi.org/10.1016/j.mar.2009.07.004</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1016/j.mar.2009.07.004</pub-id>
</element-citation>
</ref>
<ref id="ref6">
<mixed-citation>Castro, C. M. (1977). <italic>A prática da pesquisa</italic>. São Paulo: McGraw-Hill do Brasil.</mixed-citation>
<element-citation publication-type="book">
<person-group person-group-type="author">
<name>
<surname>Castro</surname>
<given-names>C. M.</given-names>
</name>
</person-group>
<source>A prática da pesquisa</source>
<year>1977</year>
<publisher-loc>São Paulo</publisher-loc>
<publisher-name>McGraw-Hill do Brasil</publisher-name>
</element-citation>
</ref>
<ref id="ref7">
<mixed-citation>Choong, K. K. (2014a). The fundamentals of performance measurement systems: A systematic approach to theory and a research agenda. <italic>International Journal of Productivity and Performance Management, 63</italic>(7), 879-922. <ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1108/IJPPM-01-2013-0015">http://doi.org/10.1108/IJPPM-01-2013-0015</ext-link>
</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Choong</surname>
<given-names>K. K.</given-names>
</name>
</person-group>
<article-title>The fundamentals of performance measurement systems: A systematic approach to theory and a research agenda</article-title>
<source>International Journal of Productivity and Performance Management</source>
<year>2014</year>
<volume>63</volume>
<issue>7</issue>
<fpage>879</fpage>
<lpage>922</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1108/IJPPM-01-2013-0015">http://doi.org/10.1108/IJPPM-01-2013-0015</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1108/IJPPM-01-2013-0015</pub-id>
</element-citation>
</ref>
<ref id="ref8">
<mixed-citation>Choong, K. K. (2014b). Has this large number of performance measurement publications contributed to its better understanding? A systematic review for research and applications. <italic>International Journal of Production Research, 52</italic>(14), 4174-4197. <ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1080/00207543.2013.866285">http://doi.org/10.1080/00207543.2013.866285</ext-link>
</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Choong</surname>
<given-names>K. K.</given-names>
</name>
</person-group>
<article-title>Has this large number of performance measurement publications contributed to its better understanding? A systematic review for research and applications</article-title>
<source>International Journal of Production Research</source>
<year>2014</year>
<volume>52</volume>
<issue>14</issue>
<fpage>4174</fpage>
<lpage>4197</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1080/00207543.2013.866285">http://doi.org/10.1080/00207543.2013.866285</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1080/00207543.2013.866285</pub-id>
</element-citation>
</ref>
<ref id="ref9">
<mixed-citation>Creswell, J. W. (2014). <italic>Research design: qualitative, quantitative, and mixed methods approaches</italic>, 4th ed. London: Sage Publications.</mixed-citation>
<element-citation publication-type="book">
<person-group person-group-type="author">
<name>
<surname>Creswell</surname>
<given-names>J. W.</given-names>
</name>
</person-group>
<source>Research design: qualitative quantitative and mixed methods approaches</source>
<year>2014</year>
<publisher-loc>London</publisher-loc>
<publisher-name>Sage Publications</publisher-name>
<edition>4th</edition>
</element-citation>
</ref>
<ref id="ref10">
<mixed-citation>Cuccurullo, C., Aria, M., &amp; Sarto, F. (2016). Foundations and trends in performance management. A twenty-five years bibliometric analysis in business and public administration domains. <italic>Scientometrics</italic>, 108(2), 595-611. <ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1007/s11192-016-1948-8">http://doi.org/10.1007/s11192-016-1948-8</ext-link>.</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Cuccurullo</surname>
<given-names>C.</given-names>
</name>
<name>
<surname>Aria</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Sarto</surname>
<given-names>F.</given-names>
</name>
</person-group>
<article-title>Foundations and trends in performance management. A twenty-five years bibliometric analysis in business and public administration domains</article-title>
<source>Scientometrics</source>
<year>2016</year>
<volume>108</volume>
<issue>2</issue>
<fpage>595</fpage>
<lpage>611</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1007/s11192-016-1948-8">http://doi.org/10.1007/s11192-016-1948-8</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1007/s11192-016-1948-8</pub-id>
</element-citation>
</ref>
<ref id="ref11">
<mixed-citation>Ensslin, S. R., Ensslin, L., Matos, L. D. S., Dutra, A., &amp; Ripoll-Feliu, V. M. (2015). Research opportunities in performance measurement in public utilities regulation. <italic>International Journal of Productivity and Performance Management, 64</italic>(7), 994-1017. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/IJPPM-05-2014-0067">https://doi.org/10.1108/IJPPM-05-2014-0067</ext-link>
</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Ensslin</surname>
<given-names>S. R.</given-names>
</name>
<name>
<surname>Ensslin</surname>
<given-names>L.</given-names>
</name>
<name>
<surname>Matos</surname>
<given-names>L. D. S.</given-names>
</name>
<name>
<surname>Dutra</surname>
<given-names>A.</given-names>
</name>
<name>
<surname>Ripoll-Feliu</surname>
<given-names>V. M.</given-names>
</name>
</person-group>
<article-title>Research opportunities in performance measurement in public utilities regulation</article-title>
<source>International Journal of Productivity and Performance Management</source>
<year>2015</year>
<volume>64</volume>
<issue>7</issue>
<fpage>994</fpage>
<lpage>1017</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/IJPPM-05-2014-0067">https://doi.org/10.1108/IJPPM-05-2014-0067</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1108/IJPPM-05-2014-0067</pub-id>
</element-citation>
</ref>
<ref id="ref12">
<mixed-citation>Ferreira, A., &amp; Otley, D. (2009). The design and use of performance management systems: An extended framework for analysis. <italic>Management Accounting Research, 20</italic>(4), 263-282. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/j.mar.2009.07.003">https://doi.org/10.1016/j.mar.2009.07.003</ext-link>
</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Ferreira</surname>
<given-names>A.</given-names>
</name>
<name>
<surname>Otley</surname>
<given-names>D.</given-names>
</name>
</person-group>
<article-title>The design and use of performance management systems: An extended framework for analysis</article-title>
<source>Management Accounting Research</source>
<year>2009</year>
<volume>20</volume>
<issue>4</issue>
<fpage>263</fpage>
<lpage>282</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/j.mar.2009.07.003">https://doi.org/10.1016/j.mar.2009.07.003</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1016/j.mar.2009.07.003</pub-id>
</element-citation>
</ref>
<ref id="ref13">
<mixed-citation>Folan, P., &amp; Browne, J. (2005). A review of performance measurement: Towards performance management. <italic>Computers in Industry, 56</italic>(7), 663-680. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/j.compind.2005.03.001">https://doi.org/10.1016/j.compind.2005.03.001</ext-link>.</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Folan</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Browne</surname>
<given-names>J.</given-names>
</name>
</person-group>
<article-title>A review of performance measurement: Towards performance management</article-title>
<source>Computers in Industry</source>
<year>2005</year>
<volume>56</volume>
<issue>7</issue>
<fpage>663</fpage>
<lpage>680</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/j.compind.2005.03.001">https://doi.org/10.1016/j.compind.2005.03.001</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1016/j.compind.2005.03.001</pub-id>
</element-citation>
</ref>
<ref id="ref14">
<mixed-citation>Franco-Santos, M., Kennerley, M., Micheli, P., Martinez, V., Mason, S., Marr, B., Neely, A. (2007). Towards a definition of a business performance measurement system. <italic>International Journal of Operations and Production Management, 27</italic>(8), 784-801. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/01443570710763778">https://doi.org/10.1108/01443570710763778</ext-link>.</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Franco-Santos</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Kennerley</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Micheli</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Martinez</surname>
<given-names>V.</given-names>
</name>
<name>
<surname>Mason</surname>
<given-names>S.</given-names>
</name>
<name>
<surname>Marr</surname>
<given-names>B.</given-names>
</name>
<name>
<surname>Neely</surname>
<given-names>A.</given-names>
</name>
</person-group>
<article-title>Towards a definition of a business performance measurement system</article-title>
<source>International Journal of Operations and Production Management</source>
<year>2007</year>
<volume>27</volume>
<issue>8</issue>
<fpage>784</fpage>
<lpage>801</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/01443570710763778">https://doi.org/10.1108/01443570710763778</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1108/01443570710763778</pub-id>
</element-citation>
</ref>
<ref id="ref15">
<mixed-citation>Franco-Santos, M., Lucianetti, L., &amp; Bourne, M. (2012). Contemporary performance measurement systems: A review of their consequences and a framework for research. <italic>Management Accounting Research</italic>, 23(2), 79-119. <ext-link ext-link-type="uri" xlink:href="http://dx.doi.org/10.1016/j.mar.2012.04.001">http://dx.doi.org/10.1016/j.mar.2012.04.001</ext-link>.</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Franco-Santos</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Lucianetti</surname>
<given-names>L.</given-names>
</name>
<name>
<surname>Bourne</surname>
<given-names>M.</given-names>
</name>
</person-group>
<article-title>Contemporary performance measurement systems: A review of their consequences and a framework for research</article-title>
<source>Management Accounting Research</source>
<year>2012</year>
<volume>23</volume>
<issue>2</issue>
<fpage>79</fpage>
<lpage>119</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="http://dx.doi.org/10.1016/j.mar.2012.04.001">http://dx.doi.org/10.1016/j.mar.2012.04.001</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1016/j.mar.2012.04.001</pub-id>
</element-citation>
</ref>
<ref id="ref16">
<mixed-citation>Ghalayini, A. M., &amp; Noble, J. S. (1996). The changing basis of performance measurement. <italic>International Journal of Operations and Production Management, 16</italic>(8), 63-80. <ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1108/01443579610125787">http://doi.org/10.1108/01443579610125787</ext-link>
</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Ghalayini</surname>
<given-names>A. M.</given-names>
</name>
<name>
<surname>Noble</surname>
<given-names>J. S.</given-names>
</name>
</person-group>
<article-title>The changing basis of performance measurement</article-title>
<source>International Journal of Operations and Production Management</source>
<year>1996</year>
<volume>16</volume>
<issue>8</issue>
<fpage>63</fpage>
<lpage>80</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1108/01443579610125787">http://doi.org/10.1108/01443579610125787</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1108/01443579610125787</pub-id>
</element-citation>
</ref>
<ref id="ref17">
<mixed-citation>Gomes, C. F., Yasin, M. M., &amp; Lisboa, J. V. (2004). A literature review of manufacturing performance measures and measurement in an organizational context: A framework and direction for future research. <italic>Journal of Manufacturing Technology Management, 15</italic>(6), 511-530. <ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1108/17410380410547906">http://doi.org/10.1108/17410380410547906</ext-link>.</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Gomes</surname>
<given-names>C. F.</given-names>
</name>
<name>
<surname>Yasin</surname>
<given-names>M. M.</given-names>
</name>
<name>
<surname>Lisboa</surname>
<given-names>J. V.</given-names>
</name>
</person-group>
<article-title>A literature review of manufacturing performance measures and measurement in an organizational context: A framework and direction for future research</article-title>
<source>Journal of Manufacturing Technology Management</source>
<year>2004</year>
<volume>15</volume>
<issue>6</issue>
<fpage>511</fpage>
<lpage>530</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="http://doi.org/10.1108/17410380410547906">http://doi.org/10.1108/17410380410547906</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1108/17410380410547906</pub-id>
</element-citation>
</ref>
<ref id="ref18">
<mixed-citation>Gray, D. E. (2013). <italic>Doing research in the real world</italic>. London: Sage Publications.</mixed-citation>
<element-citation publication-type="book">
<person-group person-group-type="author">
<name>
<surname>Gray</surname>
<given-names>D. E.</given-names>
</name>
</person-group>
<source>Doing research in the real world</source>
<year>2013</year>
<publisher-loc>London</publisher-loc>
<publisher-name>Sage Publications</publisher-name>
</element-citation>
</ref>
<ref id="ref19">
<mixed-citation>Lebas, M. J. (1995). Performance measurement and performance management. <italic>International Journal of Production Economics, 41</italic>(1), 23-35. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/0925-5273(95)00081-X">https://doi.org/10.1016/0925-5273(95)00081-X</ext-link>
</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Lebas</surname>
<given-names>M. J.</given-names>
</name>
</person-group>
<article-title>Performance measurement and performance management</article-title>
<source>International Journal of Production Economics</source>
<year>1995</year>
<volume>41</volume>
<issue>1</issue>
<fpage>23</fpage>
<lpage>35</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/0925-5273(95)00081-X">https://doi.org/10.1016/0925-5273(95)00081-X</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1016/0925-5273(95)00081-X</pub-id>
</element-citation>
</ref>
<ref id="ref20">
<mixed-citation>Matos, L. S., Valmorbida, S. M. I., Martins, V. A., &amp; Ensslin, S. R. (2019). Development of performance evaluation theme: a systematic analysis of the literature. <italic>Contextus – Revista Contemporânea de Economia e Gestão, 17</italic>(2), 63-97. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.19094/contextus.v17i2.40146">https://doi.org/10.19094/contextus.v17i2.40146</ext-link>
</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Matos</surname>
<given-names>L. S.</given-names>
</name>
<name>
<surname>Valmorbida</surname>
<given-names>S. M. I.</given-names>
</name>
<name>
<surname>Martins</surname>
<given-names>V. A.</given-names>
</name>
<name>
<surname>Ensslin</surname>
<given-names>S. R.</given-names>
</name>
</person-group>
<article-title>Development of performance evaluation theme: a systematic analysis of the literature</article-title>
<source>Contextus – Revista Contemporânea de Economia e Gestão</source>
<year>2019</year>
<volume>17</volume>
<issue>2</issue>
<fpage>63</fpage>
<lpage>97</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.19094/contextus.v17i2.40146">https://doi.org/10.19094/contextus.v17i2.40146</ext-link>
</comment>
<pub-id pub-id-type="doi">10.19094/contextus.v17i2.40146</pub-id>
</element-citation>
</ref>
<ref id="ref21">
<mixed-citation>Micheli, P., &amp; Manzoni, J.-F. (2010). Strategic perform.ance measurement: Benefits, limitations and paradoxes. <italic>Long Range Planning, 43</italic>(4), 465-476. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/j.lrp.2009.12.004">https://doi.org/10.1016/j.lrp.2009.12.004</ext-link>.</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Micheli</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Manzoni</surname>
<given-names>J.-F.</given-names>
</name>
</person-group>
<article-title>Strategic perform.ance measurement: Benefits, limitations and paradoxes</article-title>
<source>Long Range Planning</source>
<year>2010</year>
<volume>43</volume>
<issue>4</issue>
<fpage>465</fpage>
<lpage>476</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/j.lrp.2009.12.004">https://doi.org/10.1016/j.lrp.2009.12.004</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1016/j.lrp.2009.12.004</pub-id>
</element-citation>
</ref>
<ref id="ref22">
<mixed-citation>Micheli, P., &amp; Mari, L. (2014). The theory and practice of performance measurement. <italic>Management Accounting Research, 25</italic>(2), 147-156. <ext-link ext-link-type="uri" xlink:href="http://dx.doi.org/10.1016/j.mar.2013.07.005">http://dx.doi.org/10.1016/j.mar.2013.07.005</ext-link>.</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Micheli</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Mari</surname>
<given-names>L.</given-names>
</name>
</person-group>
<article-title>The theory and practice of performance measurement</article-title>
<source>Management Accounting Research</source>
<year>2014</year>
<volume>25</volume>
<issue>2</issue>
<fpage>147</fpage>
<lpage>156</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="http://dx.doi.org/10.1016/j.mar.2013.07.005">http://dx.doi.org/10.1016/j.mar.2013.07.005</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1016/j.mar.2013.07.005</pub-id>
</element-citation>
</ref>
<ref id="ref23">
<mixed-citation>Neely, A. (1999). The performance measurement revolution: why now and what next? <italic>International Journal of Operations &amp; Production Management, 19</italic>(2), 205-228. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/01443579910247437">https://doi.org/10.1108/01443579910247437</ext-link>.</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Neely</surname>
<given-names>A.</given-names>
</name>
</person-group>
<article-title>The performance measurement revolution: why now and what next?</article-title>
<source>International Journal of Operations &amp; Production Management</source>
<year>1999</year>
<volume>19</volume>
<issue>2</issue>
<fpage>205</fpage>
<lpage>228</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/01443579910247437">https://doi.org/10.1108/01443579910247437</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1108/01443579910247437</pub-id>
</element-citation>
</ref>
<ref id="ref24">
<mixed-citation>Neely, A. (2005). The evolution of performance measurement research. Developments in the last decade and a research agenda for the next. <italic>International Journal of Operations and Production Management, 25</italic>(12), 1264-1277. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/01443570510633648">https://doi.org/10.1108/01443570510633648</ext-link>.</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Neely</surname>
<given-names>A.</given-names>
</name>
</person-group>
<article-title>The evolution of performance measurement research. Developments in the last decade and a research agenda for the next</article-title>
<source>International Journal of Operations and Production Management</source>
<year>2005</year>
<volume>25</volume>
<issue>12</issue>
<fpage>1264</fpage>
<lpage>1277</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/01443570510633648">https://doi.org/10.1108/01443570510633648</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1108/01443570510633648</pub-id>
</element-citation>
</ref>
<ref id="ref25">
<mixed-citation>Neely, A., Gregory, M., &amp; Platts, K. (1995). Performance measurement system design: A literature review and research agenda. <italic>International Journal of Operations &amp; Production Management, 15</italic>(4). <ext-link ext-link-type="uri" xlink:href="http://dx.doi.org/10.1108/01443579510083622">http://dx.doi.org/10.1108/01443579510083622</ext-link>.</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Neely</surname>
<given-names>A.</given-names>
</name>
<name>
<surname>Gregory</surname>
<given-names>M.</given-names>
</name>
<name>
<surname>Platts</surname>
<given-names>K.</given-names>
</name>
</person-group>
<article-title>Performance measurement system design: A literature review and research agenda</article-title>
<source>International Journal of Operations &amp; Production Management</source>
<year>1995</year>
<volume>15</volume>
<issue>4</issue>
<comment>
<ext-link ext-link-type="uri" xlink:href="http://dx.doi.org/10.1108/01443579510083622">http://dx.doi.org/10.1108/01443579510083622</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1108/01443579510083622</pub-id>
</element-citation>
</ref>
<ref id="ref26">
<mixed-citation>Nudurupati, S. S., Bititci, U. S., Kumar, V., &amp; Chan, F. T. (2011). State of the art literature review on performance measurement. <italic>Computers and Industrial Engineering, 60</italic>(2), 279-290. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/j.cie.2010.11.010">https://doi.org/10.1016/j.cie.2010.11.010</ext-link>.</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Nudurupati</surname>
<given-names>S. S.</given-names>
</name>
<name>
<surname>Bititci</surname>
<given-names>U. S.</given-names>
</name>
<name>
<surname>Kumar</surname>
<given-names>V.</given-names>
</name>
<name>
<surname>Chan</surname>
<given-names>F. T.</given-names>
</name>
</person-group>
<article-title>State of the art literature review on performance measurement</article-title>
<source>Computers and Industrial Engineering</source>
<year>2011</year>
<volume>60</volume>
<issue>2</issue>
<fpage>279</fpage>
<lpage>290</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/j.cie.2010.11.010">https://doi.org/10.1016/j.cie.2010.11.010</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1016/j.cie.2010.11.010</pub-id>
</element-citation>
</ref>
<ref id="ref27">
<mixed-citation>Otley, D. (1999). Performance management: a framework for management control systems research. <italic>Management Accounting Research, 10</italic>(4), 363-382. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1006/mare.1999.0115">https://doi.org/10.1006/mare.1999.0115</ext-link>
</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Otley</surname>
<given-names>D.</given-names>
</name>
</person-group>
<article-title>Performance management: a framework for management control systems research</article-title>
<source>Management Accounting Research</source>
<year>1999</year>
<volume>10</volume>
<issue>4</issue>
<fpage>363</fpage>
<lpage>382</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1006/mare.1999.0115">https://doi.org/10.1006/mare.1999.0115</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1006/mare.1999.0115</pub-id>
</element-citation>
</ref>
<ref id="ref28">
<mixed-citation>Otley, D. (2003). Management control and performance management: whence and whither? <italic> British Accounting Review, 35</italic>(4), 309-326. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/j.bar.2003.08.002">https://doi.org/10.1016/j.bar.2003.08.002</ext-link>.</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Otley</surname>
<given-names>D.</given-names>
</name>
</person-group>
<article-title>Management control and performance management: whence and whither?</article-title>
<source>British Accounting Review</source>
<year>2003</year>
<volume>35</volume>
<issue>4</issue>
<fpage>309</fpage>
<lpage>326</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1016/j.bar.2003.08.002">https://doi.org/10.1016/j.bar.2003.08.002</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1016/j.bar.2003.08.002</pub-id>
</element-citation>
</ref>
<ref id="ref29">
<mixed-citation>Richardson, R. J. (2011). <italic>Pesquisa social: Métodos e técnicas</italic>. São Paulo: Editorial Atlas.</mixed-citation>
<element-citation publication-type="book">
<person-group person-group-type="author">
<name>
<surname>Richardson</surname>
<given-names>R. J.</given-names>
</name>
</person-group>
<source>Pesquisa social: Métodos e técnicas</source>
<year>2011</year>
<publisher-loc>São Paulo</publisher-loc>
<publisher-name>Editorial Atlas</publisher-name>
</element-citation>
</ref>
<ref id="ref30">
<mixed-citation>Tangen, S. (2004). Performance measurement: from philosophy to practice. <italic>International Journal of Productivity and Performance Management, 53</italic>(8). <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/17410400410569134">https://doi.org/10.1108/17410400410569134</ext-link>.</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Tangen</surname>
<given-names>S.</given-names>
</name>
</person-group>
<article-title>Performance measurement: from philosophy to practice</article-title>
<source>International Journal of Productivity and Performance Management</source>
<year>2004</year>
<volume>53</volume>
<issue>8</issue>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/17410400410569134">https://doi.org/10.1108/17410400410569134</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1108/17410400410569134</pub-id>
</element-citation>
</ref>
<ref id="ref31">
<mixed-citation>Taticchi, P., Balachandran, K., &amp; Tonelli, F. (2012). Performance measurement and management systems: state of the art, guidelines for design and challenges. <italic>Measuring Business Excellence, 16</italic>(2), 41-54. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/13683041211230311">https://doi.org/10.1108/13683041211230311</ext-link>
</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Taticchi</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Balachandran</surname>
<given-names>K.</given-names>
</name>
<name>
<surname>Tonelli</surname>
<given-names>F.</given-names>
</name>
</person-group>
<article-title>Performance measurement and management systems: state of the art, guidelines for design and challenges</article-title>
<source>Measuring Business Excellence</source>
<year>2012</year>
<volume>16</volume>
<issue>2</issue>
<fpage>41</fpage>
<lpage>54</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/13683041211230311">https://doi.org/10.1108/13683041211230311</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1108/13683041211230311</pub-id>
</element-citation>
</ref>
<ref id="ref32">
<mixed-citation>Taticchi, P., &amp; Balachandran, K. R. (2008). Forward performance measurement and management integrated frameworks. <italic>International Journal of Accounting &amp; Information Management, 16</italic>(2), 140-154. <ext-link ext-link-type="uri" xlink:href="https://www.emerald.com/insight/content/doi/10.1108/18347640810913807/full/html">https://www.emerald.com/insight/content/doi/10.1108/18347640810913807/full/html</ext-link>
</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Taticchi</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Balachandran</surname>
<given-names>K. R.</given-names>
</name>
</person-group>
<article-title>Forward performance measurement and management integrated frameworks</article-title>
<source>International Journal of Accounting &amp; Information Management</source>
<year>2008</year>
<volume>16</volume>
<issue>2</issue>
<fpage>140</fpage>
<lpage>154</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://www.emerald.com/insight/content/doi/10.1108/18347640810913807/full/html">https://www.emerald.com/insight/content/doi/10.1108/18347640810913807/full/html</ext-link>
</comment>
</element-citation>
</ref>
<ref id="ref33">
<mixed-citation>Taticchi, P., Tonelli, F., &amp; Cagnazzo, L. (2010). Performance measurement and management: a literature review and a research agenda. <italic>Measuring Business Excellence, 14</italic>(1), 4-18. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/13683041011027418">https://doi.org/10.1108/13683041011027418</ext-link>
</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Taticchi</surname>
<given-names>P.</given-names>
</name>
<name>
<surname>Tonelli</surname>
<given-names>F.</given-names>
</name>
<name>
<surname>Cagnazzo</surname>
<given-names>L.</given-names>
</name>
</person-group>
<article-title>Performance measurement and management: a literature review and a research agenda</article-title>
<source>Measuring Business Excellence</source>
<year>2010</year>
<volume>14</volume>
<issue>1</issue>
<fpage>4</fpage>
<lpage>18</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/13683041011027418">https://doi.org/10.1108/13683041011027418</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1108/13683041011027418</pub-id>
</element-citation>
</ref>
<ref id="ref34">
<mixed-citation>Valmorbida, S., &amp; Ensslin, L. (2016). Construção de conhecimento sobre avaliação de desempenho para gestão organizacional: uma investigação nas pesquisas científicas internacionais. <italic>Revista Contemporânea de Contabilidade, 13</italic>(28), 123-148. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.5007/2175-8069.2016v13n28p123">https://doi.org/10.5007/2175-8069.2016v13n28p123</ext-link>
</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Valmorbida</surname>
<given-names>S.</given-names>
</name>
<name>
<surname>Ensslin</surname>
<given-names>L.</given-names>
</name>
</person-group>
<article-title>Construção de conhecimento sobre avaliação de desempenho para gestão organizacional: uma investigação nas pesquisas científicas internacionais</article-title>
<source>Revista Contemporânea de Contabilidade</source>
<year>2016</year>
<volume>13</volume>
<issue>28</issue>
<fpage>123</fpage>
<lpage>148</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.5007/2175-8069.2016v13n28p123">https://doi.org/10.5007/2175-8069.2016v13n28p123</ext-link>
</comment>
<pub-id pub-id-type="doi">10.5007/2175-8069.2016v13n28p123</pub-id>
</element-citation>
</ref>
<ref id="ref35">
<mixed-citation>Yadav, N., Sushil, &amp; Sagar, M. (2014). Revisiting performance measurement and management: Deriving linkages with strategic management theories. <italic>International Journal of Business Performance Management, 15</italic>(2), 87-105. <ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1504/IJBPM.2014.060146">https://doi.org/10.1504/IJBPM.2014.060146</ext-link>.</mixed-citation>
<element-citation publication-type="journal">
<person-group person-group-type="author">
<name>
<surname>Yadav</surname>
<given-names>N.</given-names>
</name>
<name>
<surname>Sushil</surname>
</name>
<name>
<surname>Sagar</surname>
<given-names>M.</given-names>
</name>
</person-group>
<article-title>Revisiting performance measurement and management: Deriving linkages with strategic management theories</article-title>
<source>International Journal of Business Performance Management</source>
<year>2014</year>
<volume>15</volume>
<issue>2</issue>
<fpage>87</fpage>
<lpage>105</lpage>
<comment>
<ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1504/IJBPM.2014.060146">https://doi.org/10.1504/IJBPM.2014.060146</ext-link>
</comment>
<pub-id pub-id-type="doi">10.1504/IJBPM.2014.060146</pub-id>
</element-citation>
</ref>
</ref-list>
<fn-group>
<fn id="fn2" fn-type="other">
<label>*</label>
<p>Artigo de pesquisa científica e tecnológica.</p>
</fn>
</fn-group>
</back>
</article>