Satisfação em aprender: identificando a percepção dos estudantes sobre o uso de tecnologias da educação*

Satisfaction in Learning: Identifying Student Perceptions About the Use of Education Technologies

Satisfacción en el aprendizaje: identificando las percepciones de los estudiantes sobre el uso de las tecnologías de la educación

Cuadernos de Contabilidad, vol. 18, núm. 46, 2017

Pontificia Universidad Javeriana

Alexandre Costa Quintana a

Universidade Federal do Rio Grande, Brasil


Luís Eduardo Afonso

Universidade de São Paulo, Brasil


Recepção: 21 Março 2017

Aprovação: 15 Maio 2017

Publicado: 15 Dezembro 2017

Resumo: Este trabalho tem dois objetivos. O primeiro é analisar o reflexo do uso de chats e fóruns de discussão no processo de aprendizagem, sob a perspectiva do nível de satisfação e de eficácia de aprendizagem. O segundo é verificar a percepção do estudante sobre o uso destas tecnologias. A combinação de tecnologias da educação com o processo de ensino, por meio de alternativas complementares pode gerar reflexos no aprendizado, em ambientes nos que o estudante tem mais facilidades e habilidades. Com isso, envolve-se o professor em um processo de ajuste na sua forma de atuar para atingir o objetivo de levar o conhecimento e a informação ao estudante. O estudo consistiu na realização de um experimento em que foram constituídos um grupo de tratamento e um grupo de controle. O primeiro, além das atividades normais da disciplina, experimentou as interações tecnológicas no primeiro bimestre. No segundo bimestre, os grupos foram invertidos, com o grupo de controle passando a ser o de tratamento e vice-versa. Os resultados mostram que o uso das tecnologias não interferiu na satisfação e eficácia de aprendizagem. Em relação à percepção, observou-se que 80% dos estudantes entendem que o efeito da tecnologia no processo de aprendizagem pode ser positivo.

Código JEL: C93

Palavras-chave Tecnologia educacional, satisfação, eficácia de aprendizagem, percepção, experimento.

Abstract: This article has 2 objectives. The first one is to analyze the reflections on the use of chats and discussion forums in the learning process, from the perspective of the levels of satisfaction and learning efficiency. The second is to review the students' perceptions of the use of these technologies. When it is done through complementary alternatives, the combination of education technologies with the teaching process can generate reflections on learning, in an environment where the student has more facilities and skills, but it also serves as a motivating element. With this, the teacher is involved in a process of adjustment, as it allows to achieve the goal of bringing knowledge and information to the student. The study consisted of an experiment in which a treatment group and a control group were constituted. Besides the normal activities of the discipline, the first one experimented with the technological interactions during the first 2 months. In the second 2-month period, the groups were reversed, with the control group becoming the treatment group, and vice versa. The results show that the use of the technologies did not interfere in the satisfaction and the efficacy of learning. Regarding perception, it was observed that 80% of students understand that the effect of technology in the learning process can be positive.

Keywords: Educational technology, satisfaction, efficacy of learning, perception, experiment.

Resumen: Este artículo tiene dos objetivos. El primero es analizar las reflexiones sobre el uso de los chats y foros de discusión en el proceso de aprendizaje, desde la perspectiva de los niveles de satisfacción y la eficiencia del aprendizaje. El segundo es revisar las percepciones de los estudiantes sobre el uso de esas tecnologías. Cuando se hace a través de alternativas complementarias, la combinación de tecnologías de la educación con el proceso de enseñanza puede generar reflexiones sobre el aprendizaje en un entorno en el que el estudiante tiene más habilidades y destrezas, pero también sirve como elemento motivador. Con esto, el profesor se involucra en un proceso de ajuste, ya que ello le permite lograr la meta de brindarle conocimiento e información al estudiante. El estudio consistió en un experimento en el que se conformaron un grupo de tratamiento y un grupo de controles. Además de las actividades normales de la discplina, en el primer grupo se experimentó con las interacciones tecnológicas durante los dos primeros meses. En el periodo de segundo mes, se invirtieron los grupos: el grupo de controles pasó a ser el de tratamiento y viceversa. Los resultados muestran que el uso de las tecnologías no interfirió en la satisfacción y la eficacia del aprendizaje. Con respecto a la percepción, se observó que el 80% de los estudiantes entienden que el efecto de la tecnología en el proceso de aprendizaje puede ser positivo.

Palabras clave: Tecnología educativa, satisfacción, eficacia del aprendizaje, percepción, experimento.

Introdução

Os estudantes colocam forte ênfase no uso da tecnologia para colaborar na organização de suas relações sociais. Assim, eles entendem que os principais benefícios da utilização das tecnologias na educação são o apoio para a comunicação com professores e outros colegas e a conveniência e o controle que estas lhes oferecem na gestão dos seus estudos (Waycott, Bennett, Kennedy, Dalgarno e Gray, 2010).

Existem várias formas de interação entre a tecnologia e o processo de aprendizagem. Os fóruns de discussão facilitam a troca de informações, pois permitem aos estudantes acompanhar várias discussões que ocorrem simultaneamente (Hewitt, 2005). Além disso, o fórum é uma importante ferramenta utilizada para avaliar a aprendizagem dos estudantes no ambiente virtual, esta promove a cooperação, a análise crítica, o diálogo, a discussão e a autoavaliação (Rodrigues e Borges, 2012).

Cruz (2006) afirma que o chat, por ter características de mídia síncrona, faz que os estudantes se sintam mais motivados a utilizá-lo, pois conhecem esta interface para se relacionar com colegas e professores. Uma das vantagens apontadas é que o estudante pode tirar dúvidas online, sem precisar deixar para depois. Para Cruz (2006), esse tipo de interação pode gerar uma forma de aprendizagem colaborativa.

No estudo de Larson e Sung (2009), realizado na Universidade de Illinois, o ensino misto e o ensino online foram considerados melhores em relação à satisfação dos estudantes, à eficácia de aprendizagem e à satisfação do corpo docente. Russell (1999) realizou uma meta-análise em que constatou que não houve diferenças significativas no desempenho e aprendizagem de estudantes, em função da utilização do ensino presencial ou online.

É importante apontar que uma das características da área da contabilidade no Brasil é a existência de uma quantidade significativa de cursos de graduação. Segundo o censo do Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (INEP), órgão do governo federal), em 2012, existem 1.129 cursos, normalmente em turmas com alto número de estudantes. Uma parcela significativa das aulas ocorre no período noturno para alunos que trabalham durante o dia. Ou seja, essas características tendem a prejudicar o desempenho dos estudantes. Desta maneira, o uso da tecnologia pode ter efeito na satisfação em aprender e na percepção dos estudantes sobre o uso da tecnologia. Define-se assim a seguinte questão de pesquisa: como o uso de chats e fóruns de discussão pode refletir no nível de satisfação e de eficácia de aprendizagem do estudante, a partir da percepção destes estudantes sobre o uso de tecnologia da educação no processo de aprendizagem?

Desta forma, o objetivo do presente estudo foi analisar o reflexo do uso de chats e fóruns de discussão no processo de aprendizagem, sob a perspectiva do nível de satisfação e de eficácia de aprendizagem e da percepção do estudante sobre o uso destas tecnologias.

Avalia-se que o diferencial do estudo esteja na utilização de um experimento para identificar, por meio da percepção dos estudantes, a medida de satisfação e eficácia de aprendizagem. Além de indicar como a utilização de tecnologias, especialmente chat e fóruns de discussão, pode manter o processo de aprendizagem atraente e motivador para os estudantes. No estudo de Keengwe, Schnellert e Mills (2012), 69,2% do corpo docente entrevistado indicou que as tecnologias motivam aos estudantes no processo de aprendizagem.

A escolha do chat e fórum, como interações tecnológicas utilizadas no presente estudo, deve-se ao fato de serem formas de comunicação mais acessíveis e de fácil entendimento para o estudante. Também motivou essa escolha o estudo de Cruz (2006), cujo resultado indicou que a conduta individual está relacionada com a conduta social, assim, o indivíduo é resultado do ambiente em que se encontra. Os estudantes, ao participarem de um chat ou de um fórum de discussão, interessam-se por um assunto e conversam sobre as questões colocadas. Surgem, assim, novos interesses que irão contribuir para a sua formação. Desta maneira, os estudantes acabam utilizando os meios tecnológicos não como uma obrigação determinada, mas porque sentem a necessidade de se comunicar com os colegas.

Este trabalho está dividido em cinco seções. A primeira trata da definição do objetivo de pesquisa e do contexto em que o tema está exposto. A segunda seção traz a revisão da literatura com um foco principal nas tecnologias da educação. A seção seguinte descreve os procedimentos metodológicos. Por fim, a quarta e quinta seção apresentam, respectivamente, os resultados e as conclusões.

Revisão da literatura

Aprendizagem online

Em ambientes de aprendizagem online, as características ambientais, como interação síncrona ou assíncrona, criam um ambiente de comunicação de alto nível que permite aos estudantes não só compartilhar informações, mas também determinar como obter informações úteis. Assim, a satisfação ambiental irá melhorar a percepção dos estudantes sobre a tecnologia, de forma que vá promover sua participação nos processos de aprendizagem. Além disso, as atividades de aprendizagem em um ambiente virtual fornecem uma excelente oportunidade para os estudantes e instrutores compartilharem seu conhecimento e experiência (Liaw, 2008).

Para entender como o uso da tecnologia pode contribuir para aumentar a satisfação com a aprendizagem, deve-se, inicialmente, definir como acontece essa relação entre satisfação e aprendizagem. Por isso, optou-se pelo modelo de atenção, relevância, confiança e satisfação (ARCS) proposto por Keller (1983). Neste, a satisfação é definida como a percepção do estudante de ser capaz de alcançar o sucesso e ter sentimentos positivos com os resultados obtidos no aprendizado, ou seja, a satisfação torna-se necessária para que os estudantes fiquem mais motivados no processo de aprendizagem.

A satisfação refere-se à combinação de recompensas extrínsecas e reforço intrínseco e se estes são compatíveis com a percepção anterior do estudante. Por exemplo, seria de esperar que um estudante que terminou o período no décimo melhor desempenho, em uma turma de 100 alunos, se sentisse bem. Mas, se esse estudante tinha um concorrente, que era percebido como inferior, e esse competidor ficou em sétimo lugar, o estudante pode se sentir mal. Tudo o que precede pode ser satisfatório para certos estudantes, pelo menos em parte do tempo. No entanto, o uso indevido desses resultados pode ser negativo. O passo final no processo de motivação é criar satisfação para que isso não represente um elemento que descontinue a motivação de aprender (Keller, 1983).

Assim, ações de reforço intrínseco (desejo interno de aprender) e recompensas extrínsecas (reconhecimento pelas realizações dos estudantes) são essenciais para que a satisfação de aprendizagem seja um componente da motivação do estudante (Keller, 1992).

Desta forma, podem-se identificar três componentes da satisfação: consequências naturais, consequências positivas e equidade. As consequências naturais referem-se ao fornecimento de amostras de problemas, simulações ou de trabalhos que permitam aos estudantes ver como eles podem resolver problemas do “mundo real”, a partir do aprendizado obtido. Em relação às consequências positivas, identificam-se o uso do elogio verbal, de recompensas reais ou simbólicas e de incentivos ou deixar que os estudantes apresentem os resultados de seus esforços (mostrar e dizer) para recompensar o sucesso. Por fim, a equidade relaciona-se à definição de requisitos de desempenho consistentes com as expectativas estabelecidas, o que fornece padrões de medição adequados para todas as tarefas e realizações dos estudantes (Keller, 1987).

Além disso, é possível identificar três determinantes essenciais de satisfação: eficácia de aprendizagem percebida, capacidade de aprendizagem percebida e aprendizado com o apoio do grupo (Hui, Hu, Clark, Tam e Milton, 2008).

Neste sentido, observa-se que, além de medir eficácia de aprendizagem objetivamente pelos resultados dos testes ou provas, pode-se examinar o grau em que o estudante acredita que ele adquiriu habilidades específicas. Assim, quando os materiais são entregues de uma forma mais simples pode-se melhorar a eficácia da aprendizagem do estudante e a sua satisfação, pela capacidade de aprendizagem percebida por ele (Hui et al., 2008). No caso específico deste estudo, imaginou-se que a forma mais fácil de aprender seria pelo uso das tecnologias da educação como o chat e o fórum.

Além disso, estudos como o de Powers e Mitchell (1997) relatam as experiências colaborativas como um importante efeito positivo da aprendizagem. A percepção do apoio da comunidade de aprendizagem ocorre na medida em que um ambiente de aprendizagem cria uma comunidade ativa, fortemente relacionada, e que incentive e facilite o intercâmbio de conhecimento entre os pares e seus instrutores. Portanto, a aprendizagem por meio tecnológico pode ser um importante elemento de apoio a esse tipo de ação.

Desta forma, observa-se a possibilidade de uma relação consistente entre a utilização das tecnologias da educação e a satisfação no processo de aprendizagem, dentro deste ambiente. Neste sentido, a combinação de tecnologias da educação com o processo de ensino, por meio de alternativas complementares, pode gerar reflexos no aprendizado, em um ambiente onde o estudante conta com mais facilidades e habilidades, e que serve de elemento para sua motivação e consequente melhoria do desempenho. Com isso, envolve-se o professor em um processo de ajuste na sua forma de atuar para atingir o objetivo de levar o conhecimento e a informação ao estudante.

A crescente utilização de ferramentas digitais em sala de aula –blogs, wikis, podcasts, chat online e redes sociais– está redefinindo a forma como as pessoas estão adquirindo e compartilhando informações; além do conceito de aprender. Em meio à retórica de comemoração sobre o uso dessas ferramentas, ainda existe a necessidade de repensar perspectivas sobre a aprendizagem em sala de aula (Beach, 2012).

Tecnologias da educação

As tecnologias de informação e os meios de comunicação oferecem muitas oportunidades para apoiar os processos de ensino-aprendizagem. Eles promovem motivação, interesse, criatividade, imaginação e comunicação, o que promove a habilidade para resolver problemas e trabalho em equipe, reforça a autoestima e permite maior autonomia na aprendizagem. Assim, as plataformas educacionais facilitam a criação e gestão de conteúdos e o desenvolvimento de atividades educacionais, o que possibilita a aplicação de propostas abrangentes individualizadas para cada estudante. Por meio de ferramentas de comunicação, as plataformas educacionais permitem a construção de redes de comunicação e interação com pessoas de outros lugares, isto abre a instituição educacional para o mundo e facilita a criação de comunidades virtuais de aprendizagem (Segura, 2009).

Neste sentido, os educadores estão se defrontando com diversas questões, em função da disseminação de computadores e redes sociais, relacionadas com o papel das tecnologias em suas práticas profissionais. Estas questões surgem da inquietação pessoal, e são motivadas tanto pelo desejo de exploração do potencial didático desses novos recursos quanto pelo abandono da zona de segurança do trabalho consolidado em direção a um território desconhecido (Starobinas, 2008).

O modelo de aceitação da tecnologia proposto por Davis (1989) destaca a utilidade e facilidade percebido como um dos principais impulsionadores para a aceitação da tecnologia. Desta forma, os usuários precisam enxergá-la como uma ferramenta útil que pode melhorar a sua eficiência de aprendizagem.

O referido modelo, originalmente denominado Technology Acceptance Model (TAM), tem como foco identificar por que os usuários aceitam ou rejeitam a tecnologia da informação e qual é a forma de aumentar a sua aceitação. A ideia do modelo é compreender a relação entre variáveis de aceitação dos indivíduos e o uso efetivo da tecnologia, procurando entender a atitude dos indivíduos, por meio do conhecimento da utilidade e da facilidade de utilização percebida por eles (Davis, 1989). No entendimento do autor, o indivíduo usa ou não a tecnologia com a intenção de melhorar seu desempenho (utilidade percebida). No entanto, apesar de compreender a sua utilidade, ela pode ser prejudicada se o seu emprego for complexo (facilidade percebida).

Neste sentido, o modelo sugere que as pessoas poderão usar a tecnologia se entenderem que o seu uso lhes será favorável, com foco na facilidade de uso e na utilidade percebida. Assim, o tempo que seria destinado a uma atividade pode ser despendido em outras atividades, em função da facilidade de uso percebida. Em consequência, a realização de mais atividades com o mesmo esforço provoca um efeito direto sobre a utilidade percebida (Davis, Bagozzi e Warshaw, 1989).

Por ser um modelo comportamental, também é útil para entender a causa da não aceitação de determinada tecnologia, ou seja, está diretamente relacionado com o usuário e suas percepções sobre a tecnologia (Davis, 1989). Por isso, nos estudos de Davis et al. (1989), observou-se que os indivíduos formam percepções gerais de utilidade de uma tecnologia, que estão fortemente ligadas às intenções de uso. Desta forma, quando o indivíduo tem a intenção de uso e percebe a sua utilidade, passa a ter um comportamento de aceitação da tecnologia; caso não tenha a intenção de uso e não perceba a sua utilidade, ele acaba por não aceitar a tecnologia. No caso específico deste estudo, a percepção do estudante sobre a aceitação ou não do chat e do fórum de discussão, como meios tecnológicos para desenvolver o seu processo de aprendizagem, pode ser um fator essencial na satisfação em aprender. Em função desta aceitação, na percepção do estudante, o chat e o fórum podem ser caracterizados como tecnologias da educação.

As tecnologias da educação são uma ferramenta potencialmente poderosa para estender as oportunidades educacionais, formais e informais. As tecnologias de informação tornam possível a aprendizagem assíncrona, ou aprendizagem caracterizada por um lapso de tempo entre a entrega das atividades e a recepção do material pelo curso. Além disso, certos tipos de tecnologias, como teleconferência, permitem que a instrução seja dada simultaneamente, para estudantes dispersos geograficamente, ou seja, a aprendizagem síncrona (Soin, 2011).

Procedimentos metodológicos

O estudo foi realizado em uma universidade federal do sul do Brasil. Os participantes foram os estudantes do primeiro semestre do curso de Ciências Contábeis matriculados na disciplina Contabilidade Introdutória. Os motivos da escolha da instituição estão relacionados à facilidade de acesso do pesquisador, que, além de ser seu professor, tem relação com os demais professores do curso, e a direção da universidade, o que possibilita maior controle das variáveis do experimento. Além disso, no curso, foi desenvolvido um projeto sobre o uso da tecnologias na educação, o que aproximou o curso à proposta de estudo. Também existe interesse da instituição na realização de estudos nesta área, visto que existe uma unidade que desenvolve projetos sobre o uso das tecnologias.

Foi realizado um experimento, cuja intervenção era o uso das tecnologias da educação, com o intuito de identificar os reflexos do uso dessas tecnologias sobre o processo de aprendizagem. Os dois grupos foram definidos como de Tratamento (GT) e de Controle (GC), aqui o primeiro experimentou as interações tecnológicas. Neste estudo, as variáveis independentes estão relacionadas às interações tecnológicas. Duas tecnologias foram utilizadas em cada bimestre do experimento: um fórum de discussão e dois chats. Os fóruns e os chats serviram para compor um ambiente de aprendizagem interativo e foram escolhidos por representar formas de abordagens diferentes: uma síncrona (chat) e a outra assíncrona (fóruns). Além disso, são meios de interação acessíveis aos estudantes, independentemente do local e equipamento que eles utilizem, e também são opções sobre as quais o professor pode manter maior controle quanto à participação dos estudantes.

Para a coleta das informações foram empregados dois questionários aplicados ao final de cada bimestre. O primeiro teve o objetivo de analisar a satisfação dos estudantes e a eficácia de sua aprendizagem. O segundo visou conhecer a percepção discente sobre os impactos das tecnologias no aprendizado. O primeiro questionário foi aplicado aos dois grupos e o segundo apenas para o grupo que utilizou a tecnologia.

Para a realização do experimento foram seguidas as seguintes etapas:

  1. Composição dos dois grupos (tratamento e controle) de estudantes, matriculados na disciplina Contabilidade Introdutória do curso de Ciências Contábeis. A distribuição dos estudantes foi feita dividindo-os em duas turmas, por meio de um sorteio. Isto atende ao requisito de randomização da composição dos grupos. (List, Sadoff e Wagner, 2011).

  2. Troca dos grupos, ao final do 1o bimestre, ou seja, o grupo de tratamento do 1o bimestre passou a ser o grupo de controle no 2o bimestre, e este passou a ser o grupo de tratamento. A intenção foi equalizar o efeito do tratamento, evitando que os estudantes de um grupo se sentissem prejudicados em relação ao outro grupo. Este procedimento visa (a) evitar o resentful demoralization (Smith, 2015) e (b) contornar um possível problema ético, ao dar acesso à mesma tecnologia aos dois grupos, mesmo que em bimestres diferentes (Gall, Gall e Borg, 2002).

  3. No primeiro dia de aula, foi explicado que iria ocorrer o experimento e que os estudantes precisariam assinar um termo de consentimento para concordar em participar do estudo.

  4. Utilização das tecnologias para o grupo de tratamento no transcorrer dos bimestres, com a realização de dois chats e um fórum de discussão.

  5. Aplicação de um questionário ao final de cada bimestre para os dois grupos. A finalidade era analisar a satisfação e a eficácia de aprendizagem com o uso de tecnologias, conforme modelo de Hui et al. (2008).

  6. Aplicação de outro questionário, ao final de cada bimestre, para o grupo de tratamento. O objetivo era identificar a percepção dos estudantes em relação ao uso das tecnologias e seu reflexo no processo de aprendizagem.

  7. Análise comparativa das respostas do questionário sobre satisfação e eficácia de aprendizagem, nos grupos de controle e de tratamento, e entre as respostas do primeiro e segundo bimestres.

  8. Análise das respostas do questionário sobre a percepção dos estudantes. O objetivo era identificar os reflexos que o uso da tecnologia poderia provocar no processo de aprendizagem e que não foram mensurados através do desempenho e do questionário de satisfação e eficácia de aprendizagem.

O sistema de apoio foi baseado no ambiente virtual de aprendizagem da plataforma Moodle, na qual foi possível o gerenciamento do conteúdo e das atividades desenvolvidas. O ambiente foi utilizado pelos dois grupos (tratamento e controle) da mesma forma, sendo que apenas as funções relacionadas ao chat e fórum foram de uso exclusivo dos estudantes do grupo de tratamento.

O primeiro questionário, utilizado para a coleta de dados, foi sobre satisfação e eficácia de aprendizagem, adaptado de Hui et al. (2008). O qual, por sua vez, é baseado no modelo Attention, Relevance, Confidence and Satisfaction (ARCS) de Keller (1983), que é complementado por Powers e Mitchell (1997), sobre o aspecto do aprendizado com apoio do grupo. O questionário foi estruturado em quatro partes, nas quais o estudante deveria expressar a sua opinião sobre satisfação e eficácia de aprendizagem, por meio dos seguintes tópicos: satisfação de aprender, eficácia da aprendizagem percebida, aprendizado do curso e aprender com o apoio do grupo. Nesse questionário adotou-se uma escala Likert, buscando obter o entendimento dos estudantes em relação aos pontos apresentados, com a intenção de saber se usar ou não a tecnologia interferia na satisfação do estudante em aprender.

O segundo instrumento de coleta de dados foi o questionário sobre a percepção dos estudantes em relação ao uso de tecnologia. O instrumento procurou identificar a percepção dos estudantes em relação à habilidade e às dificuldades no emprego da tecnologia (Harris, Mishra e Koehler, 2009), se a interação com a tecnologia era agradável para o estudante (Beach, 2012), se provocava desvio de foco (Strang, 2011), e, com base no TAM de Davis (1989), se identificava a utilidade percebida e a percepção de facilidade de uso da tecnologia durante o experimento.

Resultados

O experimento foi realizado no 1º semestre de 2015, na disciplina Contabilidade Introdutória, ministrada para os alunos do 1º semestre do curso de Ciências Contábeis. Seguindo o procedimento metodológico descrito na seção anterior, a turma foi dividida e formaram-se os grupos de tratamento e de controle. Com o objetivo de randomizar a composição dos grupos, antes do processo de matrícula dos ingressantes, o pesquisador fez contato com a Divisão de Registro e Matrícula para compor esses grupos. Considerando que o processo de matrícula na universidade é baseado nos resultados do Sistema de Seleção Unificado (SISU) do Ministério da Educação, o pesquisador buscou informações sobre a distribuição dos estudantes nas duas turmas criadas. Foi constatado que os estudantes eram distribuídos de acordo com um número de vaga (informação do SISU). Para efeito de registro, foram identificados como “Vaga 1”, “Vaga 2”, “Vaga 3”, e assim até a “Vaga 50”.

Conforme o exposto no parágrafo anterior, o pesquisador reuniu-se com o coordenador do curso de Ciências Contábeis para realizar um sorteio e, assim, compor as duas turmas de forma aleatória, tendo em conta a identificação das vagas. Isto, porque é importante considerar a validade interna do experimento, que deve garantir para a seleção aleatória de forma a equalizar a composição dos grupos (Gall, Gall e Borg, 2002), antes mesmo da definição do nome dos estudantes aprovados no processo de seleção do SISU. O sorteio foi realizado com a impressão de pequenos pedaços de papel com os números da vaga, que foram dobrados e colocados em um saco plástico. Após o sorteio, o coordenador do curso emitiu um documento, no qual descrevia o resultado do sorteio. Este foi enviado à área de registro da Universidade para o devido processamento da matrícula e alocação dos estudantes nas turmas.

No primeiro bimestre, uma das turmas, designada “Turma A”, foi definida como Grupo de Tratamento (GT). A “Turma C” foi definida como Grupo de Controle (GC). No segundo bimestre houve a inversão entre controle e tratamento, de forma que os estudantes não fossem prejudicados com respeito ao uso da tecnologia. A tabela 1 ilustra o procedimento.

Tabela 1
Divisão das turmas em GT e GC
Divisão das turmas em GT e GC


Fonte: elaborado pelos autores

Conforme o mencionado anteriormente, esse procedimento foi realizado para compensar as ameaças ligadas às variáveis externas que podem comprometer a validade interna do experimento, a equalização compensatória no tratamento e a desmoralização ressentida do grupo de controle. Se os estudantes alocados ao GC percebessem desvantagens em relação ao GT, poderiam, de alguma forma, provocar efeitos externos ao experimento nos resultados. Por isso, com a troca nos bimestres, houve uma compensação e o sentimento de desvantagem pôde ser eliminado (Joyce et al., 2015).

Na sequência, com o início das aulas, foi possível precisar o número de estudantes que, realmente, iriam frequentar a disciplina, pois alguns estudantes matriculam-se mas não frequentam a disciplina. A tabela 2 apresenta o número de estudantes por grupo em cada bimestre. Observa-se que a diferença entre o número de estudantes em cada bimestre é decorrência das desistências ocorridas durante no 1º bimestre.

Tabela 2
Estudantes presentes na primeira aula de cada bimestre
Estudantes presentes na primeira
aula de cada bimestre


Fonte: elaborado pelos autores

No início do semestre letivo foi estabelecido uma programação que previa a realização de dois chats e um fórum de discussão para o grupo de tratamento em cada bimestre. O primeiro chat ocorreu na terceira semana de aula. A atividade foi realizada sem imprevistos, com a participação de 30 estudantes. No início do segundo mês de aula teve início o fórum de discussão. Este foi conduzido a partir de um caso prático. O fórum foi realizado no sistema Moodle e teve a participação de 17 estudantes. A segunda interação com o uso de chat aconteceu no dia 15/04/2015. A atividade também ocorreu sem imprevistos e houve participação de 28 estudantes. No final do bimestre foi aplicado o questionário sobre satisfação e eficácia de aprendizagem aos dois grupos e o questionário sobre a percepção dos estudantes sobre o uso da tecnologia, apenas para o GT.

No segundo bimestre, as turmas foram invertidas, de forma que o GT virou GC. Neste bimestre também foram realizados dois chats e um fórum de discussão com o grupo de tratamento. O primeiro chat teve a participação de 27 estudantes e uma média de 26 intervenções por estudante. No segundo chat a média foi de 19 intervenções por estudante. O fórum contou com a participação de seis estudantes que geraram oito intervenções. Os demais estudantes acessaram o fórum, mas não participaram.

O desenvolvimento do experimento durante os dois bimestres permitiu a comparação entre os resultados do 1º e 2º bimestre, em relação à satisfação e eficácia de aprendizagem, percepção dos estudantes sobre o uso da tecnologia e desempenho dos grupos. A tabela 3 compara os resultados do questionário aplicado aos estudantes sobre satisfação e eficácia de aprendizagem da Turma A, que no 1º bimestre era o GT e no 2º bimestre, passou a ser o GC.

Em relação à satisfação em aprender, no GT, foram registradas 124 respostas de concordância, que representam 66,7% do total. Já no GC foram 97 respostas de concordância (67,4% do total). Ao analisar as respostas em relação à satisfação em aprender da turma, por meio do teste de correlação de Pearson, observou-se um coeficiente de 0,9872. O que indica uma alta correlação entre as respostas de concordância para esse item, ou seja, a Turma A teve respostas muito semelhantes quando era GT e quando era GC.

Na eficácia de aprendizagem percebida, a concordância chegou a 146 respostas (78,5%), no GT e a 112 respostas (77,8%), no GC. O teste de correlação de Pearson resultou em um coeficiente de 0,9950, o que também indica uma forte correlação entre as respostas.

Desta forma, nestes aspectos não houve mudança significativa no percentual de concordância na Turma A, o que denota que o uso da tecnologia não interferiu na satisfação em aprender e na eficácia de aprendizagem percebida. Por outro lado, no item de aprender com apoio do grupo, nesta tabela, ressalta-se que a Turma A teve uma concordância de 55,9% (52 respostas) quando foi GT, e que a esta aumentou para 68% (49 respostas) quando foi GC. O teste de correlação de Pearson resultou em uma correlação moderada, com coeficiente de 0,6539, o que mostra que no momento do uso da tecnologia a percepção das Turmas sobre aprender com apoio dos colegas foi um pouco menor do que no momento das aulas presenciais. Isso indica que o uso da tecnologia, apesar de não ter afetado a percepção sobre satisfação e eficácia, provocou uma visão de maior distanciamento entre os colegas, talvez porque a aula chat, mesmo tendo a participação de todo o grupo, permitia maior relação com a professora do que com os colegas. Estes achados vão em direção oposta aos resultados de Liaw (2008), que mostram que as atividades de aprendizagem em ambiente virtual fornecem uma importante oportunidade para os estudantes e instrutores compartilharem seu conhecimento e experiência. Assim, mesmo que o ambiente virtual possa representar uma importante possibilidade de interação, é necessário que o estudante perceba essa situação, senão a visão do grupo pode indicar maior distanciamento.

Tabela 3
Satisfação e eficácia de aprendizagem (Turma A)
Satisfação e eficácia de aprendizagem (Turma
A)

Legenda: não concordo totalmente (1), não concordo parcialmente (2), indiferente (3), concordo parcialmente (4), concordo totalmente (5).


Fonte: elaborado pelos autores

Os resultados da Turma C aparecem na tabela 4. Essa Turma foi o GC no 1º bimestre e o GT no 2º bimestre. Pode-se observar que os percentuais de concordância total ou parcial tiveram uma significativa redução de um bimestre para outro. Ou seja, o uso de tecnologia não foi aceito pela Turma com satisfação. O primeiro grupo de questões, relacionados ao item satisfação em aprender, indicou uma redução no percentual de concordância de 84,4% (152 respostas) como GC para o 38,0% como GT. O teste de correlação de Pearson mostrou um coeficiente de 0,2032, ou seja, a correlação é fraca. Na eficácia de aprendizagem percebida, também houve redução de 82,2% de concordância para o 52,67% da turma, no entanto, o teste de correlação de Pearson mostrou uma forte correlação entre as respostas, com um coeficiente de 0,9841. Isso indica que, apesar da mudança nas respostas em relação à satisfação em aprender, o perfil de respostas quanto à eficácia de aprendizagem percebida manteve-se semelhante na troca de GC para GT. Em relação a aprender com o apoio do grupo, o teste de correlação de Pearson (coeficiente 0,3847) também indicou que o uso da tecnologia prejudicou a percepção dos estudantes em relação ao trabalho com os colegas, pois as respostas do teste mostraram uma fraca correlação, ou seja, os estudantes indicaram que o ambiente de apoio do grupo foi maior quando a turma foi GC do que quando foi GT.

Tabela 4
Satisfação e eficácia de aprendizagem (Turma C)
Satisfação
e eficácia de aprendizagem (Turma C)

Legenda: não concordo totalmente (1), não concordo parcialmente (2), indiferente (3), concordo parcialmente (4), concordo totalmente (5).


Fonte: elaborado pelos autores

Os resultados evidenciam que a turma que iniciou o semestre com a tecnologia (Turma A) não teve maiores problemas com o seu uso e tampouco com o não uso da tecnologia. Por outro lado, a turma que começou sem a tecnologia (Turma C), e passou a usá-la durante o segundo bimestre, apresentou um nível maior de insatisfação e de não concordância com os pontos apresentados no questionário. Conforme apontou-se previamente, um dos itens de validade interna de um experimento é a desmoralização ressentida do grupo de controle. Por isso, nos passos metodológicos foi realizada a troca dos grupos de tratamento e controle de um bimestre para outro. No entanto, essa troca pode ter gerado um desconforto para o GC do 1º bimestre, pois apesar de a troca ter sido realizada para dar a mesma oportunidade de contato com a tecnologia para os dois grupos, e, assim, evitar o ressentimento, pode ter havido um efeito inverso, em função de a turma ter se mostrado satisfeita em não utilizar a tecnologia. Conforme o exposto por Vasconcelos e Pinochet (2008), as percepções dos grupos podem ser diferentes, pois dependem da forma como se apropriam e atribuem sentido à tecnologia; a mesma tecnologia pode induzir reações diferenciadas, dependendo de seus perfis pessoais.

O questionário sobre a percepção dos estudantes sobre o uso da tecnologia foi aplicado apenas para o grupo de tratamento, com o objetivo de identificar qual foi o sentimento dos estudantes. A formulação do questionário e o seu e timing fundamentaram-se nos trabalhos de Harris et al. (2009), Beach (2012), Strang (2011), Davis (1989), Abrami, Bernard, Bures, Borokhovski e Tamim (2011), e Roblyer, McDaniel, Webb, Herman e Witty (2010).

Em relação à percepção dos estudantes sobre o uso de tecnologia, observa-se na tabela 5 que os estudantes da Turma A (GT – 1º bimestre) indicaram ser mais habilidosos com o trato da tecnologia, e que saber antecipadamente que a disciplina envolvia o uso de tecnologia trouxe mais motivação do que para os estudantes da Turma C (GT – 2º bimestre). Esta turma também apontou sentir mais dificuldade com o uso da tecnologia, onde 56% (14 respostas) do grupo responderam “sim” a esta questão. Deve-se observar que as diferenças percentuais nestes itens não são altas, mas esses resultados mostram que uma parte importante da Turma C (GT – 2º bimestre) apresentou dificuldades com o uso da tecnologia, e até mesmo em relação à motivação com a disciplina, no momento em que começaram as aulas com interação com a tecnologia. Por isso, de alguma forma, isso pode justificar as respostas de não concordância em relação à satisfação e eficácia de aprendizagem. Por outro lado, a Turma A, como estava mais motivada para as aulas com uso da tecnologia, acabou ficando mais satisfeita com as interações. Esse indicativo torna-se importante para interpretar que a habilidade anterior do estudante com tecnologia, o seu interesse e a motivação são elementos relevantes para que atividades com uso de tecnologia tenham um efeito positivo no processo de aprendizagem. Neste sentido, os resultados do estudo de Robb e Sutton (2014) indicam que a motivação dos estudantes é particularmente necessária em um ambiente onde a tecnologia pode ser entendida como uma substituição da presença humana no ensino. Desta forma, a construção da motivação dos estudantes, por meio da utilização da tecnologia, deve ajudar a superar os desafios da aprendizagem online e melhorar os resultados.

Tabela 5
Percepção geral antes e após o uso da tecnologia: comparação entre os resultados dos bimestres
Percepção geral antes e após o uso da
tecnologia: comparação entre os resultados dos bimestres


Fonte: elaborado pelos autores

Em relação ao TAM de Davis (1989), nos dois bimestres fica evidente que os estudantes perceberam a facilidade de uso da tecnologia. No entanto, uma parte dos grupos não conseguiu perceber a utilidade da tecnologia nas suas atividades. Observa-se que mais de 57% das duas turmas concordaram com a facilidade de uso, mas quando se trata de perceber a utilidade ocorreu uma redução nos percentuais na Turma A, onde a concordância é de 44,6% (83 respostas) e na Turma C é de 31,3% (47 respostas).

O teste de correlação de Pearson apresentou o coeficiente 0,8851, o que indica uma correlação forte entre as respostas do 1º e o 2º bimestre, em relação à percepção dos estudantes sobre a facilidade de uso da tecnologia e a confirmação que as duas turmas concordam com este item. No entanto, em relação à utilidade percebida, o coeficiente apurado foi -0,4070, ou seja, a pouca correlação existente é negativa, e isso se deve à diferença da percepção de utilidade, em que a Turma A tem uma posição mais favorável à utilidade e a Turma C, uma posição contrária.

Na tabela 6, destaque-se que 48 respostas (32%) da Turma C não concordaram totalmente com a utilidade, ou seja, um terço da turma não conseguiu identificar em suas atividades a utilidade da tecnologia, o que levou à rejeição do seu uso no processo de aprendizagem. Segundo Davis et al. (1989), a realização de mais atividades com o mesmo esforço provoca um efeito direto sobre a utilidade percebida. No caso do presente estudo, a Turma A percebeu, em parte, esse efeito de utilidade e a Turma C não percebeu essa utilidade.

Tabela 6
Technology Acceptance Model (TAM): comparação entre os resultados dos bimestres

Technology Acceptance Model (TAM): comparação entre
os resultados dos bimestres

Legenda: não concordo totalmente (1), não concordo parcialmente (2), indiferente (3), concordo parcialmente (4), concordo totalmente (5).


Fonte: elaborado pelos autores

Mesmo com dificuldade para perceber a utilidade da tecnologia, nota-se que 80% do total dos estudantes que responderam ao questionário (com a suma dos dois grupos) entendem que o efeito da tecnologia no processo de aprendizagem pode ser positivo e que o uso da tecnologia no ensino de Contabilidade pode trazer algum diferencial. A maioria do grupo indicou que o ideal é o uso moderado da tecnologia no processo de aprendizagem, ou seja, o grupo entendeu que a tecnologia é importante no processo, mas o uso intenso ainda não é algo entendido como adequado.

Há similaridade entre os grupos no que se refere à descrição da experiência com o uso da tecnologia. Ambos destacam-na como algo interessante, inovador e importante, mas evidenciam que existem algumas dificuldades de habilidade pessoal e de acesso à Internet que prejudicam o processo. Além disso, existe uma preferência dos estudantes pela aula presencial, principalmente, porque em Contabilidade utilizam-se muitos dados e números e, com isso, o uso da tecnologia acaba dificultando a visualização dessas informações, especialmente no segundo bimestre, em que o foco foi controle de estoque.

Conclusões

Neste trabalho, foi explorado o uso da tecnologia sob a perspectiva da satisfação e eficácia de aprendizagem e da percepção do estudante. Para tanto, adotou-se como estratégia a realização de um experimento em uma sala de aula, dividida em dois grupos, da disciplina Contabilidade Introdutória, do curso de Ciências Contábeis presencial de uma Universidade Pública Federal do Brasil. A composição dos grupos de tratamento e de controle foi feita de forma aleatória. O Grupo de Tratamento do primeiro bimestre tornou-se o Grupo de Controle do segundo bimestre, e vice-versa. Em cada bimestre foram realizados dois chats e um fórum de discussão no grupo de tratamento.

Para atingir o objetivo de analisar o reflexo do uso de chats e fóruns de discussão no processo de aprendizagem, sob a perspectiva do nível de satisfação e de eficácia de aprendizagem e da percepção do estudante sobre o uso destas tecnologias, foram aplicados dois questionários. Com base nos resultados do questionário sobre satisfação e eficácia de aprendizagem (Hui et al., 2008; Keller, 1983; Powers e Mitchell, 1997), observou-se que o uso das tecnologias não interferiu na satisfação e eficácia de aprendizagem, pois no Grupo de Tratamento do primeiro bimestre (que passou a ser o Grupo de Controle no segundo bimestre) não houve diferenças significativas no tocante à satisfação e à eficácia de aprendizagem entre os bimestres. Já no Grupo de Controle do primeiro bimestre os níveis de satisfação e eficácia de aprendizagem foram maiores em relação ao segundo bimestre, quando passou a ser o Grupo de Tratamento, chegando a mais de 40 pontos percentuais a diferença entre esses dois momentos, o que indica que a maioria dos estudantes que fizeram parte do Grupo de Controle no primeiro bimestre não concordaram com o uso da tecnologia no processo de aprendizagem.

Em relação a identifição da percepção dos estudantes sobre o uso de tecnologia da educação no processo de aprendizagem (Harris et al., 2009; Beach, 2012; Strang, 2011; Davis 1989), observou-se que 80% dos estudantes entendem que pode ser positivo o efeito da tecnologia no processo de aprendizagem e que o uso da tecnologia no ensino de Contabilidade pode trazer algum diferencial. No entanto, parte dos estudantes teve dificuldade em identificar sua utilidade específica nas atividades acadêmicas. Mesmo assim, 44,62% das respostas dos estudantes da Turma A e 31,33% da Turma C manifestaram concordância em relação à utilidade percebida. Apesar da dificuldade de alguns estudantes em identificar a utilidade da tecnologia, a percepção geral é que as tecnologias da educação trazem efeitos positivos ao processo de aprendizagem.

Conclui-se, assim, que o reflexo do uso do chat e fórum de discussão é identificado na percepção da utilidade destas ferramentas no processo de aprendizagem. No entanto, na interpretação dos resultados desta pesquisa devem-se considerar algumas limitações. A mais relevante está relacionada com às ferramentas de tecnologia da educação empregadas, visto que o estudo foi centrado em chats e fóruns de discussão. O uso de outras ferramentas pode provocar efeitos distintos, por consequência, gerar maior ou menor interesse, provocando facilidades ou dificuldades.

A limitação descrita pode ter efeito na generalização dos resultados, pois conforme Cohen, Manion e Morrison (2007), existem aspectos de validade externa, como o fator extensão com que as variáveis interagem com os efeitos do tratamento, que precisam ser considerados no caso de um novo estudo, em que sejam replicados os instrumentos de coleta de dados aplicados neste estudo. Apesar de tecnologias como chat e fórum de discussão serem de uso comum por estudantes do ensino superior, é necessária cautela na generalização dos resultados para estudantes de perfil distinto.

Assim, recomenda-se a realização de estudos futuros semelhantes ou complementares a este, possivelmente utilizando estratégias de pesquisa distintas e com outras ferramentas tecnológicas, para poder mensurar seus efeitos. Enfim, espera-se que este trabalho possa contribuir para aprimorar a compreensão sobre a relação entre satisfação em aprender, eficácia de aprendizagem, percepção do uso da tecnologia e os resultados de aprendizagem. Por fim, os resultados sugerem duas conclusões. A primeira é que a percepção dos estudantes sobre a utilidade da tecnologia no processo de aprendizagem é um fator que interfere nos resultados do seu processo de aprendizagem. A segunda é que a satisfação em aprender não está totalmente relacionada à eficácia no processo de aprendizagem, principalmente quando este envolve o uso de tecnologias da educação.

Referências

Abrami, P. C., Bernard, R. M., Bures, E. M., Borokhovski, E. e Tamim, R. M. (2011). Interaction in distance education and online learning: Using evidence and theory to improve practice. Journal of Computing in Higher Education, 23(2-3), 82-103.

Beach, R. (2012). Constructing digital learning commons in the literacy classroom. Journal of Adolescent & Adult Literacy, 55(5), 448-451.

Cohen, L., Manion, L. e Morrison, K. (2007). Research methods in education. 6th Ed. New York: Taylor & Francis e-Library.

Cruz, W. B. (2006). Experiências utilizando ferramenta síncrona na educação. Em L. P. L. Mercado (org.), Experiências com tecnologias de informação e comunicação na educação (pp. 105-142). Maceió: Edufal.

Davis, F. D. (1989). Perceived usefulness, perceived ease of use, and user acceptance of information technology. MIS Quarterly, 13(3), 319-339.

Davis, F. D., Bagozzi, R. P. e Warshaw, P. R. (1989). User acceptance of computer technology: A comparison of two theoretical models. Management Science, 35(8), 982-1003.

Gall, M., Gall, J. e Borg, W. (2002). Educational research. 7th Ed. White Plains, N. Y.: Longman.

Harris, J., Mishra, P. e Koehler, M. (2009). Teachers’ technological pedagogical content knowledge and learning activity types: Curriculum-based technology integration reframed. Journal of Research on Technology in Education, 41(4), 393-416.

Hewitt, J. (2005). Toward an understanding of how threads die in asynchronous computer conferences. Journal of the Learning Sciences, 14(4), 567-589.

Hui, W., Hu, P. J.-H., Clark, T. H. K., Tam, K. Y. e Milton, J. (2008). Technology-assisted Learning: A longitudinal field study of knowledge category, learning effectiveness and satisfaction in
language learning. Journal of Computer Assisted Learning, 24(3), 245-259.

Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. (2012). Censo da educação superior 2012. Recuperado de http://portal.inep.gov.br/web/guest/sinopses-estatisticas-da-educacao-superior

Joyce, T. J., Crockett, S., Jaeger, D. A., Altindag, O., O’Connell, S. D. e Remler, D. K. (2015). Do students know best? Choice, classroom time, and academic performance. (NBER Working Paper Series 21656). Cambridge, MA. Recuperado de http://www.nber.org/papers/w21656

Keengwe, J., Schnellert, G. e Mills, C. (2012). Laptop initiative: Impact on instructional technology integration and student learning. Education and Information Technologies, 17(2), 137-146.

Keller, J. M. (1983). Motivational design of instruction. Em C. Reigeluth (ed.), Instructional design theories and models: An overview of their current status (pp. 386–434). Hillsdale, N. J.: Lawrence Erlbaum Associates.

Keller, J. M. (1987). Strategies for stimulating the motivation to learn. Performance & Instruction, 26(8), 1-7.

Keller, J. M. (1992). Enhancing the motivation to learn: Origins and applications of the ARCS model. Reports from the Institute of Education, 11, 45-62.

Larson, D. K. e Sung, C. (2009). Comparing student performance: Online versus blended versus face-to-face. Journal of Asynchronous Learning Networks, 13(1), 31-42.

Liaw, S. S. (2008). Investigating students’ perceived satisfaction, behavioral intention, and effectiveness of e-learning: A case study of the blackboard system. Computers & Education, 51(2), 864-873.

List, J. A., Sadoff, S. e Wagner, M. (2011). So you want to run an experiment, now what? Some simple rules of thumb for optimal experimental design. Experimental Economics, 14(4), 439-457. https://doi.org/10.1007/s10683-011-9275-7

Powers, S. M. e Mitchell, J. (março, 1997). Student perceptions and performance in a virtual classroom environment. Annual Meeting of the American Educational Research Association. Chicago, IL, USA.

Robb, C. A. e Sutton, J. (2014). The importance of social presence and motivation in distance learning. The Journal of Technology, Management, and Applied Engineering, 31(2), 1-10.

Roblyer, M. D., McDaniel, M., Webb, M., Herman, J. e Witty, J. V. (2010). Findings on Facebook in higher education: a comparison of college faculty and student uses and perceptions of social networking sites. Internet and Higher Education, 13(3), 134-140.

Rodrigues, N. V. M. e Borges, F. T. (2012). Avaliação da aprendizagem em educação à distância através do Fórum (interface educacional). Ideias & Inovação, 1(2), 25-34.

Russell, T. L. (1999). The no significant difference phenomenon. Raleigh, NC: North Carolina State University.

Segura, M. (2009). Plataformas educativas y redes docentes. Em R. Carneiro, J. C. Toscano e T. Díaz (coords.), Los desafíos de las TIC para el cambio educativo (pp. 95-109). Madrid: OEI-Fundación Santillana.

Smith, M. (2015). Research methods in accounting. 3rd Ed. London: Sage.

Soin, D. (2011). Challenges of information and communication technology in student’s motivation and learning. Techno LEARN: An International Journal of Educational Technology, 1(2), 205-213.

Starobinas, L. (2008). Interação de professores em fóruns eletrônicos: um estudo de caso do programa Educar na Sociedade da Informação (Tese de doutorado, Faculdade de Educação, Universidade de São Paulo, São Paulo, SP, Brasil).

Strang, K. D. (2011). How Can discussion forum questions be effective in online MBA courses? Campus-Wide Information Systems, 28(2), 80-92.

Vasconcelos, I. F. G. e Pinochet, L. H. C. (2008). A tecnologia como forma de controle burocrático: uma análise crítica do uso dos sistemas de segurança de informática em uma empresa de alta tecnologia. Revista de Administração Mackenzie, 3(1), 79-94.

Waycott, J., Bennett, S., Kennedy, G., Dalgarno, B. e Gray, K. (2010). Digital divides? Student and staff perceptions of information and communication technologies. Computers & Education, 54(4), 1202-1211.

Notas

* Artigo de pesquisa científica e tecnológica.

Autor notes

a Autor de correspondência. Email: professorquintana@hotmail.com

Informação adicional

Para citar este artigo: Costa Quintana, A. e Afonso, L. E. (2017). Satisfação em aprender: identificando a percepção dos estudantes sobre o uso de tecnologias da educação. Cuadernos de Contabilidad, 18(46). https://doi.org/10.11144/Javeriana.cc18-46.saip

Contexto
Descargar
Todas