Drivers for the development of computational thinking in Costa Rican students


[[Media:Draft_Content_272836127-91076.pdf|<span style="color:#0645AD; font-weight: bold">Download the PDF version</span>]]

= RESUMEN =

Este estudio proporciona evidencia sobre factores que facilitan el desarrollo del pensamiento computacional (PC) en estudiantes costarricenses de primaria, incluyendo el aporte de la propuesta de LIE++ que aborda conocimientos y prácticas del PC mediante proyectos de programación y computación física. Se utilizó un diseño cuasiexperimental para comparar un grupo de estudiantes de LIE++ con un grupo de estudiantes de otra propuesta llamada LIE-Guías que enfatiza aprendizajes con tecnologías digitales. En el estudio participaron 14.795 estudiantes, respondiendo voluntariamente una prueba en línea que se construyó y validó para estimar los puntajes alcanzados en PC. Los resultados mostraron que los estudiantes participantes de LIE++ obtuvieron mejores puntajes en comparación con el grupo de LIE-Guías y mediante un modelo de regresión multinivel se identificaron que variables personales y sociales de los estudiantes y de la misma ejecución de la propuesta inciden en el favorecimiento de estos aprendizajes. Esta investigación es un primer acercamiento al tema en este contexto, que se refiere a la importancia de brindar oportunidades educativas que apunten a conocimientos y habilidades más avanzadas de la computación, así como a la relevancia de seguir desarrollando herramientas y metodologías que ayuden a generar evidencias sobre el PC en el ámbito educativo y así mejorar las intervenciones educativas.

Palabras clave

Aprendizaje, pensamiento computacional, evaluación, educación primaria, informática, programación

Keywords

Learning, computational thinking, assessment, elementary education, informatics, programming

=ABSTRACT=

This study provides evidence about factors that facilitate the development of computational thinking (CT) in Costa Rican elementary school students, including the description of the contribution of the LIE++ proposal that addresses CT knowledge and practices through programming and physical computing projects. A quasi-experimental design was used to compare a group of students from the LIE++ educational proposal with a group of students from another proposal called LIE-Guides, which emphasizes learning with digital technologies. The study sample comprised 14,795 voluntary students, who answered an online test that was constructed and validated to estimate the scores achieved in CT. The results showed that the students participating in the LIE++ proposal obtained better scores compared to the LIE-Guides group. A multilevel regression model demonstrated that students’ personal and social variables, as well as the proposal’s execution scheme, positively affected student learning in CT. This research is a first approach to the subject in this context. It refers to the importance of providing educational opportunities that focus on more advanced computing knowledge and skills, as well as the relevance of continuing to develop tools and methodologies that help generate evidence about CT in education in order to improve educational interventions.

Palabras clave

Aprendizaje, pensamiento computacional, evaluación, educación primaria, informática, programación

Keywords

Learning, computational thinking, assessment, elementary education, informatics, programming

==Introducción==

Las tendencias mundiales de la inclusión de las tecnologías en educación se han ido orientando a ámbitos más específicos de profundización y aplicación, debido a las transformaciones de la sociedad y al rol de las tecnologías digitales en los últimos años. Algunos de estos enfoques enfatizan en el Pensamiento Computacional (en adelante PC), como una habilidad fundamental que debe desarrollarse en todas las personas y no solo en los informáticos (Wing, 2006), para que se comprendan aún más las tecnologías y se generen nuevas formas de razonamiento, creación, expresión y resolución de problemas (Resnick, 2013). Aunque no existe un consenso sobre cómo definir el PC y sus componentes (Tang et al., 2020), la mayoría de conceptualizaciones apuntan a que el PC se refiere a maneras de pensar para formular y resolver problemas, que pueden representarse y procesarse por medio del uso de las máquinas (Chen et al., 2017). Justamente, este enfoque empezó a llamar la atención desde décadas atrás, con los aportes de Papert, quien propuso que las personas necesitaban adquirir las competencias necesarias para comprender y participar en la construcción de lo que es nuevo, refiriéndose a la cultura de las computadoras y a los usos avanzados de la computación, entre los que destaca la programación (Tang et al., 2020; Webb et al., 2017). No obstante, el PC es más que resolver problemas informáticos y programar con la computadora, ya que conlleva procesos de comprensión de conceptos computacionales que se pueden usar para gestionar la vida cotidiana (Wing, 2006). Por lo que, un reto educativo importante hoy en día es definir qué se necesita aprender y cómo enseñar de la mejor manera el PC en las aulas (Papert, 1998) y, además, cómo hacer para que eso coincida con las capacidades y características de los estudiantes (Zhang & Nouri, 2019).

La tecnología por sí sola no genera cambios y el PC no se desarrolla de manera espontánea con el simple contacto con las computadoras, por lo que resulta de importancia contar con propuestas educativas que incorporen objetivos y estrategias específicas que busquen desarrollar estos aprendizajes. Tal y como lo ha señalado Papert (1987), la tecnología no es la clave para mejorar la educación, sino que es la cultura de pensamiento y aprendizaje lo que permite producir cambios en las personas y así, generar las condiciones para asumir los desafíos del siglo XXI. En los últimos años, se han desarrollado una serie de esfuerzos educativos en diversos países para la enseñanza del PC en primaria y secundaria (Grover & Pea, 2013). Estas iniciativas han impulsado investigaciones para conocer sobre el logro de aprendizajes. Sin embargo, la evaluación de conocimientos y prácticas asociadas al PC aún está en desarrollo en los sistemas educativos, siendo clave la creación de instrumentos para lograr una integración exitosa del PC en el currículum (Bocconi et al., 2016; Grover & Pea, 2013; Román-González, 2015). Esto refiere a otro gran reto, considerando que la conceptualización del PC se está consensuando internacionalmente a través de diferentes investigaciones emergentes. En las estrategias utilizadas hasta el momento, se han incluido escalas o test, analizadores de productos programados, pruebas de ejecución y técnicas más cualitativas (entrevistas, notas de campo, grupos focales, observaciones, etc.), las cuales han buscado aproximar conceptos claves y habilidades de programación asociadas al PC (Atmatzidou & Demetriadis, 2016; Brennan & Resnick, 2012; Dagiene & Stupuriene, 2016; Leonard et al., 2016). No obstante, se coincide en que aún existe un vacío general de instrumentos y herramientas para medir el PC (Román-Gonzalez, 2015) y de condiciones que permitan asegurar la validez ecológica de las mismas (Salkind, 2010).

A pesar de lo anterior, los resultados obtenidos son bastante positivos, pues se ha identificado que la participación de estudiantes en intervenciones educativas que promueven aspectos del PC, permiten mejoras en habilidades como el pensamiento algorítmico (Grover et al., 2015), autoeficacia en la programación, creación y comprensión de códigos de programación (Jun et al., 2017), desarrollo de algoritmos, noción de correspondencia acción-instrucción en un robot y la depuración de programas (García-Valcárcel & Caballero-González, 2019). A su vez, los hallazgos han sugerido factores que intervienen en los resultados con estudiantes, tales como la experiencia previa en el uso de computadoras y las habilidades matemáticas (Grover et al., 2015). El tema de la influencia del género se encuentra aún en estudio, ya que se ha encontrado evidencia contradictoria (Dagiene et al., 2014; Dagiene & Stupuriene, 2016; Kalas & Tomcsányiová, 2009) y se ha mencionado cierta asociación entre el PC y las capacidades cognitivas de los estudiantes (Ambrosio et al., 2014). Ante este panorama, es importante que se sigan desarrollando propuestas educativas que busquen abordar de manera específica el PC e identificar los factores que podrían favorecer el desarrollo de estos aprendizajes, así como también elaborar herramientas útiles y válidas de evaluación que contribuyan a la incorporación del PC en la educación y a la comprensión teórica de este constructo. Por ello, este estudio tiene como objetivo proporcionar evidencia sobre factores que facilitan el desarrollo del PC en estudiantes de primaria, incluyendo el posible aporte de LIE++ al abordar conocimientos y prácticas específicas del PC, a través de la comparación con la propuesta LIE-Guías que no aborda explícitamente el PC. Las preguntas de investigación son las siguientes: ¿Cuáles son factores asociados a los resultados obtenidos por los estudiantes en una prueba sobre aprendizajes del PC? ¿En qué medida LIE++ favorece estos aprendizajes en comparación con la propuesta de LIE-Guías?

==Conceptualización de las propuestas educativas==

En Costa Rica, desde 1988, se ha introducido la programación en la educación pública (desde preescolar hasta secundaria) por medio del Programa Nacional de Informática Educativa (PRONIE-MEP-FOD) ejecutado por el Ministerio de Educación Pública (MEP) y la Fundación Omar Dengo (FOD). El objetivo ha sido desarrollar capacidades cognitivas de alto nivel en los estudiantes, tales como la resolución de problemas y la colaboración (Fundación Omar Dengo, 2016), con la intención de favorecer el desarrollo de las personas en conexión con el crecimiento económico, social y tecnológico del país (Fallas & Zúñiga, 2010).

Esto se ha hecho principalmente al incluir en el currículo dos lecciones semanales de Informática Educativa (80 minutos), impartidas por un docente del área en un laboratorio de computadoras. Desde el 2009, se implementó la propuesta de LIE-Guías basada en estándares de desempeño para estudiantes en el aprendizaje con tecnologías digitales (Fundación Omar Dengo, 2009), la cual enfatiza en el desarrollo de habilidades mediante el uso de la programación en la elaboración de proyectos (priorizando el uso de Scratch), basándose en el modelo de apropiación social de las tecnologías digitales (Muñoz et al., 2014). Desde dicho marco se enfatizaba en tres dimensiones (Figura 1).

{| style="text-align: center; border: 1px solid #BBB; margin: 1em auto; max-width: 100%;" 
|-
|


[[Image:Draft_Content_272836127-91076-9298b6ec-4ed1-4ffa-b106-4a438086fc2f-u07-01.png|center|600px|https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/81bf7f55-672d-4f14-807c-8ef2c47c1668/image/9298b6ec-4ed1-4ffa-b106-4a438086fc2f-u07-01.png]]


|-
| 
|}

En los últimos años, debido a los rápidos cambios derivados de la revolución científico-tecnológica, en el 2015 el programa replanteó la propuesta a lo que se conoce como LIE++. Esta iniciativa se caracteriza por introducir de forma explícita la enseñanza de conocimientos y prácticas del PC en la programación de proyectos con computación física (por ejemplo: el uso de tarjetas como Arduino, Circuit Playground y Micro:bit) y el trabajo colaborativo. Incorporando equipamiento novedoso en los centros educativos. Las habilidades a desarrollar en los estudiantes se agrupan en cinco competencias asociadas al PC (Figura 2).

{| style="text-align: center; border: 1px solid #BBB; margin: 1em auto; max-width: 100%;" 
|-
|


[[Image:Draft_Content_272836127-91076-5353b932-0a38-4198-8985-7bda5c962984-u07-02.png|center|600px|https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/81bf7f55-672d-4f14-807c-8ef2c47c1668/image/5353b932-0a38-4198-8985-7bda5c962984-u07-02.png]]


|-
| 
|}

La implementación de LIE++ se ha ido realizando progresivamente, implicando procesos de capacitación y acompañamiento a los docentes de informática. De esta manera, actualmente las dos propuestas coexisten, mientras se finaliza el proceso de transición de todos los centros educativos participantes. Este periodo se ha aprovechado para aprender de la puesta en práctica, incluyendo el avance en el desarrollo de herramientas para evaluar aprendizajes asociados al PC, con el fin de generar información necesaria para mejorar las distintas acciones que se realizan desde el programa, así como para dar cuenta del logro de los objetivos planteados.

==Métodos y materiales==

===Diseño de investigación===

El diseño utilizado fue cuasi-experimental de corte transversal, el cual comparó los puntajes obtenidos en una prueba sobre aprendizajes asociados al PC en dos grupos de interés: un grupo de estudiantes de la propuesta de LIE-Guías y otro grupo con al menos un año de participación en la propuesta LIE++. Además, se exploraron otros factores incidentes en los resultados logrados por los estudiantes en la prueba.

===Participantes===

En el momento de la recolección de datos (octubre 2019), el PRONIE MEP-FOD beneficiaba a un total de 984 escuelas con Informática Educativa. Sin embargo, solo 532 cumplían con las características necesarias para el estudio, debido al proceso de transición entre las propuestas mencionado anteriormente. De estas, 210 escuelas correspondían a aquellas que seguían ejecutando LIE-Guías y 322 escuelas constituían el grupo que estaba implementando LIE++. Tras la participación voluntaria, se obtuvo una muestra de 348 escuelas y 14.795 estudiantes de sexto grado, logrando abarcar el 65% de los centros educativos y el 56% de la población de estudiantes (Tabla 1).

{| style="text-align: center; border: 1px solid #BBB; margin: 1em auto; max-width: 100%;" 
|-
|


[[Image:Draft_Content_272836127-91076-31d9696d-7dc9-4ebf-9f8d-7512f1b11d76-u07-03.png|center|600px|https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/81bf7f55-672d-4f14-807c-8ef2c47c1668/image/31d9696d-7dc9-4ebf-9f8d-7512f1b11d76-u07-03.png]]


|-
| 
|}

===Instrumento y diseño de ítems===

En una etapa inicial del estudio, se crearon indicadores sobre los resultados de aprendizaje esperados en estudiantes de sexto grado, tanto en relación con PC como con contenidos específicos de programación y de computación física. Estos indicadores se depuraron con la revisión de literatura y expertos en el área, lo cual permitió finalmente definir 18 indicadores de aprendizajes asociados al PC.

{| style="text-align: center; border: 1px solid #BBB; margin: 1em auto; max-width: 100%;" 
|-
|


[[Image:Draft_Content_272836127-91076-30b96379-43dd-4430-8af7-ebdb30d330f0-u07-04.png|center|600px|https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/81bf7f55-672d-4f14-807c-8ef2c47c1668/image/30b96379-43dd-4430-8af7-ebdb30d330f0-u07-04.png]]


|-
| 
|}

Debido a que el diseño comparó dos propuestas educativas distintas, se desarrollaron ítems independientes a un lenguaje de programación (similares a las tareas de «Bebras» en Palts et al., 2017) para asegurar que las posibles diferencias en los resultados no se deban a la falta de familiaridad con un lenguaje en específico. La mayoría de ítems fueron de selección única y se asociaban a un indicador, quedando un total de 20 ítems (Figura 3). Estos se construyeron mediante un trabajo colaborativo entre los investigadores del estudio y el equipo a cargo de la implementación de LIE++, incluyendo revisión de material y sesiones de discusión; también se realizó la validación de contenido con jueces, expertos en ciencias de la computación y programación y docentes de Informática Educativa.

Una vez realizadas todas las correcciones necesarias a los ítems, se hicieron entrevistas cognitivas con seis estudiantes de sexto grado participantes de las propuestas (tres hombres y tres mujeres). Esto permitió depurar aún más los ítems y verificar si los estudiantes estaban logrando transferir sus aprendizajes en sus respuestas. Adicionalmente, se agregó a la prueba una serie de preguntas para identificar características de los estudiantes.

===Descripción de las variables===

La variable dependiente es el puntaje que aproxima los aprendizajes asociados al PC alcanzados por los estudiantes en la prueba, a partir de un modelo de Rasch y transformada en una escala de 100 a 900 puntos (a mayor puntaje, mayor habilidad), con promedio esperado de 500 puntos y una desviación estándar (DE) de 100 puntos. A continuación, las variables independientes consideradas (Tabla 2).

{| style="text-align: center; border: 1px solid #BBB; margin: 1em auto; max-width: 100%;" 
|-
|


[[Image:Draft_Content_272836127-91076-297e925b-4905-413d-bd9a-a0cb52e08a3e-u07-05.png|center|600px|https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/81bf7f55-672d-4f14-807c-8ef2c47c1668/image/297e925b-4905-413d-bd9a-a0cb52e08a3e-u07-05.png]]


|-
| 
|}

===Procedimiento de recolección de datos===

La prueba se aplicó de forma digital con una duración entre 50-60 minutos. Los ítems se ordenaron según dificultad a partir de la información brindada por los estudiantes en las entrevistas cognitivas, colocando los más fáciles de primero para evitar indisposición con la prueba. Se elaboró un tutorial para que los docentes la aplicaran durante sus clases. Previamente a la recolección, se tramitaron los permisos requeridos con las autoridades educativas y, además se veló por la confidencialidad de los datos y el carácter voluntario de la participación de los estudiantes.

===Propiedades psicométricas y análisis de la prueba===

Para brindar evidencias de validez y confiabilidad sobre las puntuaciones obtenidas en la prueba, se siguió un proceso riguroso para la creación del marco conceptual y construcción de ítems, y se realizaron análisis cuantitativos utilizando la plataforma R (versión 3.3.2.) y Winsteps (versión 3.75.1).

De manera integral, se encontró que la prueba posee propiedades psicométricas adecuadas. Se confirmó el supuesto de unidimensionalidad y los ítems mostraron una adecuada consistencia interna, discriminación y grado de dificultad. A su vez, no se identificó un sesgo que favoreciera los resultados hacia algún sexo en los estudiantes.

A continuación, se detallan los procedimientos estadísticos realizados y los principales hallazgos que respaldan lo mencionado anteriormente:

En el análisis factorial exploratorio se encontró que la mayoría de las cargas factoriales rotadas son superiores a 0,2 lo que indica una adecuada asociación de los ítems con el constructo. El gráfico de sedimentación mostró la relevancia del primer factor, logrando explicar un 11,84%; por lo que se asumió la unidimensionalidad a partir del respaldo de la teoría y dichos resultados.

<ul><li>

Con la Teoría Clásica de los Test se obtuvo que la mayoría de los ítems poseen una discriminación aceptable (puntajes mayores de 0,12) y el alfa de Cronbach (0,6) evidencia una adecuada consistencia interna.

</li>
<li>

En el análisis del funcionamiento diferencial<sup>[[#f-1e82d4090941|1]]</sup> se encontró que solamente uno de los ítems posee un efecto moderado a favor de los hombres (Magis et al., 2010).

</li>
<li>

Al usar el modelo Rasch para estimar el nivel de habilidad de los estudiantes en la prueba, se obtuvo ítems con niveles de dificultad variado y estos se encuentran en los rangos esperados y los estadísticos de Infit y Outfit sugieren un buen ajuste del modelo (Linacre, 2002).

</li>
</ul>

Las diferencias del puntaje promedio de la prueba entre los dos grupos comparados, se exploraron con ANOVA unidireccionales para cada grupo, considerando variables de interés. Finalmente, se exploraron factores asociados al PC por medio de un modelo de regresión multinivel para así considerar la estructura anidada de los datos (Holmes et al., 2014). Las co-variables utilizadas se seleccionaron a partir de evidencias en la literatura o experiencias previas de investigación. En estos análisis se excluyeron aquellas escuelas en las que participaron menos de 15 estudiantes para ajustar mejor el modelo de regresión, quedando un total de 297 escuelas y al excluir aquellos casos con valores perdidos en las variables consideradas, este análisis contempló un total de 13.213 estudiantes.

==Resultados==

===Información sociodemográfica y educativa de los participantes===

El total de estudiantes que participaron en el estudio (n=14.795) se caracterizan por un porcentaje equitativo en género (49,3% mujeres y 50,7% hombres) y con una edad promedio de 12 años (DE=0,64). La mayoría reportó un alto acceso a la tecnología: celular propio (84,9%), Internet en el celular (72,4%), computadora (67,7%) e Internet en el hogar (60,8%). No obstante, solamente un 25,2% indicó utilizar la computadora en el hogar al menos 3 días a la semana, y su uso tiende a ser más recreativo.

A través del indicador de Capital cultural, se identificó que los estudiantes cuentan con un nivel intermedio (M=5,1, DE=2,3), ya que tienen un acceso regular a libros en sus casas, pero no es tan frecuente el hábito de lectura. A nivel educativo, según el indicador de notas (M=7,4, DE=2,5) los estudiantes poseen un buen rendimiento y solamente el 3,4% indica haber repetido al menos un grado durante la primaria, porcentaje acorde con el promedio nacional (un 3% según el Ministerio de Educación Pública [MEP], 2019). En general, los grupos de estudio poseen características similares, pero se encontraron diferencias en algunas variables de contexto. Los estudiantes de LIE++  muestran características más favorables, puesto que un 83,9% pertenecen a escuelas de zonas urbanas y que están ubicadas en espacios territoriales con un mayor promedio en el IDS (M=64,3), en comparación con el grupo de estudiantes de LIE-Guías, donde un 70,4% pertenece a zonas urbanas y de lugares con un promedio menor en el IDS (M=53,9). Sin embargo, estos efectos se controlaron con la regresión.

Con respecto a las zonas, es importante mencionar que el 69% de las escuelas participantes son urbanas y el 31% rurales. Esto se debe a que la recolección de información involucró el uso de Internet, lo que limitó la participación de más a las escuelas rurales.

===Resultados de la prueba de desempeño según la propuesta educativa===

A pesar de que los puntajes promedio de ambos grupos no sobrepasaron la media de la escala (X=500), se evidenciaron diferencias significativas entre los dos grupos (Figura 4)<sup>[[#f-47f13f7eef53|2]]</sup>: LIE-Guía, 474,1 (DE=79,2) puntos vs. LIE++, 486,6 (DE=85,0) puntos (F(1,13.914)=53,08, p<0.00).

{| style="text-align: center; border: 1px solid #BBB; margin: 1em auto; max-width: 100%;" 
|-
|


[[Image:Draft_Content_272836127-91076-42a61afd-4deb-4fa0-9af6-66e9e10c0376-u07-06.png|center|600px|https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/81bf7f55-672d-4f14-807c-8ef2c47c1668/image/42a61afd-4deb-4fa0-9af6-66e9e10c0376-u07-06.png]]


|-
| 
|}

En una primera exploración, se encontró que los estudiantes de LIE++ mostraron mejor desempeño en la prueba que el grupo de LIE-Guías (Figura 5)<sup>[[#f-852351b02448|3]]</sup>. Esta diferencia entre los grupos se mantiene en los estudiantes de LIE++ si son de zona urbana, si no han repetido, si poseen mayores años de participación en Informática Educativa (5 o 6 años) y si han asistido regularmente a estas, y si reconocen correctamente el concepto de programación. Dicha tendencia se mantiene indiferentemente del sexo.

{| style="text-align: center; border: 1px solid #BBB; margin: 1em auto; max-width: 100%;" 
|-
|


[[Image:Draft_Content_272836127-91076-7a2bb48e-15b0-444a-a060-775e012715ec-u07-07.png|center|600px|https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/81bf7f55-672d-4f14-807c-8ef2c47c1668/image/7a2bb48e-15b0-444a-a060-775e012715ec-u07-07.png]]


|-
| 
|}

Lo anterior hace referencia a que el tipo de participación de los estudiantes y variables de la misma ejecución de las propuestas podrían estar aportando al desarrollo de los aprendizajes asociados al PC. Sin embargo, en la siguiente sección se precisan los factores con mayor peso en estos resultados.

En cuanto al nivel de dificultad de la prueba, según el mapa de Rasch los ítems difíciles y fáciles resultaron de la misma manera para ambos grupos. Este es un resultado importante, porque permite descartar que las diferencias encontradas en los grupos se deban al contenido evaluado, y que un grupo estuviese en mayor ventaja que otro. Asimismo, al profundizar en el contenido de los ítems, se identificó que los más complejos apuntan a temas de programación (funciones y depuración del código), mientras que los más fáciles refieren a temas de resolución de problemas y razonamiento lógico.

===Aporte de los factores asociados a los resultados===

A partir de los coeficientes estandarizados<sup>[[#f-d609bbe1f970|4]]</sup> (Tabla 3) se identificó que los factores más influyentes en los puntajes logrados por los estudiantes son respectivamente: el promedio de notas, el IDS, los años de participación en Informática Educativa, el sexo, el capital cultural, el no haber repetido grados escolares, el participar en LIE++ y el indicador de fidelidad de la ejecución de la propuesta.

{| style="text-align: center; border: 1px solid #BBB; margin: 1em auto; max-width: 100%;" 
|-
|


[[Image:Draft_Content_272836127-91076-73ae1755-5005-4748-9847-f44b72a16bf5-u07-08.png|center|600px|https://typeset-prod-media-server.s3.amazonaws.com/article_uploads/81bf7f55-672d-4f14-807c-8ef2c47c1668/image/73ae1755-5005-4748-9847-f44b72a16bf5-u07-08.png]]


|-
| 
|}

En términos de la propuesta educativa, se encuentra que la participación en LIE++ tiene un efecto positivo en los resultados de la prueba, ya que estos estudiantes presentan un promedio mayor que el grupo LIE-Guías (en promedio 8,90 puntos). Otras variables que favorecen un mejor puntaje en la prueba son: el apego al esquema de trabajo esperado en la propuesta (trabajar colaborativamente y hacer proyectos de programación) y tener más años de participación en las clases de informática.

Otros factores que inciden en los resultados se refieren a condiciones del hogar, de la escuela y características intrínsecas de los estudiantes. Con respecto a características del hogar, se encontró que estudiantes con acceso a Internet en su hogar y con mayor capital cultural obtuvieron mejores resultados en la prueba. En relación a la tenencia de artefactos tecnológicos en casa, los resultados son inesperados, pues se obtiene que entre más artefactos tecnológicos menor es el puntaje en la prueba (en promedio 1,71), lo que puede deberse al uso más recreativo de la tecnología en el hogar, según lo reportado por los estudiantes.

Sobre el contexto de la escuela, se encuentra que a mayor desarrollo del lugar donde se ubica, los puntajes promedio logrados por los estudiantes en la prueba tienden a ser mejores. Dado que un 15% de la variabilidad de los datos es explicada por el centro educativo en el que se encuentra el estudiante, por lo que el contexto educativo es un factor que podría estar incidiendo en los aprendizajes de PC logrados.

En cuanto a características individuales, se encontró que estudiantes sin repitencia en algún grado escolar y con promedios altos en las asignaturas de grado, muestran mejores resultados en la prueba sobre PC, ambas variables relacionadas al rendimiento académico. Sobre el sexo, el puntaje promedio de la prueba en los hombres es mayor que el de las mujeres (en promedio 10,87 puntos).

==Discusión y conclusiones==

Este estudio es un primer abordaje de los factores que inciden en los aprendizajes del PC en estudiantes de primaria, incluyendo el análisis del aporte de LIE++. Lo cual genera evidencia en la región, siendo que hay pocos estudios que dan a conocer sobre el impacto de las tecnologías en el desarrollo de competencias fundamentales (Martínez-Restrepo et al., 2018). También permite destacar una serie de elementos desde la experiencia de LIE++ que podrían considerarse por parte de otras iniciativas para reflexionar sobre el aprovechamiento de la dotación de equipamiento y de las acciones educativas, con el fin de favorecer el desarrollo de habilidades avanzadas de la computación en el ámbito educativo.

Entre los hallazgos más importantes del estudio, se encuentra que para ambas propuestas los años de participación y fidelidad en su ejecución tienen un efecto significativo en los aprendizajes del PC. Esto refleja la naturaleza acumulativa de los conocimientos que se requiere para el desarrollo del PC y la importancia de la continuidad de este tipo de programas estatales y su apego a lo establecido en las propuestas.

En cuanto a LIE++, se obtuvieron mejores resultados en comparación con LIE-Guías. Si bien la diferencia entre las puntuaciones de los grupos es pequeña, es una primera evidencia de la potencialidad que podría tener esta propuesta, considerando su implementación reciente y que el grupo de comparación también participaba de una iniciativa con tecnología.

Las diferencias encontradas se podrían explicar desde ciertas características que distinguen LIE++ de LIE-Guías. En primer lugar, LIE++ aborda de forma explícita los aprendizajes de PC, lo cual puede llegar a tener mayor efecto en comparación con otras iniciativas. Tal y como se ha evidenciado en otros estudios, como el de Román-González (2016), donde currículos informáticos orientados a la alfabetización y el desarrollo del PC muestran efectos de moderados a grandes a diferencia de currículos de TIC más tradicionales.

En segundo lugar, LIE++ promueve una dinámica de trabajo que hace uso de la computación física y el trabajo en equipo entre los estudiantes, tratando de generar un espacio práctico y de entretenimiento al construir artefactos físicos y robots. Sobre esto, Sullivan y Bers (2018) y Caballero-González y García-Valcárcel (2020) señalan que varias experiencias que usan la robótica y la programación favorecen el aprendizaje de conceptos y prácticas de las ciencias de computación e ingeniería, y a su vez, permiten mayor involucramiento de los estudiantes, incluso desde edades tempranas.

En tercer lugar, aunque en ambas propuestas se ha dado acompañamiento y capacitación a los docentes, recientemente se ha priorizado el apoyo en LIE++ debido al proceso de transición de las mismas propuestas; a su vez, LIE++ incorpora muchas de las lecciones aprendidas que ha identificado el programa a lo largo de su trayectoria. Es fundamental que los ejecutores de programas consideren estrategias complementarias para asegurar la adherencia y sostenibilidad de la intervención, según Martínez-Restrepo et al. (2018) una de las debilidades en América Latina, es que intervenciones TIC en educación no logran ciertos efectos por quedarse en la mera dotación de equipamiento.

Otro aspecto a considerar, es que el desarrollo del PC es complejo y tiene una naturaleza multifactorial, ya que además de las variables vinculadas con la propuesta, también mostraron influencia en los resultados factores personales y sociales de los estudiantes. Entre las variables intrínsecas que resultaron relevantes se encuentran el rendimiento académico y el sexo, aunque el éxito escolar depende de múltiples factores más allá de los individuales, es importante reconocer que hay características propias de cada estudiante que propician en mayor o menor medida los aprendizajes, como es el caso de la inteligencia fluida y otras capacidades más de orden cognitivo que juegan un rol importante en este tipo de aprendizajes (Ambrosio et al., 2014).

Sobre las diferencias por sexo, se encontró que los hombres obtuvieron mejores puntajes en la prueba en comparación con las mujeres. Este hallazgo no ha sido consistente en otros estudios, pero se ha identificado que estas diferencias a favor de los hombres, pueden estar relacionadas a la socialización y la cultura, donde se promueve la idea de que el campo de la tecnología es predominantemente masculino, lo que genera cierta indisposición y temor de las mujeres para enfrentar retos dentro de este ámbito (Espino & González, 2016).

Por esta razón, es de suma importancia que se establezcan propuestas educativas inclusivas y libres de sesgos de género que contemplen las limitaciones y las fortalezas de aprendizaje de todos los estudiantes, con el fin de tratar de disminuir esas brechas. Estos hallazgos marcan importantes retos sobre la capacidad de mediación y apego de los docentes hacia la propuesta y sobre la posible compensación a las diferentes características de los estudiantes desde las mismas estrategias educativas.

En relación con características del hogar y el centro educativo del estudiante que se asocian a mejores resultados, tales como mayor capital cultural e IDS, Jara et al. (2015) señala que otros estudios han encontrado que elementos económicos, sociales y culturales del contexto están vinculados al logro de objetivos educativos. Por lo que es relevante comprender que el estudiante está inmerso en un contexto más amplio que influye en los procesos de enseñanza y aprendizaje, como la motivación del estudiante y las condiciones que potencian los aprendizajes en su entorno cercano (por ejemplo: apoyo y educación de los padres, acceso a recursos, etc.).

A pesar de lo anterior, variables relacionadas con el acceso y uso a las tecnologías en el hogar (computadoras e Internet) no resultaron tener mayor efecto en el puntaje de la prueba sobre PC, ya que, aunque los estudiantes tienen a disposición tecnología, reportaron un uso más recreativo. Esto refuerza la idea que para el desarrollo del PC no es suficiente el consumo de tecnología, sino que deben existir acciones o iniciativas orientadas para su enseñanza (Zapata-Ros, 2015).

En la actualidad se requiere que las nuevas generaciones superen el simple consumo de la tecnología y los medios digitales, es por ello que el PC incluye habilidades necesarias para afrontar las demandas sociales del Siglo XXI. Paralelamente a esto, se requieren de intervenciones educativas actualizadas e intencionadas a desarrollar con estas competencias, las cuales deben considerar no solo las propuestas educativas, sino también las características individuales de los estudiantes, y de su entorno para favorecer los aprendizajes deseados.

==Limitaciones==

En este estudio se enfrentaron algunas dificultades, a saber:

<ul><li>

Sobre el contexto educativo en el que se ejecuta la propuesta: Si bien los diseños experimentales son los que tienen mayor potencial para evidenciar efectos causales, no siempre los contextos evaluados cuentan con las condiciones adecuadas para hacerlo. El PRONIE MEP-FOD tiene una gran cobertura a nivel país (el 92,2% de la educación pública diurna a diciembre 2019), lo que limita el definir un grupo control sin ningún tipo de intervención, es por esta razón que se utilizan comparaciones entre diferentes propuestas para una mejor estimación de los efectos. Adicionalmente, considerar que LIE++ se encuentra en etapas iniciales de implementación. Lo que implica que aún muchos docentes y estudiantes estén familiarizados con esta propuesta.

</li>
<li>

Sobre la aplicación digital: Debido a los recursos disponibles para realizar el estudio, se priorizó la recolección de datos de forma digital, lo que limitó la participación de todos los centros educativos contemplados en el estudio, particularmente aquellos de zonas rurales en donde hay mayores problemas de conexión a Internet.

</li>
</ul>

==Estudios futuros==

Conforme se vaya consolidando LIE++, es importante replicar este tipo de estudio, para obtener más puntos de evidencia sobre el impacto que genere en los estudiantes. Una vía para definir grupo control, es asociarse con países de la región que no cuenten con este tipo de intervenciones en su sistema educativo para mejorar las condiciones de evaluación.

Asimismo, con el producto del estudio se crea una prueba para evaluar aprendizajes asociados al PC en estudiantes de primaria; es así, que a futuro es importante seguir robusteciendo la prueba al mejorar sus propiedades psicométricas, ampliar la cantidad de ítems, seguir fortaleciendo el modelo conceptual y explorar otros factores asociados. También, como se ha identificado en otras investigaciones, el uso de pruebas de este tipo se podría enriquecer con el uso de otros instrumentos y herramientas que permitan la evaluación más integral del PC. (1)

==Notes==

<ol><li><span id='f-d609bbe1f970'></span>
Para estos análisis se contemplaron las versiones continuas de las variables estandarizadas.</li>
<li><span id='f-852351b02448'></span>
Diferencias significativas al 5%.</li>
<li><span id='f-47f13f7eef53'></span>
Para algunos estudiantes no se logró estimar el puntaje, por lo que la muestra utilizada para A fue de 10,962 y para B de 2,954.</li>
<li><span id='f-1e82d4090941'></span>
Para el análisis diferencial de los ítems se utilizó la prueba asintótica de Mantel-Haenszel, estandarización y la regresión logística, y se estimó el tamaño del efecto mediante el Delta-DIF.</li>
</ol>

==References==

<ol><li>

Jun,  S, Han,  S & Kim,  S. 2017.[https://scholar.google.com/scholar_lookup?title=Effect of design-based learning on improving computational thinking&author=Jun&publication_year= Effect of design-based learning on improving computational thinking]. Behaviour & Information Technology 36(1):43–53.

</li>
<li>

Magis,  David, Béland,  Sébastien, Tuerlinckx,  Francis & Boeck,  Paul De. 2010.[https://scholar.google.com/scholar_lookup?title=A general framework and an R package for the detection of dichotomous differential item functioning&author=Magis&publication_year= A general framework and an R package for the detection of dichotomous differential item functioning]. Behavior Research Methods 42(3):847–862.

</li>
<li>

Dagiene,  V, Mannila,  L, Poranen,  T, Rolandsson,  L & Stupuriene,  G. 2014.[https://scholar.google.com/scholar_lookup?title=Reasoning on children’s cognitive skills in an informatics contest: Findings and discoveries from Finland, Lithuania, and Sweden&author=Dagiene&publication_year= Reasoning on children’s cognitive skills in an informatics contest: Findings and discoveries from Finland, Lithuania, and Sweden]. In: Gülbahar,  Y. & Karatas,  E., eds. [https://scholar.google.com/scholar_lookup?title=Informatics in schools. Teaching and learning perspectives&author=Gülbahar&publication_year= Informatics in schools. Teaching and learning perspectives]. (pp. 66-77) Springer[https://doi.org/10.1007/978-3-319-09958-3_7  https://doi.org/10.1007/978-3-319-09958-3_7 ]

</li>
<li>

Zhang,  LeChen & Nouri,  Jalal. 2019.[https://scholar.google.com/scholar_lookup?title=A systematic review of learning computational thinking through Scratch in K-9&author=Zhang&publication_year= A systematic review of learning computational thinking through Scratch in K-9]. Computers & Education 141:103607.

</li>
<li>

Holmes,  W, Bolin,  J E & Kelley,  K. 2014.[https://scholar.google.com/scholar_lookup?title=Multilevel modeling using R&author=&publication_year= Multilevel modeling using R].CRC Press

</li>
<li>

Román-González,  M. 2016.[https://scholar.google.com/scholar_lookup?title=Código alfabetización y pensamiento computacional en Educación Primaria y Secundaria: validación de un instrumento y evaluación de programas&author=&publication_year= Código alfabetización y pensamiento computacional en Educación Primaria y Secundaria: validación de un instrumento y evaluación de programas].[Doctoral Dissertion, Universidad Nacional de Educación a Distancia]. UNED e-Spacio

</li>
<li>

Ambrosio,  A P, Xavier,  C & Georges,  F. 2014.[https://scholar.google.com/scholar_lookup?title=Digital ink for cognitive assessment of computational thinking&author=&publication_year= Digital ink for cognitive assessment of computational thinking].[Conference]. Education Conference (FIE) Proceedings[https://doi.org/10.1109/FIE.2014.7044237   https://doi.org/10.1109/FIE.2014.7044237  ]

</li>
<li>

Resnick,  M. 2013.[https://scholar.google.com/scholar_lookup?title=Learn to code, code to learn&author=&publication_year= Learn to code, code to learn].EdSurge

</li>
<li>

Papert,  S. 1987.[https://scholar.google.com/scholar_lookup?title=Information technology and education: Computer criticism vs. technocentric thinking&author=Papert&publication_year= Information technology and education: Computer criticism vs. technocentric thinking]. Educational Researcher 16:22–30.

</li>
<li>

Atmatzidou,  Soumela & Demetriadis,  Stavros. 2016.[https://scholar.google.com/scholar_lookup?title=Advancing students’ computational thinking skills through educational robotics: A study on age and gender relevant differences&author=Atmatzidou&publication_year= Advancing students’ computational thinking skills through educational robotics: A study on age and gender relevant differences]. Robotics and Autonomous Systems 75:661–670.

</li>
<li>

Desjardins,  Richard & Ederer,  Peer. 2015.[https://scholar.google.com/scholar_lookup?title=Socio-demographic and practice-oriented factors related to proficiency in problem solving: A lifelong learning perspective&author=Desjardins&publication_year= Socio-demographic and practice-oriented factors related to proficiency in problem solving: A lifelong learning perspective]. International Journal of Lifelong Education 34(4):468–486.

</li>
<li>

Ministerio de Educación Pública (Ed.) 2019.[https://scholar.google.com/scholar_lookup?title=Exclusión intra anual en el sistema educativo costarricense&author=&publication_year= Exclusión intra anual en el sistema educativo costarricense].MEP

</li>
<li>

Webb,  Mary, Davis,  Niki, Bell,  Tim, Katz,  Yaacov J., Reynolds,  Nicholas, Chambers,  Dianne P. & Sysło,  Maciej M.. 2017.[https://scholar.google.com/scholar_lookup?title=Computer science in K-12 school curricula of the 2lst century: Why, what and when?&author=Webb&publication_year= Computer science in K-12 school curricula of the 2lst century: Why, what and when?]Education and Information Technologies 22:445–468.

</li>
<li>

Muñoz,  L, Brenes,  M, Bujanda,  M, Mora,  M, Núñez,  O & Zúñiga,  M. 2014.[https://scholar.google.com/scholar_lookup?title=Las políticas TIC en los sistemas educativos de América Latina: Caso Costa Rica&author=&publication_year= Las políticas TIC en los sistemas educativos de América Latina: Caso Costa Rica].UNICEF

</li>
<li>

Palts,  T, Pedaste,  M, Vene,  V & Vinikienė,  L. 2017.[https://scholar.google.com/scholar_lookup?title=Tasks for assessing skills of computational thinking&author=&publication_year= Tasks for assessing skills of computational thinking].[Conference]. 10th annual International Conference of Education, Research and Innovation[https://doi.org/10.21125/iceri.2017.0784  https://doi.org/10.21125/iceri.2017.0784 ]

</li>
<li>

Leonard,  Jacqueline, Buss,  Alan, Gamboa,  Ruben, Mitchell,  Monica, Fashola,  Olatokunbo S., Hubert,  Tarcia & Almughyirah,  Sultan. 2016.[https://scholar.google.com/scholar_lookup?title=Using robotics and game design to enhance children’s self-efficacy, STEM attitudes, and computational thinking skills&author=Leonard&publication_year= Using robotics and game design to enhance children’s self-efficacy, STEM attitudes, and computational thinking skills]. Journal of Science Education and Technology 25(6):860–876.

</li>
<li>

A.,  García-Válcarcel, & Y.,  Caballero-González,. 2019.[https://scholar.google.com/scholar_lookup?title=Robotics to develop computational thinking in early Childhood Education. [Robótica para desarrollar el pensamiento computacional en Educación Infantil]&author=A.&publication_year= Robotics to develop computational thinking in early Childhood Education. [Robótica para desarrollar el pensamiento computacional en Educación Infantil]]Comunicar 59:63–72.

</li>
<li>

Wing,  J. 2006.[https://scholar.google.com/scholar_lookup?title=Computational thinking&author=Wing&publication_year= Computational thinking]. Communications of the ACM 49(3):33–36.

</li>
<li>

Fundación Omar Dengo (Ed.) 2016.[https://scholar.google.com/scholar_lookup?title=Tecnologías digitales y capacidades para construir el futuro: Aportes del Programa Nacional de Informática Educativa MEP-FOD&author=&publication_year= Tecnologías digitales y capacidades para construir el futuro: Aportes del Programa Nacional de Informática Educativa MEP-FOD].FOD

</li>
<li>

Papert,  S. 1998.[https://scholar.google.com/scholar_lookup?title=Child power: Keys to the new learning of the digital century&author=&publication_year= Child power: Keys to the new learning of the digital century].[Conference].11th Colin Cherry Memorial Lecture on Communication

</li>
<li>

Espino,  E E & González,  C. 2016.[https://scholar.google.com/scholar_lookup?title=Gender and computational thinking: Review of the literature and applications&author=Espino&publication_year= Gender and computational thinking: Review of the literature and applications]. [Conference]. Proceedings of the XVII International Conference on Human Computer Interaction[https://doi.org/10.1145/2998626.2998665 https://doi.org/10.1145/2998626.2998665]

</li>
<li>

Caballero-González,  Y A & García-Valcárcel,  A. 2020.[https://scholar.google.com/scholar_lookup?title=Learning with robotics in primary education? A means of stimulating computa-tional thinkin&author=Caballero-González&publication_year= Learning with robotics in primary education? A means of stimulating computa-tional thinkin]. Education in the Knowledge Society 21(10):1–15.

</li>
<li>

Linacre,  J M. 2002.[https://scholar.google.com/scholar_lookup?title=What do infit and outfit, mean-square and standardized mean?&author=Linacre&publication_year= What do infit and outfit, mean-square and standardized mean?]Rasch Measurement Transactions 16.

</li>
<li>

Fallas,  I & Zúñiga,  M. 2010.[https://bit.ly/37J7kK3 Las tecnologías digitales de la información y la comunicación en la educación costarricense: informe final]. In: Nación,  Programa Estado de la, ed. [https://scholar.google.com/scholar_lookup?title=Tercer Informe Estado de la Educación&author=Nación&publication_year= Tercer Informe Estado de la Educación].PEN

</li>
<li>

Chen,  Guanhua, Shen,  Ji, Barth-Cohen,  Lauren, Jiang,  Shiyan, Huang,  Xiaoting & Eltoukhy,  Moataz. 2017.[https://scholar.google.com/scholar_lookup?title=Assessing elementary students’ computational thinking in everyday reasoning and robotics programming&author=Chen&publication_year= Assessing elementary students’ computational thinking in everyday reasoning and robotics programming]. Computers & Education 109:162–175.

</li>
<li>

Bourdieu,  P. 1998.[https://scholar.google.com/scholar_lookup?title=Capital cultural, escuela y espacio social&author=&publication_year= Capital cultural, escuela y espacio social].Siglo XXI

</li>
<li>

Ministerio de Planificación Nacional y Política Económica (Ed.) 2018.[https://scholar.google.com/scholar_lookup?title=Costa Rica índice de desarrollo social (IDS) 2017&author=&publication_year= Costa Rica índice de desarrollo social (IDS) 2017].MIDEPLAN

</li>
<li>

Sullivan,  Amanda & Bers,  Marina Umaschi. 2018.[https://scholar.google.com/scholar_lookup?title=Dancing robots: integrating art, music, and robotics in Singapore’s early childhood centers&author=Sullivan&publication_year= Dancing robots: integrating art, music, and robotics in Singapore’s early childhood centers]. International Journal of Technology and Design Education 28(2):325–346.

</li>
<li>

Kalas,  I & Tomcsányiová,  M. 2009.[https://scholar.google.com/scholar_lookup?title=Students’ attitude to programming in modern informatics&author=&publication_year= Students’ attitude to programming in modern informatics].[Conference]. 9th IFIP TC 3 World Conference on Computers in Education (WCCE)

</li>
<li>

Fundación Omar Dengo (Ed.) 2009.[https://scholar.google.com/scholar_lookup?title=Estándares de desempeño de estudiantes en el aprendizaje con tecnologías digitales&author=&publication_year= Estándares de desempeño de estudiantes en el aprendizaje con tecnologías digitales].FOD

</li>
<li>

Zapata-Ros,  M. 2015.[https://scholar.google.com/scholar_lookup?title=Pensamiento computacional: Una nueva alfabetización digital&author=Zapata-Ros&publication_year= Pensamiento computacional: Una nueva alfabetización digital]. Revista de Educación a Distancia 46(4).

</li>
<li>

Bocconi,  S, Chioccariello,  A, Dettori,  G, Ferrari,  A & Engelhardt,  K. 2016.[https://scholar.google.com/scholar_lookup?title=Developing computational thinking in compulsory education-implications for policy and practice&author=&publication_year= Developing computational thinking in compulsory education-implications for policy and practice].European Union

</li>
<li>

Jara,  Ignacio, Claro,  Magdalena, J.E.,  Hinostroza,, E.,  San-Martín,, Rodríguez,  Patricio, Cabello,  Tania, Ibieta,  Andrea & Labbé,  Christian. 2015.[https://scholar.google.com/scholar_lookup?title=Understanding factors related to Chilean students' digital skills: A mixed methods analysis&author=Jara&publication_year= Understanding factors related to Chilean students' digital skills: A mixed methods analysis]. Computers & Education 88:387–398.

</li>
<li>

Román-González,  M. 2015.[https://scholar.google.com/scholar_lookup?title=Test de pensamiento computacional: Principios de diseño, validación de contenido y análisis de ítems Computational Thinking Test: design guidelines, content validation and item analysis&author=&publication_year= Test de pensamiento computacional: Principios de diseño, validación de contenido y análisis de ítems Computational Thinking Test: design guidelines, content validation and item analysis].[Conference]. EDULEARN15 the 7th International Conference on Education and New Learning Technologies[https://doi.org/10.13140/RG.2.1.3056.5521  https://doi.org/10.13140/RG.2.1.3056.5521 ]

</li>
<li>

Brennan,  K & Resnick,  M. 2012.[https://scholar.google.com/scholar_lookup?title=Entrevistas basadas en artefactos para estudiar el desarrollo del Pensamiento Computacional (PC) en el diseño de medios interactivos&author=&publication_year= Entrevistas basadas en artefactos para estudiar el desarrollo del Pensamiento Computacional (PC) en el diseño de medios interactivos].[Conference]. American Educational Research Association (AERA)

</li>
<li>

Tang,  Xiaodan, Yin,  Yue, Lin,  Qiao, Hadad,  Roxana & Zhai,  Xiaoming. 2020.[https://scholar.google.com/scholar_lookup?title=Assessing computational thinking: A systematic review of empirical studies&author=Tang&publication_year= Assessing computational thinking: A systematic review of empirical studies]. Computers & Education 148:103798.

</li>
<li>

Dagiene,  V & Stupuriene,  G. 2016.[https://scholar.google.com/scholar_lookup?title=Bebras - A sustainable community building model for the concept-based learning of informatics and computational thinking&author=Dagiene&publication_year= Bebras - A sustainable community building model for the concept-based learning of informatics and computational thinking]. Informatics in Education 15(1):25–44.

</li>
<li>

Grover,  S & Pea,  R. 2013.[https://scholar.google.com/scholar_lookup?title=Computational thinking in K-12: A review of the state of the field&author=Grover&publication_year= Computational thinking in K-12: A review of the state of the field]. Educational Researcher 42(1):38–43.

</li>
<li>

Grover,  Shuchi, Pea,  Roy & Cooper,  Stephen. 2015.[https://scholar.google.com/scholar_lookup?title=Designing for deeper learning in a blended computer science course for middle school students&author=Grover&publication_year= Designing for deeper learning in a blended computer science course for middle school students]. Computer Science Education 25(2):199–237.

</li>
<li>

Salkind,  N. 2010.[https://scholar.google.com/scholar_lookup?title=Encyclopedia of research design&author=&publication_year= Encyclopedia of research design].SAGE

</li>
<li>

Martínez-Restrepo,  S, Ramos-Jaimes,  L, Maya,  N & Parra,  L. 2018.[https://scholar.google.com/scholar_lookup?title=Guía metodológica para medir las TIC en educación&author=&publication_year= Guía metodológica para medir las TIC en educación].IDRC – FEDESARROLLO

</li>
</ol>