ABSTRACT

Ten years after started the educational research around the new skills for the 21st century, tools help us to get closer to them are still few. The objective is to validate the test Basic Learning in Citizenship (ABC, for the acronym in Spanish); and to describe the results of its application, developed within the framework of the Independent Measurement of Learning-MIA, through Citizen-Led Assessment, in the Yucatan Peninsula. To validate the instrument was applied to 324 primary and secondary school children. To look into the citizenship learning, a representative sample of households was selected in Yucatan. In total, 1455 children and adolescents were interviewed, between 7 and 17 years old. The instrument has 16 items, four factors that explain 55.3% of the variance and a Cronbach's alpha of .72. The lowest basic learning in citizenship were tolerance and inclusion.

Key Words: Basic life skills, Psychological tests, Basic education, Citizenship education.

INTRODUCCIÓN

Formación ciudadana

En México, las condiciones de desigualdad y violencia han hecho de la ciudadanía un tema relevante. Esto se debe a que se le ve como coadyuvante del cambio necesario para mejorar las condiciones sociales (Dagnino, 2006). Si se quiere construir paz, se debe tomar como base al ciudadano(a) como un instrumento para lograr y sostener el cambio (Lederach, 1997).

La formación ciudadana se centra en el papel que tienen los individuos en el logro de una convivencia pacífica (Giraldo-Zuluaga, 2015); y su meta debe ser la búsqueda del bien común, a partir de la participación e involucramiento de las personas en la vida pública del país (Reyes & Rivera, 2018).

La formación de ciudadanos comienza desde la infancia e inicia cuando se es reconocido como parte de una sociedad, esto es, cuando se es reconocido como ciudadano (Martínez, 2003). En general, se puede decir que la misión de la escuela es garantizar que los alumnos y alumnas adquieran lo necesario para ser parte de una sociedad democrática (De Hoyos, 2017), esto implica considerar a la ciudadanía como uno de los temas centrales.

A nivel internacional, la Unión Europea, estableció la competencia social y ciudadana como uno de sus ocho ejes clave para la educación por competencias (Bolivar, 2010). Dentro de los Objetivos de Desarrollo Sostenible (ODS), el tema específico de la ciudadanía se aborda en el Objetivo 4: “Garantizar una educación inclusiva, equitativa y de calidad y promover oportunidades de aprendizaje durante toda la vida para todos”. Lograr garantizar educación de calidad implica que los NNA deben adquirir conocimientos teóricos y prácticos sobre temas que permitan su desarrollo integral como valores, desarrollo sostenible, igualdad de género, cultura de paz y ciudadanía mundial (Naciones Unidas, 2016).

A nivel regional, desde 1996 la Comisión Económica para América Latina y el Caribe (CEPAL) en su informe de educación y conocimiento, designó a la formación de la ciudadanía moderna como uno los objetivos de la educación, con miras a reducir las desigualdades y promover el desarrollo económico de la zona (CEPAL-UNESCO, 1996).

En México, la relación entre educación y ciudadanía es histórica (Barba, 2019). El Gobierno de México, incluye como una de sus funciones básicas la formación de ciudadanos, y para ello se plantea enseñar desde la educación inicial a respetar la ley y fomentar la cultura de paz (Secretaria de Educación Pública, 2020a). Según la Secretaria de Educación Pública (SEP), cada entorno escolar debe cumplir con normas claras y apegadas a los derechos humanos; prevención y atención de factores de riesgo; creación y funcionamiento de espacios de expresión y participación para la comunidad escolar; fomento al desarrollo de habilidades socioemocionales; formación de valores democráticos; y toma de decisiones colectivas (Secretaria de Educación Pública, 2020b).

La formación ciudadana ha ganado atención en el Siglo XXI en México, donde sobresalen tres grandes reformas al respecto. En 2008 se desarrolló el Programa Integral de Formación Cívica y Etica para la educación primaria (PIFCyE) (SEP, 2008). Según Conde (2015), este programa se centró en dos vertientes: una de desarrollo personal -enfatizando el conocimiento y valor de sí mismos- y una social -aspirando al conocimiento, ejercer y defender sus derechos así como participar de forma activa (Conde-Flores et al., 2017).

Casi 10 años después, en 2017 el gobierno mexicano presentó el “Nuevo Modelo Educativo”, donde se hizoexplícito que el propósito de la educación es “contribuir a formar ciudadanos libres, participativos, responsables e informados, capaces de ejercer y defender sus derechos, que participen activamente en la vida social, económica y política de México” (SEP, 2017b, p. 1). Asimismo, dentro de las once áreas principales del perfil de egreso de la educación obligatoria (SEP, 2017a) se encuentra la convivencia, la colaboración, el trabajo en equipo y la ciudadanía en general, dando un papel central a la formación ciudadana (Granados, 2018).

La tercera etapa se desprende de las reformas constitucionales de 2019, mismas que implicaron un tercer momento respecto a la temática de la formación ciudadana, con el proyecto de la “Nueva Escuela Mexicana” (NEM), un modelo educativo propuesto por la Secretaría de Educación Pública para el ciclo escolar 2021-2022. Según la SEP, este plan de estudios busca promover, entre otros, la perspectiva de género, el conocimiento de las matemáticas, la lectura y la escritura, el civismo, los estilos de vida saludables, y el cuidado al medio ambiente. Entre sus principales características destacan que fortalece la formación de los NNA en las convicciones a favor de la justicia, la libertad, la dignidad y otros valores fundamentales, incorporando la materia de “educación cívica y ética” desde primero de primaria (SEP, 2019). En este sentido, y tomando como antesala la publicación de la Ley General de Educación en 2019, se establece que la educación que imparta el Estado, sus organismos descentralizados y los particulares con autorización o con reconocimiento de validez oficial de estudios, debe promover el respeto irrestricto de la dignidad humana, como valor fundamental e inalterable de la persona y de la sociedad, a partir de una formación humanista que contribuya a la mejor convivencia social en un marco de respeto por los derechos de todas las personas y la integridad de las familias, el aprecio por la diversidad y la corresponsabilidad con el interés general.

Evaluación de la formación ciudadana

La evaluación de la formación ciudadana no es una tarea sencilla. Existe una dificultad práctica para medir la formación ciudadana tanto en el currículo, como en el ethos escolar. Esta dificultad se genera por la tensión entre libertad sobre juicios y evaluación sumativa, así como potenciales consecuencias negativas de una “baja” formación en test de gran escala con altas consecuencias (Jerome, 2008).

A pesar de estas dificultades, existen importantes ejercicios de evaluación en formación ciudadana. Uno de ellos se encuentra el Estudio sobre Educación Cívica (CIVED, por sus siglas en inglés) desarrollado en 1971, por la International Association for the Evaluation of Educational Achievement (IEA). Esta prueba fue validada, pero solamente en adolescentes de 14 años, y su objetivo fue contribuir al entendimiento y mejoramiento de la enseñanza de la educación cívica como herramienta para la formación de ciudadanía. Su aplicación se realizó en diversos países y permitió llevar a cabo un análisis sobre el estado de la ciudadanía en el mundo (W. Schulz et al., 2010, 2016). Este instrumento contó con diversos procesos de validación (SREDECC, 2011), incluyendo procesos para población mexicana (Joaquín Caso et al., 2016; Tirado & Guevara Niebla, 2006). Para poder ser aplicado, se realizó una traducción y adaptación en Baja California con una muestra de 3,912 estudiantes adolescentes; posteriormente se realizó una segunda aplicación en 2008 (Caso et al., 2008) en una población de 5,589 estudiantes. Los resultados confirman que el CivEd representa una alternativa para la evaluación de los aspectos actitudinales asociados con la educación cívica de estudiantes mexicanos.

Esta prueba se denominó ICCS International Civic and Citizenship Education Study (ICCS) en 2009 y se aplicó en diversas partes del mundo. En América Latina participaron México, República Dominicadana, Guatemala, Colombia, Paraguay y Chile con estudiantes de octavo grado (2º secundaria) con edad promedio de 14 años (SREDECC, 2011, p. 17).

En 2016 el instrumento ICCS se aplicó nuevamente a estudiantes de 8 años, con la participación de México, Colombia, Chile y Perú, por parte de América Latina. Los dominios de evaluación se centraron en conocimiento cívico: que comprende aspectos y conceptos clave sobre temas como organizaciones, instituciones y derechos característicos de las sociedades democráticas; equidad, libertad y justicia; procesos y prácticas asociados con la participación ciudadana; y el papel de las personas en las sociedades y la democracia. De igual forma, se estudió el compromiso y participación actual en diferentes actividades cívicas (voluntariado, voto, afiliación a partdiso) y sobre actudides hacia temas relevantes de la sociedad (INEE, 2018,).

En México, diversos estudios han intentado dar cuenta de las características de la ciudadanía en niños y niñas de educación básica, desde las representaciones de valores democráticos (Gingold & Winocur, 2000); las actitudes hacia la democracia y la influencia de los medios de comunicación y la familia (Huerta, 2009); los valores que influyen en la formación ciudadana (Araújo-Olivera et al., 2005); la evaluación del juicio moral (B. Barba, 2001); y las prácticas cívicas en la escuela (Elizondo, 2000). Sin embargo, el esfuerzo más importante lo realizó el INEE, por medio de los Exámenes de la Calidad y el Logro Educativos (Excale) donde buscó evaluar la asignatura de educación cívica y ética en tercero de primaria, sexto de primaria y tercero de secundaria (INEE, 2020). Para tercero de primaira, estos exámenes definieron dos dominios: 1) educación cívica: sentido de pertentencia a la comunidad, organización política del Estado Mexicano, democracia y participación ciudadana; y 2) formación ética: formación de valores y naturaleza humana, comprensión y conocimiento de las garantías sociales e individuales derechos y obligaciones (INEE et al., 2007). Para tercero de secundaria se mantuvieron los dominios, ajustándose a los contenidos curriculares: educación cívica (conocimiento de las instituciones y la organización política de México, comprensión de derehos y deberes, participación social y política, respeto a aprecio por la diversidad), y formación ética (conocimiento y cuidado de sí mismo y formación de valores) (INEE, 2009, p. 140).1

El instrumento que se presenta en este artículo busca abonar a la evaluación de formación ciudadana, desde una perspectiva complementaria, pues se centra en aprendizajes básicos, más que en aprendizajes esperados, y se desarrolla por medio de evaluaciones alternativas, tal como se discute a continuación.

Evaluaciones alternativas

El presente documento, desde una visión de evaluación alternativa, presenta un instrumento de medición que, a diferencia de los anteriores, pretende medir aprendizajes básicos de ciudadanía en niños, niñas y adolescentes (NNA). Así, se consideran los aprendizajes básicos de ciudadanía como: “el conjunto de conocimientos, habilidades, actitudes y valores para la convivencia. Marcan las pautas para que los niños y niñas, en su calidad de ciudadanos, formen parte de una sociedad, convivan con otros y busquen el bien común. Estas pautas están vinculadas en varios sentidos con las reglas, con los derechos de las personas, con las dinámicas de interacción con los otros y otras, y con las formas de organización social” (Espinoza, 2020, p. 87).

Es necesario aclarar que con evaluaciones alternativas nos referimos a aquellos procesos que surgieron como opciones paralelas a las evaluaciones estandarizadas, que tantos problemas y limitaciones han ido presentado (ARG, 2002; F. Hevia & Vergara-Lope, 2019). Las evaluaciones alternativas han ido ganando terreno e incluyen gran diversidad de procesos y metodologías pero, el presente documento se enfoca en solamente una de sus vertientes: las evaluaciones dirigidas por ciudadanos (CLA).

Los CLA, por sus siglas en inglés (Citizen-Led-Assessment-CLA) se crearon en la India, hace casi 20 años y se han adaptado y aplicado en aproximadamente 15 páises de África, Asia y Ámerica Latina (Qué hacemos – PAL Network, s/f). A pesar de las diferencias entre los países, las evaluaciones comparten características principales como son: se aplican en hogares y no en escuelas, son voluntarios ciudadanos quienes aplican los intrumentos, las aplicaciones se realizan niño(a) por niño(a) en forma de entrevista, se realizan muestras estadísticamente significativas a nivel de distrito, miden apendizajes básicos, y los instrumentos de medición son muy simples y cortos pero robustos (Banerji et al., 2013; Mugo et al., 2015; Munene, 2016). En el caso de México, la adaptación de esta metodología se realizó en 2005 y lleva el nombre de MIA – Medición Independiente de Aprendizajes (F. J. Hevia & Vergara-Lope, 2016a; Vergara-Lope, 2018; Vergara-Lope & Hevia, 2016b). MIA ha realizado esta medición de aprendizajes básicos de lectura y matemáticas en seis estados de la República Mexicana (Veracruz, Tabasco, Campeche, Quintana Roo, Yucatán y Puebla), y posteriormente desarrolló innovaciones educativas para abatir el rezago de aprendizajes en estos temas. Ahora, el objetivo ha sido expandirse a otros dominios, como es el caso de los aprendizajes de ciudadanía.

Aprendizajes básicos

Con aprendizajes básicos, por su parte, nos referimos a un “conjunto de habilidades y saberes fundamentales (…) que sirven para la realización y solución de problemas cotidianos” (Vergara-Lope, 2018, p. 45), ayudan al desarrollo de los individuos en todas las áreas de su vida y si no se desarrollan en tiempo y forma comprometen su aprendizajes futuro y su adpatación e inclusión social (Coll & Martín, 2006; Vergara-Lope, 2018). Debido a que las demandas que tienen que enfrentar las personas a lo largo de su vida son diversas, los aprendizajes básicos que deben tener niños y niñas van a variar de acuerdo a los contextos y necesidades en cada lugar y momento histórico (UNESCO, 2016). Dentro de lo básico indispensable están, además de las cuestiones cognitivas e intelectuales (como la lectura y las matemáticas), aspectos emocionales, sociales, motivacionales, creativos y actitudinales, así como los valores, que son indispensables para vivir y enfrentarse al medio, y que han sido incluidas dentro de las “nuevas habilidades para el silgo XXI” (Bassi et al., 2012; Luna Scott, 2015; UNESCO-OREALC, 2017).

Para indagar sobre los aprendizajes básicos de ciudadanía fue necesario preguntarse qué era lo básico indispensable que los niños y niñas tendrían que aprender para poder seguir desarrollándose y lograr tener una buena calidad de vida de acuerdo a las condiciones que vivimos en México actualmente y to,ando en cuenta los criterios que Coll y Martín (2006).

En el caso de los aprendizajes básicos de ciudadanía, estos se convirtieron en algo imprescindible (Ananiadou & Claro, 2010; Arthur et al., 2008; Care, 2016; Luna Scott, 2015) dadas las condiciones de América Latina y el Caribe en las últimas décadas (INE, 2014; Latinobarómetro, 2017). La postura de esta investigación se diferencia del marco de referencia de la ciudadanía global porque se enfoca en la importancia de generar ciudadanía local y contextual, antes de dirigir las miradas a una ciudadanía mundial, aunque guarda alguna similitudes con ella (UNESCO, 2014).

METODOLOGÍA

La primera parte de este documento tiene el objetivo de presentar la validación del Instrumento de Medición de Aprendizajes Básicos en Ciudadanía (ABC).

Para realizar el primer objetivo, el instrumento fue aplicado a 324 niños, niñas y adolescentes. Se seleccionaron cuatro escuelas de los niveles primaria y secundaria, públicas (Veracruz). Los y las participantes encuestadas fueron de edades entre 6 y 17 años, con una media de 11.8 (DE=2.7), 53.1% mujeres y 46.9% hombres. Los grados escolares que cursaban son los que se muestran a continuación en la tabla 1. El muestreo fue intencional por cuotas.

Tabla 1. Distribución por grado escolar de la muestra.

Frecuencia Porcentaje
1° de primaria 23 7.1
2° de primaria 14 4.3
3° de primaria 25 7.7
4° de primaria 36 11.1
5° de primaria 18 5.6
6° de primaria 27 8.3
1° de secundaria 76 23.5
2° de secundaria 43 13.3
3° de secundaria 62 19.1
Total 324 100.0


Fuente: Elaboración propia.

Con los resultados de las aplicaciones se realizó un análisis factorial confirmatorio para obtener la validez de contenido y coeficiente de consistencia interna para obtener la confiabilidad. Se obtuvo validez convergente con el Instrumento de aprendizajes de Ciudadanía-IAC (Espinoza, 2020). Para ello se aplicaron ambos instrumentos a 117 niñas y niños de edades entre 7 y 11 años, que cursaban de 2º a 5º grado de primaria en dos primarias públicas (Veracruz).

Para la segunda parte, que tiene por objeto dar cuenta de los aprendizajes de ciudadanía de niños y niñas de Yucatán, se aplicó el instrumento ABC a 1455 niños, niñas y adolescentes, de edades entre 7 y 17 años, con una media de 11.12 años. El 52.5% hombres y el 47.5% eran mujeres. Cursaban diferentes grados escolares que se muestran en la tabla 1.

Tabla 2. Distribución de frecuencia por grado escolar.

Grado escolar Yucatán
F %
1° de primaria 12 0.8
2° de primaria 146 10.0
3° de primaria 191 13.1
4° de primaria 175 12.0
5° de primaria 166 11.4
6° de primaria 137 9.4
1° de secundaria 143 9.8
2° de secundaria 140 9.6
3° de secundaria 97 6.7
Bachillerato 216 14.8
No estudia 32 2.2
Total 1455 100


Fuente: Elaboración propia.

Para llevar a cabo la aplicación del instrumento, se realizó un muestreo (Hernández Sampieri et al., 2010; Kerlinger & Lee, 2002) representativo polietápico: estratificado (todos los Distritos electorales), probabilístico por conglomerados, (Unidad Primaria de Muestreo=selección de municipios; Unidad Secundaria de Muestreo=selección de localidades o AGEBs dentro de los municipios con balance entre zonas urbanas y rurales y considerando el tamaño población y el total de personas de 7 a 17 años), y finalmente elección sistemática de viviendas (se escogió aleatoriamente el primer elemento y posteriormente se seleccionó una vivienda cada dos).

El instrumento que se utilizó fue el Instrumento de Medición de Aprendizajes Básicos en Ciudadanía (ABC) del que se da cuenta en la primera parte de este documento. Tiene 16 reactivos y cuatro dimensiones: Reglas, Tolerancia e inclusión, Trabajo en equipo y Convivencia y participación.

El instrumento contaba con un Alfa de Cronbach de .72 y 55.3% de la varianza explicada (se puede observar en la primera parte del apartado de resultados). Para la aplicación en el estado de Yucatán: a) se cambió la redacción de dos reactivos negativos (4 y 10) para volverlos positivos; b) se obtuvo nuevamente el alpha de Cronbach con los nuevos reactivos, la cual aumentó a .74. Contiene cuatro opciones de respuesta: nunca, a veces, casi siempre y siempre; y se puntúan del 1 al 4 respectivamente, excepto los reactivos negativos que se califican al revés (reactivos negativos que se califican al revés: 2 y 12).

El instrumento fue aplicado como parte de una batería que incluía MIA Lectura, MIA matemáticas (Hevia & Vergara-Lope, 2016), así como una encuesta de variables regularmente asociadas al logro académico.

En la metodología de MIA (Vergara-Lope, 2018; Vergara-Lope et al., 2017; Vergara-Lope & Hevia, 2016a) los instrumentos se aplican a todos los niños, niñas y adolescentes que vivan en los hogares seleccionados. Se aplica con lápiz y papel en forma de entrevista niño por niño. La aplicación fue realizada por 141 ciudadanos voluntarios que fueron capacitados previamente en un taller de entre 6 y 7 horas.

RESULTADOS

Esta primera aplicación del Instrumento de Medición de Aprendizajes Básicos en Ciudadanía (ABC) permitió obtener datos de confiabilidad y validez. Las frecuencias muestran que en ninguno de los reactivos existió un porcentaje arriba de 90% en una sola opción de respuesta. Todas las correlaciones item-calificación total fueron significativas entre .13 y .60. Se corrió un análisis factorial que arrojó comunalidades por arriba de .37 para todos los reactivos. El análisis de componentes principales con rotación Varimax (5 iteraciones) se forzó a 4 factores que explican el 55.3% de la varianza.

La distribución de las cargas factoriales se muestra en la tabla 3.

Tabla 3. Cargas factoriales.

Reactivos 1 2 3 4
1. Respetas las reglas cuando participas en una actividad 0.786
3. Respetas el turno de los demás 0.765
5. Sigues las instrucciones que te da el maestro en el salón de clases 0.702
7. Prestas atención cuando el maestro está dando su clase 0.743
13. Aunque no estés de acuerdo con alguien, respetas su opinión 0.554
14. Organizas el material después de trabajar para que el salón esté ordenado 0.519
2. Te caen mal las personas que no tienen el mismo color de piel que tú 0.73
4. Evitas jugar con personas que son diferentes a ti 0.751
10. Piensas que las mujeres no pueden hacer las mismas cosas que los hombres 0.626
12. Te alejas de las personas  que tienen alguna discapacidad 0.681
6. Te llevas bien con todos 0.688
9. Te gusta trabajar en equipo 0.788
15. Aprendes mejor cuando trabajas en equipo 0.708
8. Cuando alguien no respeta las reglas del juego se lo dices 0.79
11. Te gusta adaptar el juego para que todos puedan jugar 0.692
16. Te sientes bien cuando compartes tus cosas 0.565


Fuente: Elaboración propia.

El Alfa de Cronbach general que se obtuvo con 16 reactivos fue de .72 y por dimensión como se muestra en la tabla 4.

Tabla 4. Índices de consistencia iinterna total y por dimensión

Dimensión Numeración 16 Número de reactivos Alfa de Cronbach
Reglas 1, 3, 5, 7, 13, 14. 6 0.81
Tolerancia e inclusión 2, 4, 10, 12. 4 0.65
Trabajo en equipo 6, 9, 15 3 0.63
Convivencia y participación 8, 11, 16 3 0.60
Total 16 0.72


Fuente: Elaboración propia.

De acuerdo a las calificaciones obtenidas se calcularon calificaciones altas, medias y bajas (tabla 5).

Tabla 5. Calificación total y por dimensión

Sumatoria Total Reglas Tolerancia e inclusión Trabajo en equipo Convivencia y participación
Reactivos 16 6 4 3 3
Calificación mínima 16 6 4 3 3
Calificación máxima 64 24 16 12 12
Medias 50.96 18.67 13.71 9.36 9.22
DE 6.53 3.92 2.66 2.19 2.22
Medias ponderadas 3.19 3.11 3.43 3.12 3.07
Alto 57.50 - 64 22.60 - 24 16.38 - 16 11.56 - 12 11.45 - 12
Medio 44.43 - 57.49 14.75 - 22.59 11.05 - 16.37 7.17 - 11.55 7 - 11.44
Bajo 16 - 44.42 6 - 14.74 4 - 11 3 - 7.16 3 - 6.99


Fuente: Elaboración propia.

En la validez convergente con el Instrumento de aprendizajes de Ciudadanía-IAC (Espinoza, 2020), se obtuvo una correlación de Pearson de .54 (significativa al .001).

Descripción de los aprendizajes de Ciudadanía

El Instrumento de Medición de Aprendizajes Básicos en Ciudadanía (ABC) fue aplicado en el estado de Yucatán a 1455 niños, niñas y adolescentes. Como aparece en la tabla 6, los cinco reactivos que tuvieron medias de respuesta más bajas en aprendizajes de ciudadanía son: 8, 10, 12 y 15; y las medias más altas fueron de los reactivos 1, 3, 4 y 5.

Tabla 6. Medias por reactivo, ordenados de menor a mayor.

Reactivos N Media DE
C8. Cuando alguien no respeta las reglas del juego, se lo dices 1430 3.13 1.039
C10. Piensas que las mujeres pueden hacer las mismas cosas que los hombres 1434 3.20 1.103
C15. Aprendes mejor cuando trabajas en equipo 1435 3.41 0.889
 C12. Te alejas de las personas que tienen alguna discapacidad 1428 3.47 1.025
C13. Aunque no estés de acuerdo con alguien, respetas su opinión 1435 3.51 0.794
C14. Organizas el material después de trabajar para que el salón esté ordenado 1435 3.51 0.788
C16. Te sientes bien cuando compartes tus cosas 1437 3.52 0.819
C11. Te gusta adaptar el juego para que todos puedan jugar 1435 3.60 0.779
C9. Te gusta trabajar en equipo 1433 3.61 0.745
C6. Te llevas bien con todos 1438 3.63 0.676
C7. Prestas atención cuando el maestro está dando su clase 1433 3.64 0.655
 C2. Te caen mal las personas que no tienen el mismo color de piel que tú 1437 3.66 0.892
C5. Sigues las instrucciones que te da el maestro en el salón de clases 1431 3.70 0.613
C4. Te gusta jugar con personas que son diferentes a ti 1430 3.71 0.687
C3. Respetas el turno de los demás 1439 3.72 0.625
C1. Respetas las reglas cuando participas en una actividad 1437 3.73 0.591


Fuente: Elaboración propia.

Respecto a la dimensiones, la media ponderada más alta está en la dimensión reglas y la más baja, al igual que en la muestra de la validación, fue en convivencia y participación (Tabla 7).

Tabla 7. Medias y medias ponderadas por dimensión.

Dimensión Media DE Reactivos Media P.
Reglas 21.82 2.636 6 3.64
Tolerancia e inclusión 14.05 2.152 4 3.51
Trabajo en equipo 10.64 1.657 3 3.55
Convivencia y participación 10.25 1.757 3 3.42
Sumatoria total 56.76 5.569 16 3.55


Fuente: Elaboración propia.

La relación de diferentes variables con los resultados de ciudadanía se muestra a continuación.

En el caso de la edad no se obtuvo correlación de la sumatoria total de ciudadanía con la edad, sin embargo, las dimensiones sí se correlacionaron significativamente con la edad de los niños, niñas y adolescentes (tabla 8). La dimensión tolerancia e inclusión se correlaciona de manera positiva y las otras tres dimensiones de manera negativa con la edad. En la figura 1 se puede observar esta tendencia de la dimensión de tolerancia e inclusión a aumentar con la edad, y como la dimensión de trabajo en equipo baja conforme aumenta la edad.

Tabla 8. Correlación de las dimensiones con la edad.

Coeficiente de correlación de Spearman Reglas Tolerancia e inclusión Trabajo en equipo Convivencia y participación
Edad -.086*** .289*** -.213*** -.112***


Draft Content 714561599-370-chart1.svg

Figura 1. Correlación de las dimensiones con la edad. Fuente: Elaboración propia.

En el caso de género, las mujeres presentan medias más elevadas en todas las dimensiones, pero sólo en la dimensión de reglas (t= 4.638, sig. al .001, gl= 1432.141) y en la sumatoria total de aprendizajes de ciudadanía (t=3.838, sig. al .001, gl=1433.998) las diferencias son significativas (Ver figura 2). La mayor diferencia de género se observa en la dimensión reglas.

Draft Content 714561599-370-chart2.svg

Figura 2. Diferencias de las medias de las dimensiones por género. Fuente: Elaboración propia.

Los reactivos que más se diferencian por género son el 14, 7 y 5, en los que las mujeres presentan mayores medias (tabla 9) , aunque nueve de los 16 reactivos presentan diferencias significativas por género.

Tabla 9. Reactivos con medias que presentan diferencias estadísticamente significativas por género.

Femenino Masculino t gl
C14. Organizas el material después de trabajar para que el salón esté ordenado 3.585 3.447 3.334*** 1433.040
C7. Prestas atención cuando el maestro está dando su clase 3.722 3.577 4.268*** 1425.166
C5. Sigues las instrucciones que te da el maestro en el salón de clases 3.773 3.627 4.597*** 1413.691


Fuente: Elaboración propia.

Las medias son más elevadas en las escuelas privadas en dos de las dimensiones (reglas y tolerancia e inclusión) y en la sumatoria total, pero las diferencias por sostenimiento de la escuela resultan significativas sólo en la dimensión de tolerancia e inclusión (t=-5.458, sig. al .001, gl= 99.59) (Ver Figura 3).

Draft Content 714561599-370-chart3.svg

Figura 3. Diferencias de las medias de las dimensiones por sostenimiento. Fuente: Elaboración propia.

Los reactivos que más distancia tienen entre escuelas públicas y privadas son el 2, 10 y 12, los cuales presentan diferencias significativas por sostenimiento y las tres medias son mayores en las escuelas privadas (tabla 10).

Tabla 10. Reactivos con medias que presentan diferencias estadísticamente significativas por sostenimiento.

Pública Privada t gl
 C2. Te caen mal las personas que no tienen el mismo color de piel que tú 3.645 3.937 -5.638*** 130.994
C10. Piensas que las mujeres pueden hacer las mismas cosas que los hombres 3.189 3.494 -3.268*** 98.116
 C12. Te alejas de las personas que tienen alguna discapacidad 3.452 3.791 -4.717*** 109.939


Fuente: Elaboración propia.

El 38.2% de la muestra hablaba una lengua indígena, en su gran mayoría maya. Las medias de los aprendizajes de ciudadanía de las personas que hablaban lengua indígena fueron mayores, con excepción de la dimensión tolerancia e inclusión, sin embargo la diferencia solo fue significativa en la dimensión trabajo en equipo (t= -3.811, sig. al .001, gl= 1241.553) (Ver Figura 4).

Draft Content 714561599-370-chart4.svg

Figura 4. Diferencias de las medias de las dimensiones por lengua. Fuente: Elaboración propia.

Los niños, niñas y adolescentes que hablaban lengua indígena obuvieron significativamente mejores resultados en las preguntas 9, 6, 11, 15 y 4 (tabla 11).

Tabla 11. Reactivos con medias que presentan diferencias estadísticamente significativas por lengua.

Sí hablaban lengua indígena No hablaban lengua indígena t gl
C9. Te gusta trabajar en equipo 3.687 3.561 -3.217*** 1262.118
C6. Te llevas bien con todos 3.693 3.584 -3.056** 1258.406
C11. Te gusta adaptar el juego para que todos puedan jugar 3.664 3.559 -2.532* 1233.645
C15. Aprendes mejor cuando trabajas en equipo 3.467 3.368 -2.083* 1205.565
C4. Te gusta jugar con personas que son diferentes a ti 3.765 3.683 -2.265* 1253.03


Fuente: Elaboración propia.

Los niños y niñas que asisten a la escuela tienen medias más elevadas en todas las dimensiones de aprendizajes de ciudadanía, pero las diferencias son estadísticamente significativas en la sumatoria total de aprendizajes de ciudadanía (t= -2.855, sig. al .01, gl= 28.441) y en las dimensiones de reglas (t=-2.930, sig. .01, gl= 28.339), trabajo en equipo (t=-2.105, sig. al .05, gl=1434), y convivencia y participación (t=-2.811, sig. al .01, gl= 1434) (Ver Figura 5).

Draft Content 714561599-370-chart5.svg

Figura 5. Diferencias de las medias de las dimensiones por asistencia a la escuela. Fuente: Elaboración propia.

Lo datos sobre violencia muestran que el 55% de los niños y niñas habían tenido al menos un episodio de violencia en alguno de los escenarios (tabla 12). Al relacionar la violencia general con el total de aprendizajes de ciudadanía se obtiene una correlación negativa y significativa de -.110 (sig. al .001), esto es, existe cierta tendendia de que a mayor violencia vivida, menos aprendizajes de ciudadanía se encontraron y viceversa. Cuando se buscan diferencias significativas en los aprendizajes de ciudadanía entre los que presentan al menos un episodio de violencia y los que no presentan ninguno, también se observan diferencias significativas presentando mayores medias los que no presentan ningún episodio de violencia.

Tabla 12. Porcentajes de frecuencia de episodios de violencia vivida en los diferentes escenarios.

Número de episodios de violencia Violencia Escuela Violencia Calle Violencia Casa Violencia en general
Ningún episodio de violencia 64.1 93.7 89.4 55
De un episodio en adelante 35.9 6.3 10.5 45


Fuente: Elaboración propia.

DISCUSIÓN Y CONCLUSIONES

Este documento propone al ABC como un instrumento que funciona como una suerte de tamizaje que pretende detectar la situación de ciertos aprendizajes básicos fundamentales de ciudadanía, que seguramente no son los únicos, pero que permiten empezar por algo al momento de plantear la acción. De este modo se pretende que esta sea una herramienta formativa que nos dé luz sobre los huecos más importantes en materia de ciudadanía desde el ámbito educativo. Es necesario aclarar que, si bien los datos de confiabilidad de algunas de las dimensiones no son del todo satisfactorios, el índice de consistencia interna total es adecuado, pero, eso no impide que sea necesaria realizar una revisión de los factores y acomodo de los reactivos por dimensión

El tema de la ciudadanía en la infancia no es sencillo de abordar; es muy reciente la perspectiva de los niños y niñas como ciudadanos, posiblemente de ahí se desprende la estrecha guía con la que se cuenta para poder medirla desde el ámbito educativo. Más allá de la dificultad de pensar la ciudadanía desde la infancia, resulta un reto analizar cuáles son los aprendizajes para la ciudadanía más elementales y necesario, que si no son adquiridos en la primera década de la vida es muy difícil continuar con el desarrollo de las diferentes áreas del individuo, pensar en un cambio social a mediano o largo plaza y la resolución de problemas regionales como la violencia o la corrupción.

Resulta de interés para los autores la revisión de los reactivos que presentan las calificaciones más bajas, porque ahí es donde se encuentran las necesidades de intervención. Sólo como ejemplo, se quiere resaltar que un 25% de los niños y niñas no están de acuerdo con que las mujeres puedan hacer las mismas cosas que los hombres; cerca del 20% no creen que en equipo se pueda aprender mejor; y un 17% se alejan de personas que tienen alguna discapacidad.

Al parecer, con la edad se van ganando algunos aprendizajes relacionados con la tolerancia, pero se va perdiendo algo del trabajo en equipo y el apego a la reglas, probablemente como ingerencia de las caracteristicas propias de la adolescencia. Las mujeres presentan medias más elevadas de ciudadanía y más alta dimensión de reglas.

Llama la atención que en las escuelas privadas se observen significativamente mejores respuestas de tolerancia e inclusión relacionadas al color de la piel, el género y la discapacidad; mientras en los niños y niñas que hablan una lengua indígena es la dimensión más baja. Los niños y niñas que hablan, en su mayoría, lengua maya obtuvieron media significativamente más alta en la dimensión trabajo en equipo. Los niños y niñas que asistían a la escuela tuvieron mejores medias de ciudadanía.

Por último, los resultados muestran una enorme ventana de oportunidad tanto para mejorar procesos de evaluación de nuevos aprendizajes y evaluaciones a gran escala, como para generar intervenciones educativas alternativas dirigidas y focalizadas en estos aprendizajes, que permita articular la evaluación con la mejora educativa, algo que la metodología de evaluaciones dirigidas por ciudadanos permite y promueve.

REFERENCIAS BIBLIOGRÁFICAS

Ananiadou, K., & Claro, M. (2010). Habilidades y competencias del siglo XXI para los aprendices del nuevo milenio en los países de la OCDE traducción de Working Paper 21st Century Skills and Competences for New Millennium Learners in OECD Countries (EDU Working paper no. 41). Instituto de Tecnologías Educativas/OCDE. http://recursostic.educacion.es/blogs/europa/media/blogs/europa/informes/Habilidades_y_competencias_siglo21_OCDE.pdf

Araújo-Olivera, S., Yukén Camarena, M. T., Estrada Ruiz, M. J., & Cruz Reyes, M. de la. (2005). Respeto, democracia y política, negación del consenso. El caso de la Formación cívica y ética en escuelas secundarias de Morelos. Revista Mexicana de Investigación Educativa, 10(24), 15–42.

ARG. (2002). Testing, motivation and learning. Assessment Reform Group; University of Cambridge Faculty of Education.

Arthur, J., Davies, I., & Hahn, C. (2008). SAGE Handbook of Education for Citizenship and Democracy. SAGE.

Banerji, R., Bhattacharjea, S., & Wadhwa, W. (2013). The Annual Status of Education Report (ASER). Research in Comparative and International Education, 8(3), 387. https://doi.org/10.2304/rcie.2013.8.3.387

Barba, B. (2001). Razonamiento moral de principios en estudiantes de secundaria y de bachillerato. Revista Mexicana de Investigación Educativa, 6(13), 1–15.

Barba, J. B. (2019). Artículo tercero Constitucional. Génesis, transformación y axiología. Revista mexicana de investigación educativa, 24(80), 287–316.

Bassi, M., Busso, M., Urzua, S., & Vargas, J. (2012). Desconectados: Habilidades, educación y empleo en América Latina. Inter-American Development Bank, IDB.

Bolivar, A. (2010). Competencias básicas y currículo (Síntesis).

Care, E. (2016, agosto 9). Habilidades para un mundo cambiante. Aprendizaje y Docencia en la Agenda de Educación 2030. Aprendizaje y Docencia en la Agenda de Educación 2030, Santiago.

Caso, J., González- Montesinos, M., Rodríguez, J. C., & Urias, E. (2008). Evaluación de la Educación Cívica en estudiantes de secundaria en Baja California. UEE Reporte técnico 08-001. Universidad Autónoma de Baja California.

Caso, Joaquín, Hernández, E., & Rodríguez, J. C. (2016). Análisis multinivel de los factores asociados a la educación cívica en estudiantes de secundaria. Revista Iberoamericana de Evaluación Educativa, 2(1).

CEPAL-UNESCO. (1996). Educación y conocimiento: Eje de la transformación productiva con equidad, Santiago de Chile. http://unesdoc.unesco.org/images/0015/001502/150253so.pdf

Coll, C., & Martín, E. (2006). Vigencia del debate curricular. Aprendizajes básicos, competencias y estándares. SEP.

Conde, S. (2015). Formación ciudadana en México. Instituto Nacional Electoral.

Conde-Flores, S., García-Cabrero, B., & Alba-Meraz, A. (2017). Civic and Ethical Education in Mexico: From Classic Civics to the Development of Civic and Citizenship Competences. En B. García-Cabrero, A. Sandoval-Hernández, E. Treviño-Villareal, S. Diazgranados Ferráns, & M. G. Pérez Martínez (Eds.), Civics and Citizenship: Theoretical Models and Experiences in Latin America (pp. 41–66). SensePublishers.

Dagnino, E. (2006). Meanings of citizenship in Latin America. Canadian Journal of Latin American and Caribbean Studies, 31 (62), 15–51.

De Hoyos, R. (2017). Test for what and what to test. World Bank Blogs. https://blogs.worldbank.org/developmenttalk/test-what-and-what-test

Elizondo, A. (2000). El discurso cívico en la escuela. Perfiles Educativos, XXII(90), 115–129.

Espinoza, A. K. (2020). Análisis de los aprendizajes para la ciudadanía en niños y niñas: Creación y validación de un instrumento. IIE-Universidad Veracruzana.

Gingold, L., & Winocur, R. (2000). Los valores de la democracia según los niños mexicanos. Perfiles Latinoamericanos, 16, 149172.

Giraldo-Zuluaga, G. A. (2015). Ciudadanía: Aprendizaje de una forma de vida. Educ. Educ., 18 (1), 76–92. https://doi.org/10.5294/edu.2015.18.1.5

Granados, O. (2018). Reforma educativa. FCE.

Hernández Sampieri, R., Fernández Collado, C., & Baptista Lucio, P. (2010). Metodología de la investigación (5a ed). McGraw-Hill.

Hevia, F. J., & Vergara-Lope, S. (2016a). Evaluaciones educativas realizadas por ciudadanos en México: Validación de la Medición Independiente de Aprendizajes. Innovación Educativa, 16(70), 85–110.

Hevia, F. J., & Vergara-Lope, S. (2016b). Evaluaciones educativas realizadas por ciudadanos en México: Validación de la Medición Independiente de Aprendizajes. Innovación Educativa, 16, 26.

Hevia, F., & Vergara-Lope, S. (2019). ¿Accountability Educativo o Accountability Social en educación? Semejanzas, tensiones y diferencias. Accountability Working Paper, 5, 1–65.

Huerta, E. (2009). La relación escuela-padres de familia en las secundarias mexicana (Núm. 34; Cuadernos de investigación). INEE.

INE. (2014). Informe país sobre la calidad de la ciudadanía en México. INE. http://www.ine.mx/archivos2/portal/DECEYEC/EducacionCivica/informePais/

INEE. (2009). Informe sobre los resultados del Excale 09, aplicación 2008 Español, Matemáticas, Biología y Formación cívica y ética. INEE.

INEE. (2018). Estudio Internacional de Educación Cívica y Ciudadana (ICCS 2016). Informe nacional de resultados. INEE.

INEE. (2020). Examenes de la Calidad y el Logro Educativos (EXCALE). INEE. https://historico.mejoredu.gob.mx/evaluaciones/planea/excale/

INEE, Miguel A, Flores Vázquez, D. L., & Vazquez García, N. (2007). El Aprendizaje en tercero de primaria en México: Español, matemáticas ciencias naturales, ciencias sociales : resumen ejecutivo del informe. Instituto Nacional para la Evaluación de la Educación.

Jerome, L. (2008). Assessing Citizenship Education. En J. Arthur, I. Davies, & C. Hahn (Eds.), SAGE Handbook of Education for Citizenship and Democracy (pp. 545–558). SAGE.

Kerlinger, F. N., & Lee, H. R. (2002). Investigacion del Comportamiento. MC Graw Hill.

Latinobarómetro. (2017). Informe 2017. Corporación Latinobarómetro.

Lederach, J. P. (1997). Building Peace. Sustainable Reconciliation in Divide Societies. United States Institute Of Peace.

Luna Scott, C. (2015). El futuro del aprendizaje 2. ¿Qué tipo de aprendizaje se necesita en el Siglo XXI? (Investigación y prospectiva en educación Núm. 14). UNESCO. http://unesdoc.unesco.org/images/0024/002429/242996s.pdf

Martínez, J. C. (2003). Ciudadanía, poder y educación. Grao.

Mugo, J. K., Ruto, S. J., Nakabugo, M. G., & Mgalla, Z. (2015). A Call to Learning Focus in East Africa: Uwezo’s Measurement of Learning in Kenya, Tanzania and Uganda. Africa Education Review, 12(1), 48–66. https://doi.org/10/gfv5xr

Munene, I. I. (Ed.). (2016). Achieving Education for All: Dilemmas in System-wide Reforms and Learning Outcomes in Africa. Lexington Books.

Naciones Unidas. (2016). Objetivos de desarrollo sostenible. http://www.un.org/sustainabledevelopment/es/

OCDE. (2005). Definición y Selección de competencias clave. Resumen ejecutivo. OCDE. http://deseco.ch/bfs/deseco/en/index/03/02.parsys.78532.downloadList.94248.DownloadFile.tmp/2005.dscexecutivesummary.sp.pdf

Qué hacemos – PAL Network. (s/f). Recuperado el 9 de enero de 2019, de https://palnetwork.org/what-we-do/?lang=es

Reyes, O. G., & Rivera, J. R. (2018). La construcción de ciudadanía: La educación desde la infancia encaminada a la inclusión social. Revista de ciencias sociales, 12 (44), 52–71.

Schulz, W., Ainley, J., Fraillon, J., Kerr, D., & Losito, B. (2010). ICCS 2009 International Report: Civic Knowledge, Attitudes, and Engagement among Lower-Secondary School Students in 38 Countries. IEA. http://pub.iea.nl/fileadmin/user_upload/Publications/Electronic_versions/ICCS_2009_International_Report.pdf

Schulz, W., Ainley, J., Fraillon, J., Losito, B., Agrusti, G., & Friedman, T. (2016). Becoming Citizens in a Changing World. IEA International Civic and Citizenship Education Study. Springer open. https://www.iea.nl/publications/study-reports/international-reports-iea-studies/becoming-citizens-changing-world

Schulz, Wolfram, Fraillon, J., Ainley, J., Losito, B., Kerr, D., Australian Council for Educational Research (ACER), National Foundation for Educational Research in England and Wales, Universita degli studi Roma tre. Laboratorio di Pedagogia sperimentale, & International Association for the Evaluation of Educational Achievement (IEA). (2008). International civic and citizenship education study: Assessment framework. IEA.

Secretaria de Educación Pública. (2020a, enero 23). Boletín No 23. Se enseñará desde la educación inicial a respetar la ley y fomentar la cultura de paz: SEP. gob.mx. http://www.gob.mx/sep/articulos/boletin-no-23-se-ensenara-desde-la-educacion-inicial-a-respetar-la-ley-y-fomentar-la-cultura-de-paz-sep

Secretaria de Educación Pública. (2020b, enero 27). Boletín No 28 La formación de niñas, niños y jóvenes es corresponsabilidad de padres de familia y maestros: Esteban Moctezuma Barragán. gob.mx. http://www.gob.mx/sep/articulos/boletin-no-28-la-formacion-de-ninas-ninos-y-jovenes-es-corresponsabilidad-de-padres-de-familia-y-maestros-esteban-moctezuma-barragan

SEP. (2008). ACUERDO número 438 por el que se actualiza el diverso número 181, mediante el cual se establecen el plan y los programas de estudio para la educación primaria. DOF 26/03/2008. https://dof.gob.mx/nota_detalle_popup.php?codigo=5032264

SEP. (2017a). Aprendizajes clave para la educación integral. Plan y programas de estudio para la educación básica. SEP. https://www.aprendizajesclave.sep.gob.mx/descargables/APRENDIZAJES_CLAVE_PARA_LA_EDUCACION_INTEGRAL.pdf

SEP. (2017b). Carta los fines de la educación en el siglo XXI. https://www.sep.gob.mx/work/models/sep1/Resource/8007/3/images/Carta_Los_fines_de_la_educacioi_n_final_2__1_.pdf

SEP, S. de E. (2019). Modelo educativo: Nueva escuela mexicana. Subsecretaría de Educación Básica. http://www.nuevaescuelamexicana.mx/que-es-la-nueva-escuela-mexicana-nem/

SREDECC. (2011). Estudio Internacional de Educación Cívica y Ciudadana, ICCS, 2009. Informe Nacional de Resultados. México. SREDECC; BID; CERLALC.

Tirado, F., & Guevara Niebla, G. (2006). Conocimientos cívicos en México. Un estudio comparativo internacional. Revista Mexicana de Investigación Educativa, 11(030), 995–1018.

UNESCO. (2014). Global Citizenship Education. Preparing learnings for the challenges of the 21st century. UNESCO.

UNESCO. (2016). Declaración de Incheon y Marco de Acción para la realización del Objetivo de Desarollo Sostenible 4. http://unesdoc.unesco.org/images/0024/002456/245656s.pdf

UNESCO-OREALC. (2017). E2030: Educación y Habilidades para el Siglo XXI. Reunión Regional de Ministros de Educación de América Latina y el Caribe, Buenos Aires, Argentina, 24 y 25 de enero 2017. OREALC-UNESCO. http://www.unesco.org/new/fileadmin/MULTIMEDIA/FIELD/Santiago/pdf/Informe-Reunion-Buenos-Aires-2017-E2030-ALC-ESP.pdf

Vergara-Lope, S. (2018). Aprendizajes básicos en niños y niñas de Veracruz: Primeros resultados de la Medición Independiente de Aprendizajes (mia). Revista Interamericana de Educación de Adultos, 40(2).

Vergara-Lope, S., & Hevia, F. (2016a). La Reforma Educativa: ¿Ha dado resultados? Construcción de línea base para una evaluación independiente de aprendizajes y factores asociados al logro educativo. En Premio Nacional de Investigación Social y de Opinión Pública 2016 (pp. 49–96). CESOP/Camara de Diputados/ LXIII Legislatura. http://biblioteca.diputados.gob.mx/janium/bv/cesop/lxiii/premna_invsoc_opu2016.pdf#page=50

Vergara-Lope, S., & Hevia, F. J. (2016b). La Reforma Educativa: ¿Ha dado resultados? Construcción de línea base para una evaluación independiente de aprendizajes y factores asociados al logro educativo. En Premio Nacional de Investigación Social y de Opinión Pública 2016 (pp. 49–95). CESOP-Cámara de Diputados.

Vergara-Lope, S., Hevia, F., & Rabay, V. (2017). Evaluación Ciudadana de Competencias Básicas de Lectura y Aritmética y Análisis de Factores Asociados en Yucatán, México. Revista Iberoamericana de Evaluación Educativa, 10(1), 85–109.


(1) Los resultados de estas evaluaciones de tercero de de primaria, fueron en 2007 los siguientes: el 39% debajo del básico, 28% en el nivel básico, 29% medio y sólo 4% avanzado (INEE et al., 2007, p. 57). Para el ciclo escolar 2013-14 los resultados fueron los siguientes: 29% por debajo del básico; 42% en el básico; 25% en medio y 5% en alto (INEE, 2020). Para sexto de primaria, en el ciclo 2009-2010 el 22% debajo del básico; 65% básico; 10 medio; 4% avanzado. Para el ciclo 2012-13 el 21% debajo del básico; 45% básico; 28% medio y 6.4%avanzado (INEE, 2020). Por último, para 3º de secundaria, en el ciclo 2009-2010 el 17% por debajo de lo básico, 61% básico, 20% medio, 2%avanzado (INEE, 2009, p. 145) y en el ciclo 2012-13, el 21% debajo básico; 47% básico; 27 medio; 5% avanzado (INEE, 2020). Lamentablemente, PLANEA, el siguiente programa nacional de evaluación de aprendizajes, no incluyó la evaluación de educación cívica y ética, por lo que no se encuentran datos actualizados al respecto.

Back to Top

Document information

Published on 06/10/21
Accepted on 06/10/21
Submitted on 06/10/21

Licence: CC BY-NC-SA license

Document Score

0

Views 1
Recommendations 0

Share this document

claim authorship

Are you one of the authors of this document?