Pulsa aquí para ver la versión en Español (ES)

Abstract

The evolution of MOOCs in the last decade has been constant and dynamic. The first cMOOC and xMOOC models eventually evolved into different postMOOC modalities, such as sMOOC, which conjugates interaction among students with a participation model based on social networks. This work is focused on carrying out a systematic review of the state-of-the-art scientific literature referred to the concept of MOOC and its diverse types. Moreover, in this article, a new generation associated to sMOOC is unveiled: the tMOOC (Transfer Massive Open Online Courses). The methodology of study is based on the content analysis of those categories resulting after compiling 707 entries from Web of Science, plus an in-depth study of the 70 articles which were quoted at least 10 times. In addition, a case study has been carried out from European ECO Project’s “sMOOC Step by Step”, as an example of innovative pedagogical model based on collaborative learning to train future e-teachers. The results of the analysis show the very recent –and still scarce– research on the different types of MOOCs, as well as the finding of a new modality based on pedagogical transformation, learning transference and intercreative talent. As a conclusion, the analysis of all key factors in the configuration of tMOOC has encouraged us to propose a new taxonomy based on the 10 T’s.

Download the PDF version

1. Introduction and state of the art

The scientific community is nowadays highly concerned about the search of a model able to provide a response to the current social demands on lifelong learning. MOOCs (Massive Online Open Courses) have emerged as an answer to such a call, with ever innovative and diverse modalities. Nevertheless, the two initial goals pursued by Siemens and Downes’ first MOOC launched in 2008, based on the construction of participative and “connectivist” learning as the driving force for motivation, have not been actually accomplished. From traditional models based on connectivity –cMOOCs (Yeager, Hurley-Dasgupta, & Bliss, 2013; Wenqiang, 2012)– or those based on behaviourism and cognitivism –xMOOCs (Daniel, 2012; Yousef & al., 2015)– multiple and different modalities have developed, progressively integrating new features to their composition. We are in the post-MOOC era and a controversial criticism to these courses has arisen, in two ways. On the one hand, traditional measures for success show that completion rates are lower (5-8%) than those in classical e-learning courses (20-30%) and, on the other hand, its massiveness has turned them into methods of “transmissive” learning (Capuano & Caballé, 2015; Daradoumis, Bassi, Xhafa, & Caballé, 2013).

The sMOOC (Social Massive Open Online Course) is among the latest proposals. The initial “s” stands for two terms: social and seamless (Camarero-Cano & Cantillo-Valero, 2016). These sMOOCs are “social” because they encourage interaction in learning, thus following the track of Collaborative MOOCs; and “seamless” because they are constantly accessible. The latter implies yet another important feature, the courses’ ubiquity, which makes access possible anywhere, anytime and through any devise.

Between 2014 and 2017, ECO (Elearning, Communication and Open-Data) European project was developed from that initial sMOOC concept. The main differentiating characteristic in this macro-project, which has involved over 55.000 students and trained more than 200 e-teachers, is the training received toward the creation of their own massive courses. This way, we have reached the yet innovative tMOOC or transferMOOC model, aimed at providing participants, through collaborative work in a pro-common dimension, with the competences needed to implement every tool, learning method, peer-to-peer assessment system, etc., in their own courses, focused on their topic of choice.

This new generation of tMOOC focuses on the transfer of learning and pedagogical transformation by generating interest towards action and professional interaction. Regarding this two-fold dimension, progress might be perceived as directed towards a modality which has been already proposed by some researchers (Cabero, Llorente-Cejudo, & Vázquez-Martínez, 2014; Vázquez, López, & Sarasola, 2013) and known as tMOOC. Our proposal, however, goes beyond the simple resolution of tasks and activities by students that those researchers refer to.

In this study, we account for a new proposal in which traditional characteristics based on “authentic tasks” merge with some other features until the 10T’s representing this new tMOOC model are achieved: authentic tasks, transfer of learning towards profession, pedagogical transformation, ICRT, transmediality, open temporality, transnationalism, intercreative talent, collaborative teamwork and tolerance.

The initial dichotomous typology (cMOOC and xMOOC) has progressively multiplied into several MOOC modalities, often determined by the context. Such is the case of bMOOC (Yousef, Chatti, Wosnitza, & Schroeder, 2015) or mMOOC (Dubosson & Emad, 2015), which combine different characteristics by showing mixed traits from previous models.

Clark (2013) adds corresponding prefixes in order to establish eight modalities: transferMOOC (e-learning courses converted to MOOC format); madeMOOCs (including videos and interactive resources, promoting interaction and peer-to-peer-assessment); synchMOOCs (with starting and ending dates previously arranged); asynchMOOCs (with flexible deadlines and no previously fixed dates); adaptiveMOOCs (a personalised learning method based on dynamic assessment through adaptive algorithms); groupMOOCs (collaborative learning for specific groups); connectivistMOOCs (promoting relationship among participants); miniMOOCS (short in duration and contents).

Additionally, Sánchez-Gordon & Luján-Mora (2015) include further modalities to MOOC taxonomy, by modifying its initial or final letters as a sign of identity for each, such as the SPOC (Small Private Online Course), in which access is restricted to a certain amount (dozens or hundreds) of students in order to prevent high drop-out rates. This modality was coined by Armando Fox at Berkeley University in 2013 and it is based on the “flipped classroom” model (Johnson, Adams, Estrada, & Freeman, 2015).

Likewise, Conole (2016: 10) carries out a classification based on twelve dimensions: degree of openness, scale of participation (massification), amount of multimedia used, amount of communication, degree of collaboration, type of learning pathways (from a teacher-centred and highly structured student), level of quality guaranty, how much is reflection promoted, how formal or informal the course is, autonomy and diversity.

Finally, Altinpulluk y Kesim (2016) have recently proposed yet another typology in the following terms: COOC (Classically Offered Online Classes), a model according to which courses are 100% online and increase quality by focusing on cutting educational costs; DOCS (Digital Open Courses at Scale), where the term online has been replaced by digital, and massive by scale; gMOOC (Game-based Massive Open Online Course), which use virtual games and resolve problems through gamification, among others. These authors include in a taxonomy, for the first time, ECO sMOOC (Social Massive Open Online Course) as a model in its own right, referring to its higher degree of interaction and social participation as a distinguishing feature, in addition to its ubiquity and its accessibility from different platforms and support systems, which enables it to become integrated in real-life experiences.

All the aforementioned formats and modalities showing scientific literature about MOOCs have been increasingly abundant in recent years, as proved by bibliometric research (Aguaded, Vázquez-Cano, & López Meneses, 2016; Mengual-Andrés, Vázquez-Cano, & López Meneses, 2017; Sangrà, González-Sanmamed, & Anderson, 2015; Zancarano & Cavalho-de-Souza, 2017).

2. Materials and methods

Through a systematized review of scientific literature, this work aims to analyse the state of the main research trends about MOOCs and their modalities, in order to analyse the pedagogical innovation model used in sMOOC “Step by step”. Purposefully, an updated documental descriptive analysis has been carried out among studies compiled from major Scientific Literature databases. As a result of the qualitative research proposed, together with the sMOOC “Step by step” (2015) case study, tMOOCs are presented and established as constructs derived from sMOOCs, which must comply with the 10T’s taxonomy.

For the documental analysis, a search for the terms “MOOC”, “MOOCs”, “cMOOC”, “cMOOCs”, “xMOOC”, “xMOOCs”, “sMOOC” and “sMOOCs” was carried out among academic works published in the main reference on scientific literature: the compilation on Web of Science (WoS) at Clarivate Analytics. Moreover, the search was restricted to the Social Sciences Citation Index (SSCI), Arts & Humanities Citation Index (A&HCI) and the Emerging Sources Citation Index (ESCI). Under these searching criteria, 707 matches were obtained and, bearing in mind that the MOOC concept was coined in 2008, no scientific literature was to be found until some years later. All the references found corresponded to the subject of study so that there was no need to discard any of them.

The studied concepts first appear in 2013. An interest can be noticed in the publication of material referred to the MOOC concept and the cMOOC modality. Overall publications on MOOCs increased until 2017 while xMOOCs have gained prominence in scientific literature from 2014 onwards. Remarkably, the term sMOOC appears abundantly in 2016 and is widely present in 2017 documents. Additionally, the terms “tMOOC” and “tMOOCs” were also searched, but no results were obtained in WoS.

As the following step, a qualitative content analysis was carried out through Atlas.TI software in order to codify the most significant content categories, which had been highlighted by the authors in their publications. Finally, as criteria to narrow down the sample, only those documents which had been previously quoted at least ten times in further scientific materials were used, resulting in a final sample of 70 records (Figure 1).


Osuna-Acedo et al 2018a-66324-en037.jpg

The actions carried out in WoS were complemented with ECO’s sMOOC “Step by step” case study, which played the role of MOOC research laboratory for three years. It is a model case due to its design (Coller, 2005) within the European research work. The case is also relevant, both theoretically and experimentally, to reboot the connection between teachers training and the subsequent professional transference. That is exactly what the tMOOC construct claims. The strategies followed in the case study are the participating observation from the teaching team’s point of view, a satisfaction questionnaire filled by participants and the non-participating observation of e-teachers work in their own tMOOCs. In order to ensure its reliability, four iterations of the sMOOC “Step by step” have been run and no significant deviations in results have been observed after each edition. The internal validation has been guaranteed through the assessment of ECO experts which have not taken part in the sMOOC “Step by step”.

3. Analysis and results

Firstly, this work carries out an in-depth review of the contents of the documents provided by the databases included in WoS, which consist of articles, communications/papers in relevant lectures, reviews, etc. Results have then been compared with those obtained in the sMOOC “Step by step” case study (Table 1).


Osuna-Acedo et al 2018a-66324-en035.jpg

Most interestingly, Table 1 shows that all documents concerning the different types of MOOCs are scientific articles; no other formats are used. Moreover, most documents focused on the overall MOOC concept are also articles. As a matter of fact, the articles account for 84.83% of the total sample, a clearly higher figure than the one reached by other documents: communications/papers (1.42%), reviews (1.98%) and further documents such as editorial materials, scientific letters, etc. (11.77%).

Table 2 below highlights the categorization of content from the 70 documents recorded in WoS which have been quoted at least 10 times, along with each category’s frequency and content code. Frequency sorts in descending order the scientific community’s research interests concerning MOOCs and their typologies.


Osuna-Acedo et al 2018a-66324-en036.jpg

According to the resulting frequencies, the degree of interest raised among the scientific community about MOOCs can be observed. Hence, codes referring to MOOC concept (26.34%), learning (21.75%) and development (21.75%) are the ones drawing most of the researchers’ attention. In an intermediate position lays the interest in searching about MOOC’s technology (12.98%). Codes referring to MOOCs’ commercialisation (12.98%), students (6.12%) and challenges (4.58%) are found at the bottom of the list. As for the frequencies in categories, there are no significant differences among them, although they can be nevertheless used for prioritisation purposes. It is worth noting though, that the category getting most of the attention from the scientific community is the one studying the quality of a MOOC’s curricular design. In ECO Project, and especially in sMOOC “Step by step”, a series of tools have been developed (checklist, peer to peer evaluation, back-office application, satisfaction questionnaire, etc.) precisely to keep control of the courses’ quality (Frau-Meigs & Bossu, 2017).

It should be noted that data obtained in sMOOC “Step by step” are not in line with figures compiled from WoS, most probably because it is based on a MOOC model built on different premises. In this sense, the study’s results reflect that the “students” category would be placed among the first positions, since one of the European project’s main goals implies empowering students so that they can become e-teachers and encourage their participation in social media. In addition, ECO Project stands for different success-measuring criteria than those used in traditional e-learning, and agree with Siemens, Downes, & Cormier (2012) at considering the new role of students in MOOCs as essential. Moreover, they advise potential MOOC participants to do as follows: “If it looks too complicated, don’t read it. If it looks boring, move on to the next item […] The learning in the course results […] will be different for each person “(Siemens, Downes, & Cormier, 2012).

Finally, the “professional transference” code noticeably falls to the last place in the data compiled from WoS while, at ECO, it provides the foundation on which tMOOCs are rooted. These tMOOCs pursue a learning transference, fed by prospective contributions directed towards the field of professional and social empowerment, which reaches out beyond the course itself. By encouraging participants in the sMOOC “Step by step” to become future e-teachers, a higher level of interaction and commitment is attained from them. Coincidentally, some aspects which enhance innovation in this type of courses, such as involvement and interactivity, and which are fostered through the constant use of social media, are also to be found in the lower half of the tabled obtained from WoS analysis.

As for the mentioned sMOOC “Step by step” case study, all data obtained through the three strategies mentioned in the previous epigraph were cross-checked. As it was observed, fulfilled expectations and learning results obtained by students were positively correlated to the transfer to professional life of the contents learnt. Therefore, the higher the level of satisfaction with fulfilled expectations and learning, the larger the professional transfer of what had been learned. In addition, the more collaborative tasks the course had, the greater the students’ satisfaction in the three previously mentioned aspects was.

4. The 10 T’s taxonomy

After studying the records analysed in WoS and classifying them according to new aspects originated in the sMOOC “Step by step”, we propose ten dimensions which support tMOOCs in their different modalities, as a prospective model based on empowerment towards professional practice and social empowerment:

1) Authentic tasks. The chosen tasks are “authentic” because they can be applied to real-life situations. We have taken up the contribution by Brown, Collins & Duguid (1989), when they state that these “authentic tasks” are designed to stimulate critical thinking and the self-regulation of cognitive action. They are characterised by the subjects’ involvement in real-learning situations and by the richness in assessment, which attends to the achieved goals (Camarero-Cano & Cantillo-Valero, 2016).

Authentic tasks integrate the Relational Factor in pedagogical processes, which has been defined as “intermethodology”. This, in turn, is related to a transmedia narrative in which “the interrelation generated between different techniques permits a rich, globalizing practice of diverse activities, which are summative and enlarge the process itself where the analysis-synthesis-reflection-action competence dimensions are brought together” (Marta-Lazo & Gabelas Barroso, 2016: 142).

2) Transfer of learning towards profession. Development in tMOOCs is based on potential transfers to the student’s professional practice or to their training in skills related to a corporate approach to work (Sánchez-Gordon & Luján-Mora, 2015). Some research works, focused on those MOOCs specialising on pedagogical/education-related topics, conclude that several platforms have specialised on social empowerment (Calvo, Rodríguez, & Fernández, 2016).

Teaching is among the professions in which these courses offer a higher degree of applicability. Lane and Paciorek (2012) claim that it only makes sense for teachers to experience the Web as a huge classroom, where they can develop their own pedagogy and explore new support tools in an open, structured environment.

3) Pedagogical transformation. tMOOCs may generate different forms of e-participation, based on collaboration and joint reflection, to “elicit useful proposals to help shape decision-making processes in corporate areas and public politics. These pioneering forms of participation, with groups of common interest, well-grounded and globally connected, have arrived through MOOCs and are going to revolutionise the way we build our society” (Torres & Gago, 2014: 16).

The pedagogical transformation shall be based on “principles of equity, social inclusion, accessibility, autonomy and openness” (Gil-Quintana, 2015: 299). Furthermore, tMOOCs could be used to build new forms of academic productivity in the context of empowerment.

4) ICRT. tMOOCs imply a “relational factor”, integrated in the so-called ICRT (information, communication and relation technologies), whose badge is the establishment of digital humanism, beyond mere technological determinism (Marta-Lazo, Marfil-Carmona & Hergueta-Covacho, 2016). ICTR-based learning pursues a more democratic, inclusive and participative society.

Models based on the Relational Factor promote active learning and encourage participants to “acquire and generate knowledge thanks to active participation, peer-to-peer interaction and conversation” (Hergueta-Covacho, Marta-Lazo, & Gabelas-Barroso, 2016: 51).

tMOOCs are based on a relational, active and interactive participation, settled in the use of social media, which are essential for a critical and social pedagogy. The leading role granted to students through social media provides them with the ability for empowerment.

5) Transmediality. Transmission of transmedia content applied to fiction, entertainment and information areas has reached e-learning contexts as well. Currently, several resources are integrated in tMOOCs through varied pathways (platforms, applications, social media…) aiming to turn them into multiformat dialogic processes. As Ossorio-Vega (2014) remarks, transmedia narrative “would foster students’ participation and would stress the need to reinforce their self-sufficiency and their critical ability, by demanding them to select and choose the way to go” (2014: 36).

cMOOCs and sMOOCs endorse the use of social media for interaction among participants. The first experience was “Social media tools and supporting your professional learning (AUSMT)” (Ostashewski & Reid, 2012), with a MOOC in which students determine their own learning and their journey through the networks (Arnold & al., 2014; Yousef & al., 2015).

tMOOCs are pedagogical methods which integrate multiple learning lines. They are not just shaped as an addition of actions, but as a combined transmedia sequence.

6) Open temporality. tMOOCs are characterised by open learning in multiple environments and with flexible chronology. As Aguaded (2013: 7) notes, it is a “revolutionary approach as far as the here and now of learning is conceived, since its ubiquity and temporality dissolve to their nearly complete disappearance, while the teacher-learner interactions […] and those among students are transformed”.

Methods for interaction may be synchronic or a-synchronic, either permitting simultaneous exchange or by allowing participants to respond whenever it suits them better, though the different media available, such as forum posts on the MOOC’s own platform, blogs, social media or any other format within the transmedia sequence.

 7) Collaborative teamwork. tMOOCs position themselves as a disruptive education alternative and as meeting points for participants, from where access is granted to an accessible, distributed intelligence, thus forming both internal and external relational networks and weaving a construction of knowledge from the resulting “collective intelligence” (Lévy, 2004).

Collaborative learning involves an exchange of knowledge and experiences. Students teach and learn from each other and develop a positive interdependence (Covey, 2008), thus creating CSCL (Computer support for collaborative learning) environments beyond the mere instructional design (Dillenbourg, 2002; Panitz, 1999). Students become active agents in their learning process and contribute to the co-creation of their own knowledge (Soller, 2001).

Collaborative learning is essential in tMOOC contexts because it promotes feedback, motivation and achievement. Some MOOCs are already designed with mechanisms to get the best out of opinion leaders as enhancers of collaborative learning, understanding and sociability through constant interaction (Pei & Shen, 2016).

8) Intercreative talent. One of the axis which should guide tMOOCs is the intercreative talent, a term which conjugates interactivity and creativity (Berners-Lee, 1996). Intercreativity has later been recovered and amplified by Osuna-Acedo & al. (2017), defining it as the individual’s ability for the collective co-construction of knowledge in virtual environments through collaboration.

Intercreative talent is necessarily associated to a horizontal learning environment and a bidirectional communicative model, as the one carried out on tMOOCs. Furthermore, it requires an inclusive and accessible education model where there is a place for everyone and where each person feels their participation is important for themselves and for others. As Osuna-Acedo & Camarero-Cano (2016: 123) conclude, the “general results show that sMOOCs in ECO Project were designed and implemented in the light of intercreativity, through both the courses’ content and the teaching/learning methodology, which was based on socio-constructivism and connectivism”.

9) Transnationalism. In their space-time disruptive facet, tMOOCs imply edu-communicational meeting points, open from a territorial point of view, since they overcome boundaries and geographical gaps in the access to higher education.

The transnational component makes participants come together not only according to their spatial location, but also according to their academic and thematic interests. Such interest-based relationships among interacting subjects allow a common ground to be found by people from different countries and cultural backgrounds.

10) Tolerance. The pedagogical design is adapted, through a participative distribution, to the different profiles of interacting subjects, including intermediate leaders or “influencers”, which act as driving forces for the rest to follow with a higher tolerance to the frustration generated by not achieving the initial goals. The incentive of achieving badges and interacting with their fellow participants, especially at peer-to-peer assessment, enhances the possibilities of being more tolerant.

Tolerance in tMOOCs means respect for difference and acceptation of ambiguity and error. Interculturality is closely related to tolerance because it implies the coexistence of different cultures, ideas, interests, goals, etc.

5. Discussion and conclusions

In view of the analysis of results, further work on a research line focused on students as leaders in MOOCs is a priority. Therefore, we advocate a more social and transforming outreach for learning through massive courses.

The “Challenges” category in WoS records is a minority one. However, it is there where prospective aspects as goals and innovation (1.9%), social transformation for development (1.14%), democratization of teaching (0.77%) or professional transfer (0.77%) are contained. All these challenges represent just 4.58% of the most significant publications in the mentioned database, while conceptual aspects (26.34%), those related to learning theories and technologies (21.75%), the ones focused on MOOC development (21.75%) or technology-centred instrumental aspects (12.98%) are the most numerous as far as scientific literature of reference related to the subject of study is concerned.

By contrast, the “challenges” are precisely among the central axis at ECO case study, together with all its elements, with a special significance of professional transference and social transformation, towards the completion of the new tMOOC model as a further breakthrough. This involves reformulating their characterising parameters, not only from the tasks standpoint, but also attending to a total of ten traits, which turn them into a new generation based on transforming learning. tMOOCs should be linked to sMOOC as a natural continuity and, in fact, 10% of ECO participants have succeeded in becoming e-teachers through 67 MOOCs, which means that by participating in sMOOC “Step by step” they have been able to carry out their own tMOOCs, conjugating the ten categories established for the model.

tMOOCs work as media and cultural products in the twenty-first century’s social media, which are characterised by a self-selective use, adapted to each participant’s interest and preferences in the intercreative and intercultural process (Osuna-Acedo & al., 2017). These learning dynamics require no quantitative final results, and they are instead focused on quality control, since this pedagogical model is based on the process and not the obtained results.

As clearly observed in the case study, the professional component is the student’s guiding light through the process. From the earliest stages, when students are asked to introduce the group, the identification data they naturally choose are name, surname and profession. On a different note, three driving forces for participation have been detected in the case study: the social importance of generating MOOCs in the future; the need to join forces as e-teachers to design a MOOC in conjunction; and the recognition of MOOCs’ professional training.

Transference of knowledge can be achieved from the construction of joint learning in terms of lifelong learning as explained by Delors (1996). The pedagogical transformation produced in a relational, collaborative environment pursues the transfer towards social empowerment development, in a working context which demands constant reinvention.

Moreover, tMOOCs go a step further by promoting active and collaborative learning, not just from a pedagogical perspective, but also as a bid for civic commitment.

Funding agency

This article has been written as part of research works carried out at ECO Project, registered in the Competitiveness and Innovation Framework Programme (CIP-ICT-PSP.2013 Theme 2: Digital content, open data and creativity, Obj 2.3.a: Piloting and showcasing excellence in ICT for learning for all); at the Grupo de Investigación en Comunicación e Información Digital (GICID), S-115, recognised by Aragon (Spain) government and funded by the European Regional Development Fund. It is also supported by UNESCO Chair “Self-fulfilment in the era of sustainable digital development”, at Sorbonne Nouvelle, Paris (France).

References

Aguaded, I. (2013). La revolución MOOC, ¿una nueva educación desde el paradigma tecnológico? [The MOOC revolution: A new form of education from the technological paradigm?]. Comunicar, 41(XXI), 7-8. http://doi.org/10.3916/C41-2013-a1

Aguaded, I., Vázquez-Cano, E., & López Meneses, E. (2016). El impacto bibliométrico del movimiento MOOC en la comunidad científica española. Educación XX1, 19(2), 77-104. https://doi.org/10.5944/educXX1.13217

Altinpulluk, H., & Kesim, M. (2016). The evolution of MOOCs and a clarification of terminology through literature review. Re-Imaging Learning Environments Proceedings of the European Distance and E-Learning Network 2016 Annual Conference. Budapest, Hungary, 220-231. (https://goo.gl/wMjdf8).

Arnold, P., Kumar, S., Thillosen, A., & Ebner, M. (2014). Offering cMOOCs collaboratively: The COER13 experience from the convenors’ perspective. eLearning Papers, 37, 63-68. (http://goo.gl/Kvm6BG).

Berners-Lee, T. (1996). WWW: Past, present and future. Computer Magazine, 29(10), 69-77. (https://goo.gl/ekJqE6).

Brown, J.S., Collins, A., & Duguid, P. (1989). Situated cognition and the culture of learning. Educational Researcher, 18(1), 32-42. (https://goo.gl/CJvmKE).

Cabero, J., Llorente-Cejudo, M.C., & Vázquez-Martínez, A.I. (2014). Las tipologías de MOOC. Su diseño e implicaciones educativas. Profesorado, 18(1). (https://goo.gl/XkTSpB).

Calvo, M.A., Rodríguez, C., & Fernández, E.M. (2016). ¿Cómo son los MOOC sobre educación? Un análisis de cursos de temática pedagógica que se ofertan en castellano. Digital Education Review, 29, 298-311. (https://goo.gl/1aSZRE).

Camarero-Cano, L., & Cantillo-Valero, C. (2016). La evaluación de los aprendizajes en los sMOOC. Estudio de caso en el Proyecto Europeo ECO. Revista Mediterránea de Comunicación, 7(2), 21-35. http://doi.org/10.14198/MEDCOM2016.7.2.2

Capuano, N., & Caballé, S. (2015). Towards adaptive peer assessment for MOOCs, P2P Parallel Grid Cloud and Internet Computing (3PGCIC). 10th International Conference On, 64-69. http://doi.org/10.1109/3PGCIC.2015.7

Clark, D. (2013, April 16). MOOCs: Taxonomy of 8 types of MOOC. Blog “Donald Clark Plan B. What is plan B? Not plan A!”. (https://goo.gl/yi74sS).

Coller, J. (2005). Estudio de casos. Madrid: Centro de Investigaciones Sociológicas.

Conole, G. (2016). MOOCs as disruptive technologies: Strategies for enhancing the learner experience and quality of MOOCs. RED, 50, 1-18. https://doi.org/10.6018/red/50/2

Covey, S.R. (2008). The leader in me: How schools and parents around the world are inspiring greatness, one child at a time. New York: Free Press. (https://goo.gl/vKi77R).

Daniel, J. (2012). Making sense of MOOCs: Musings in a maze of myth, paradox and possibility. Journal of Interactive Media in Education, 3, 1-20. https://doi.org/10.5334/2012-18

Daradoumis, T., Bassi, R., Xhafa, F., & Caballé, S. (2013). A review on massive e-learning (MOOC) Design, delivery and assessment. Eighth International Conference on P2P, Parallel, Grid, Cloud and Internet Computing, 208-213. https://doi.org/10.1109/3PGCIC.2013.37

Delors, J. (1996). La educación encierra un tesoro. Madrid: Santillana.

Dillenbourg, P. (2002). Over-scripting CSCL: The risks of blending collaborative learning with instructional design. In P.A. Kirschner (Ed.), Three worlds of CSCL. Can we support CSCL (pp. 61-91). Heerlen: Open Universiteit Nederland. (https://goo.gl/CSXG7a).

Dubosson, M., & Emad, S. (2015). The forum community, the connectivist element of an xMOOC. Universal Journal of Educational Research, 3(10), 680-690. http://doi.org/10.13189/ujer.2015.031004

Ecolearning (2015). sMOOC “Paso a paso”. European Project E-learning, Communication and Open-data (ECO) (https://goo.gl/FZEJGX).

Frau-Meigs, D. (2013). Transliteracy: Sense-making mechanisms for establishing e-presence. Media and information literacy and intercultural dialogue. In U. Carlsson, & S.H. Culver (Eds.), Media and information literacy and intercultural Dialogue (pp. 175-192). Göteborg: The International Clearinghouse on Children, Youth and Media Nordicom. (https://goo.gl/s7q5P8).

Frau-Meigs, D., & Bossu A. (2017). Towards e-presence at distance as a way to reach and share e-quality: The case of the ECO sMOOCs. In C. Delgado-Kloos, P. Jermann, M. Pérez-Sanagustín, D. Seaton, S. White (Eds.), Digital education: Out to the world and back to the Campus. EMOOCs 2017. Heidelberg: Springer (pp. 38-47). https://doi.org/10.1007/978-3-319-59044-8_5

Gil-Quintana, J. (2015). MOOC. Innovación educativa y desarrollo profesional. Posibilidades y límites de las TIC. Una experiencia desde la educomunicación en el Proyecto ECO. Qualitative Research in Education, 4(3), 299-328. http://doi.org/10.17583/qre.2015.1518

Hergueta-Covacho, E., Marta-Lazo, C., & Gabelas-Barroso, J.A. (2016). Educación mediática e inteRmetodología relacional aplicada a los MOOC. Revista Mediterránea de Comunicación, 7(2), 47-58. http://doi.org/10.14198/MEDCOM2016.7.2.4

Johnson, L., Adams, S., Estrada, V., & Freeman, A. (2015). NMC Horizon Report: 2015 Higher education edition. Texas: The New Media Consortium. (https://goo.gl/Cp9cRm).

Lane, L., & Paciorek, L. (2012). A SMOOC for preparing faculty to teach online. In T. Amiel, & B. Wilson (Eds.), Proceedings of EMedia : World Conference on Educational Media and Technology 2012 (pp. 393-394). Chesapeake: Association for the Advancement of Computing in Educatio. (AACE). (https://goo.gl/rrkc3r).

Lévy, P. (2004). Inteligencia colectiva: por una antropología del ciberespacio. Washington: La Découverte. (https://goo.gl/qe8MWw).

Marta-Lazo, C., & Gabelas-Barroso, J.A. (2016). Comunicación digital. Un modelo basado en el factor R-elacional. Barcelona: UOC. (https://goo.gl/VfPpJL).

Marta-Lazo, C., Hergueta-Covacho, E., & Gabelas-Barroso, J.A. (2016). Applying inter-methodological concepts for enhancing media literacy competences. Journal of Universal Computer Science, 22(1), 37-54. (https://goo.gl/DWkj58).

Marta-Lazo, C., Marfil-Carmona, R., & Hergueta-Covacho, E. (2016). Aplicación de las redes sociales en el aprendizaje en conectividad: Uso del factor relacional en la dialéctica Twitter. Etic@.net, 16(1), 304-319. (https://goo.gl/hpgyfY).

Mengual-Andrés, S., Vázquez-Cano, E., & López Meneses, E. (2017). La productividad científica sobre MOOC: aproximación bibliométrica 2012-2016 a través de Scopus. RIED, 20(1), 39-58. http://doi.org/10.5944/ried.20.1.16662

Ossorio-Vega, M.A. (2014). Aplicación de la narrativa transmedia en la enseñanza universitaria en España: Aprendizaje colaborativo, multiplataforma y multiformato. Revista Internacional de Tecnología, Conocimiento y Sociedad, 3(2), 25-38. (https://goo.gl/6jPon4).

Ostashewski, N., & Reid, D. (2012). Delivering a MOOC using a social networking site: The SMOOC design model. In Proceedings of the IADIS International Conference on Internet Technologies and Society (ITS), 217-222. Perth, WA: IADIS Press. (https://goo.gl/QMucNW).

Osuna-Acedo, S., & Camarero-Cano, L. (2016). The ECO European Project: A new MOOC dimension based on an intercreativity environment. TOJET: The Turkish Online Journal of Educational Technology. 15(1), 117-125. (http://goo.gl/kcxD9i).

Osuna-Acedo, S., Frau-Meigs, D., Camarero-Cano, L., Bossu, A., Pedrosa, R., & Jansen, D. (2017). Intercreativity and interculturality in the virtual learning environments of the ECO MOOC project. In M. Jemni, Kinshuk, & M.K. Khribi (Eds.), Open education: From OERs to MOOCs (pp. 161-187). Berlin: Springer Berlin Heidelberg. (https://goo.gl/8eRCLQ).

Panitz, T. (1999). Collaborative versus cooperative learning: A comparison of the two concepts which will help us understand the underlying nature of interactive learning (pp. 1-13). Massachusetts: Cape Cod Community College. (https://goo.gl/RTBL4T).

Pei, P., & Shen, L. (2016). Design and implementation for cMOOC-oriented online course learning community 2016. 2nd International Conference on Education Science and Human Development (ESHD). https://doi.org/10.12783/dtssehs/eshd2016/5206

Sánchez-Gordon, S., & Luján-Mora, S. (2015). An ecosystem for corporate training with accessible MOOCs and OERs, MOOCs Innovation and Technology in Education (MITE) 2015. IEEE 3rd International Conference On, 123-128. https://doi.org/10.1109/MITE.2015.7375301

Sangrà, A., González-Sanmamed, M., & Anderson, T. (2015). Metaanálisis de la investigación sobre MOOC en el período 2013-2014. [Meta-analysis of research on moocalong the period 2013- 2014]. Educación XX1, 18(2), 21-49. https://doi.org/10.5944/educXX1.13463

Siemens, G., Downes, S., & Cormier, D. (2012). How this course works. Learning analytics and knowledge: LAK12, 1-3. (http://goo.gl/Ee5ali).

Soller, A. (2001). Supporting social interaction in an intelligent collaborative learning system. International Journal of Artificial Intelligence in Education, 12, 40-62. (https://goo.gl/BKWBsU).

Vázquez, E., López, E., & Sarasola, J.L. (2013). La expansión del conocimiento abierto: Los MOOC. Barcelona: Octaedro.

Wenqiang, F. (2012).? Connectivist MOOC and Its learning support. Journal of Distance Education, 3, 31-36. (https://goo.gl/QXbz22).

Yeager, C., Hurley-Dasgupta, B., & Bliss, C. (2013). cMOOCs and global learning: An authentic alternative. Journal of Asynchronous Learning Networks, 17(2), 133-147. (https://goo.gl/7tikfy).

Yousef, A.M.F., Chatti, M.A., Wosnitza, M., & Schroeder, U. (2015). A cluster analysis of MOOC stakeholder perspectives. RUSC, 12(1), 74-90. https://doi.org/10.7238/rusc.v12i1.2253



Click to see the English version (EN)

Resumen

La evolución de los MOOC en la última década ha sido constante y dinámica. Como antecedentes, los primeros modelos de cMOOC y xMOOC se transforman en otras modalidades postMOOC, como los sMOOC, que conjugan la interacción entre los estudiantes con el modelo de participación implantado en las redes sociales. Este trabajo tiene como objetivo realizar una revisión sistemática del estado de la literatura científica sobre el concepto MOOC y sus distintas tipologías. En este artículo, se descubre una nueva generación asociada a los sMOOC, los tMOOC (Transfer Massive Open Online Courses). La metodología de estudio se basa en el análisis de contenido de las categorías resultantes en los 707 registros recogidos de Web of Science, profundizando en los 70 artículos que obtuvieron al menos diez citas. Además, se ha realizado el estudio de caso del sMOOC «Paso a paso» del Proyecto Europeo ECO, como modelo pedagógico innovador, centrado en el aprendizaje colaborativo para la formación de futuros e-teachers. Los resultados del análisis muestran la reciente y escasa investigación sobre los diferentes tipos de MOOC, así como el hallazgo de una nueva modalidad basada en la transformación pedagógica, la transferencia del aprendizaje y el talento intercreativo. Como conclusión, el análisis de todas las claves de la configuración del tMOOC nos lleva a proponer una nueva taxonomía basada en las 10 T’s.

Descarga aquí la versión PDF

1. Introducción y estado de la cuestión

En la actualidad, la comunidad científica siente una gran preocupación por buscar el modelo que dé respuesta a las demandas sociales de formación a lo largo de la vida. Para dar respuesta a esta demanda social surgen los MOOC (Massive Online Open Courses) con versiones cada vez más diversas e innovadoras. La realidad es que las dos apuestas iniciales del primer MOOC de Siemens y Downes en 2008, basadas en la construcción de aprendizaje participativo y conectivista como motor de motivación, no han llegado a cumplirse. De los modelos tradicionales basados en el conectivismo, los cMOOC (Yeager, Hurley-Dasgupta, & Bliss, 2013; Wenqiang, 2012), o en el conductismo y cognitivismo, los xMOOC (Daniel, 2012; Yousef & al., 2015), hemos llegado a múltiples y diferentes modalidades que han ido incorporando nuevos rasgos en su composición. Estamos en la era postMOOC con una controvertida crítica a estos cursos, en un doble sentido. Por una parte, las medidas de éxito tradicionales muestran que su tasa de finalización es más baja (entre 5-8%) que los clásicos cursos en e-learning (entre 20-30%) y, por otra, el carácter masivo los convierte en métodos de aprendizaje transmisivo (Capuano & Caballé, 2015; Daradoumis, Bassi, Xhafa, & Caballé, 2013).

Una de las últimas propuestas ha sido el modelo sMOOC (Social Massive Open Online Course). La «s» se desprende de dos términos: social y «seamless» (Camarero-Cano & Cantillo-Valero, 2016). Estos sMOOC son «sociales» (social) porque potencian las interacciones en el aprendizaje, siguiendo la esencia de los Collaborative MOOC; y «sin rupturas» (seamless), porque son accesibles de manera constante. Esto aporta otra importante característica, la ubicuidad de los cursos, que posibilita su acceso en cualquier lugar, en cualquier momento y a través de cualquier dispositivo.

Entre 2014 y 2017, con este planteamiento inicial de sMOOC, se ha desarrollado el Proyecto Europeo ECO (Elearning, Communication and Open-Data). La principal característica diferenciadora de este macroproyecto, que ha superado los 55.000 estudiantes y la formación de más de 200 e-teachers, es el aprendizaje para la creación de sus propios cursos masivos. De esta manera, llegamos al inédito modelo tMOOC o transferMOOC, que tiene como objetivo que los participantes, mediante el trabajo colaborativo con una dimensión procomún, adquieran las competencias necesarias para poner en práctica todas las herramientas, métodos de aprendizaje, sistema de co-evaluación por pares, etc. en su propio curso sobre la temática que elijan.

Esta nueva generación de tMOOC tiene como objetivo la transferencia del aprendizaje y la transformación pedagógica, al generar interés hacia la acción e interacción profesional. En este sentido, podríamos advertir que en esa doble dimensión avanzamos en mayor medida en una modalidad propuesta ya por algunos investigadores (Cabero, Llorente-Cejudo, & Vázquez-Martínez, 2014; Vázquez, López, & Sarasola, 2013), denominada tMOOC, pero nuestra propuesta va mucho más allá de la simple resolución de tareas y actividades por parte de los estudiantes, a la que ellos hacen referencia.

En este estudio, atendemos a una nueva propuesta donde conjuntamos las características tradicionales basadas en las «tareas auténticas», junto con otros rasgos, hasta llegar a las 10 T’s que representan este nuevo modelo de tMOOC: tareas auténticas, transferencia del aprendizaje hacia la profesión, transformación pedagógica, TRIC, transmedialidad, temporalidad abierta, transnacionalismo, talento intercreativo, trabajo colaborativo y tolerancia.

La tipología dicotómica inicial (cMOOC y xMOOC) se ha multiplicado progresivamente surgiendo otras variantes muy diversas de MOOC, muchas veces determinadas por el contexto. Así, aparecen los bMOOC (Yousef, Chatti, Wosnitza, & Schroeder, 2015) o los mMOOC (Dubosson & Emad, 2015), que combinan diferentes características en su composición, al presentar rasgos mezclados de los tipos anteriores.

Clark (2013) añade los consiguientes prefijos para llegar a las ocho modalidades: transferMOOC (cursos e-learning reconvertidos a formato MOOC); madeMOOCs (incluyen vídeos y recursos interactivos, fomentan la interacción y la co-evaluación); synchMOOCs (con fechas de inicio y fin prefijadas); asynchMOOCs (sin fechas establecidas, flexibles en los plazos de entrega); adaptiveMOOCs (modalidad de aprendizaje personalizada, basada en evaluaciones dinámicas, mediante algoritmos adaptativos); groupMOOCs (aprendizaje colaborativo para grupos específicos); connectivistMOOCs (promueven la relación entre los participantes); miniMOOCS (breves en cuanto a duración y contenidos).

Por otra parte, Sánchez-Gordon y Luján-Mora (2015) suman otras variantes a la taxonomía de los MOOC, que se caracteriza por la modificación de las letras iniciales o finales, que es la que aporta la seña de identidad de cada uno como la variante SPOC (Small Private Online Course), caracterizada por un acceso restringido a decenas o cientos de estudiantes, para evitar el alto índice de abandono. Esta modalidad fue acuñada en 2013 en la Universidad de Berkeley por Armando Fox y se basa en el modelo «flipped classroom» (Johnson, Adams, Estrada, & Freeman, 2015).

Asimismo, Conole (2016: 10) realiza una clasificación basada en doce dimensiones: el grado de apertura, la escala de participación (masificación), la cantidad de uso de multimedia, la cantidad de comunicación, el grado de colaboración, el tipo de vía de aprendizaje (desde el alumno centrado en el docente y altamente estructurado), el nivel de garantía de calidad, el grado en que se fomenta la reflexión, el nivel de evaluación, cuán informal o formal es, la autonomía y la diversidad.

Por último, otra tipología reciente es la propuesta por Altinpulluk y Kesim (2016) en los siguientes términos: COOC (Classically Offered Online Classes), modelo en el que los cursos son 100% en línea, aumentan la calidad centrándose en la reducción de los costos educativos; DOCS (Digital Open Courses at Scale), el término en línea es sustituido por digital, y masivo por escala; gMOOC (Game-based Massive Open Online Course), usan juegos virtuales y resuelven problemas a través de la gamificación, entre otros. Estos autores incluyen por primera vez con entidad propia, dentro de una taxonomía, la modalidad ECO sMOOC (Social Massive Open Online Course), y aluden como característica diferenciadora a que introducen un mayor grado de interacción y participación social, además de ser ubicuos y accesibles desde diferentes plataformas y soportes, pudiendo ser integrados en las experiencias de la vida real.

De todos estos formatos y modalidades, se deriva que la literatura científica sobre MOOC es muy abundante y creciente en los últimos años, como lo demuestran las investigaciones bibliométricas (Aguaded, Vázquez-Cano, & López Meneses, 2016; Mengual-Andrés, Vázquez-Cano, & López Meneses, 2017; Sangrà, González-Sanmamed, & Anderson, 2015; Zancarano & Cavalho-de-Souza, 2017).

2. Material y métodos

Este trabajo, a través de la revisión sistemática de la literatura científica, tiene como objetivos analizar el estado de las principales tendencias de investigación sobre los MOOC y sus distintas modalidades, con el propósito de analizar el modelo de innovación pedagógica del sMOOC «Paso a paso». Con esta finalidad, se ha llevado a cabo un análisis descriptivo documental actualizado sobre los estudios recogidos en las principales bases de datos de la literatura científica. Y como resultado de la investigación cualitativa propuesta, junto con el estudio de caso del sMOOC «Paso a paso» (2015), se presentan y fundamentan los tMOOC como constructo derivado de los sMOOC, que debe cumplir con la taxonomía de las 10 T’s.

Para el análisis documental, se realizó una búsqueda de los términos «MOOC», «MOOCs», «cMOOC», «cMOOCs», «xMOOC», «xMOOCs», «sMOOC» y «sMOOCs» en los trabajos académicos publicados en la principal referencia en literatura científica: la Colección de la Web of Science (WoS) de Clarivate Analytics. Asimismo, se decidió acotar la búsqueda concretamente a Social Sciences Citation Index (SSCI), Arts & Humanities Citation índex (A&HCI) y Emerging Sources Citation Index (ESCI). Con estos criterios de búsqueda se obtuvieron 707 resultados y, teniendo en cuenta que el concepto MOOC aparece en 2008, no se encuentra literatura científica hasta pasados unos años después de la aparición de dicho concepto. Todos los documentos encontrados se corresponden con el objeto de estudio, por lo que no hubo necesidad de desechar ninguno de ellos.

Los conceptos estudiados aparecen por primera vez en el año 2013, observándose en este año que se tuvo interés por publicar sobre el concepto MOOC y la tipología cMOOC. Las publicaciones sobre MOOC, en general, aumentan hasta 2017 y los xMOOC ganan protagonismo en la literatura científica a partir de 2014. Es resaltable cómo aparece el concepto sMOOC con fuerza en 2016, teniendo ya presencia en 2017 dentro de los documentos analizados. Por otra parte, se buscaron los términos «tMOOC» y «tMOOCs», no obteniéndose ningún resultado en WoS.

Posteriormente, se realizó un análisis cualitativo de contenido utilizando el programa Atlas.TI. Así, se codificaron las categorías del contenido más significativas que los autores resaltaban en sus publicaciones. Finalmente, para la acotación de la muestra se utilizó como criterio analizar los documentos que hubieran sido citados al menos 10 veces en otros documentos científicos, lo que corresponde a una muestra de 70 registros.


Osuna-Acedo et al 2018a-66324 ov-es035.jpg

Estas acciones en WoS se completaron con el estudio de caso del sMOOC «Paso a paso» de ECO, que durante tres años sirvió de laboratorio para la investigación sobre MOOC. Se trata de un caso único y ejemplar por su naturaleza (Coller, 2005) diseñado dentro de la investigación europea. Es un caso relevante, teórica y experimentalmente, para refutar la conexión entre la formación de los docentes y la consiguiente transferencia profesional. Esto es precisamente lo que argumenta el constructo de los tMOOC. Las estrategias seguidas en el estudio de caso son la observación participante desde el posicionamiento de equipo docente, el cuestionario de satisfacción de los participantes y la observación no participante del trabajo de los e-teachers en su propio tMOOC. Para garantizar la fiabilidad, se han realizado cuatro ediciones del sMOOC «Paso a paso», no observándose desviaciones significativas en los resultados de cada edición. La validez interna se ha garantizado con la evaluación de los expertos de ECO que no han participado en el sMOOC «Paso a paso».

3. Análisis y resultados

En primer lugar, este trabajo realiza una revisión profunda de los contenidos dentro de los documentos que nos proporcionan las bases de datos con las que trabaja WoS, que contienen artículos, comunicaciones/ponencias en conferencias relevantes, revisiones, etc. Sus resultados se han contrastado con los obtenidos en el estudio de caso del sMOOC «Paso a paso»


Osuna-Acedo et al 2018a-66324 ov-es036.jpg

Lo más representativo de esta Tabla es que los documentos que tratan sobre los distintos tipos de MOOC son todos artículos científicos, no utilizándose ningún otro formato. También son artículos la mayoría de los documentos que abordan el concepto MOOC, en general. Los artículos corresponden a un 84,83% del total, cifra muy superior al resto de documentos: comunicaciones/ponencias (1,42%), revisiones (1,98%) y otros documentos como material editorial, cartas científicas, etc. (11,77%).

Por otro lado, en la Tabla 2 se presenta la categorización de contenido de los 70 documentos de WoS que tienen al menos 10 citas, junto con la frecuencia en la que se presenta cada categoría y código del contenido. La frecuencia ordena descendentemente los intereses de investigación de la comunidad científica respecto a los MOOC y a sus tipologías.


Osuna-Acedo et al 2018a-66324 ov-es037.jpg

En función de las frecuencias resultantes, podemos observar el grado de interés de la comunidad científica por los distintos aspectos de los MOOC. Se observan que los códigos referentes al concepto (26,34%), al aprendizaje (21,75%) y al desarrollo (21,75%) son los que más dedicación han tenido por parte de los investigadores. En una posición intermedia está el interés por investigar sobre la tecnología (12,98%) de los MOOC. En último lugar, se encuentran los códigos sobre la comercialización (12,98%), los estudiantes (6,12%) y los desafíos de los MOOC (4,58%). Respecto a las frecuencias de las categorías no hay diferencias significativas, aunque nos sirven para priorizar unas sobre otras. Lo más reseñable es que la que más interés despierta a la comunidad científica es el estudio de la Calidad del Diseño Curricular de los MOOC. En ECO, particularmente en el sMOOC «Paso a paso», se han desarrollado una serie de herramientas (checklist, peer to peer evaluation, backoffice aplication, satisfaction questionnaire, etc.) para controlar el nivel de calidad de los cursos (Frau-Meigs & Bossu, 2017).

Lo recogido en el sMOOC «Paso a paso» no coincide con los datos recopilados de WoS, seguramente porque se basa en un modelo MOOC que parte de diferentes premisas. En este sentido, los resultados del estudio reflejan que la categoría «estudiantes» estaría situada en las primeras posiciones, porque uno de los grandes objetivos del proyecto europeo es el empoderamiento de los estudiantes para convertirse en e-teachers y su participación en las redes sociales. Además, desde ECO, se defiende que existen diferentes criterios a los usados en el e-learning tradicional para medir la tasa de éxito de un MOOC, coincidiendo con Siemens, Downes y Cormier (2012) en que es fundamental considerar el nuevo rol de los estudiantes en los MOOC. En este sentido, ellos aconsejan, a cualquier participante que quiera cursar un MOOC, lo siguiente: «Si le parece demasiado complicado, no lo lea. Si lo ve aburrido, pase al siguiente. Los resultados del aprendizaje, por lo tanto, serán diferentes para cada persona» (Siemens, Downes, & Cormier, 2012).

Por último, destaca que el código «transferencia profesional» quede en último lugar en los datos recogidos en WoS, cuando en ECO es la base en la que se fundamentan los tMOOC. Estos pretenden una transferencia del aprendizaje, con aportaciones prospectivas hacia el campo del emprendimiento profesional y social más allá del propio curso. Al fomentar que quienes cursen el sMOOC «Paso a paso» se conviertan en futuros e-teachers, lo que se consigue es que los estudiantes se impliquen e interactúen en mayor medida. Casualmente, aspectos que aportan innovación a este tipo de cursos, tales como la implicación y la interactividad, a través del uso constante de redes sociales, también quedan en la última mitad de la Tabla obtenida del análisis de WoS.

Por lo que respecta al estudio del caso del citado sMOOC, se cruzaron los datos obtenidos en las tres estrategias mencionadas en el epígrafe anterior. Se observó que las expectativas cumplidas y los resultados del aprendizaje obtenidos por los estudiantes presentaban una correlación positiva con la transferencia a la vida profesional de los contenidos aprendidos. Así, cuanto mayor es el nivel de satisfacción con las expectativas cumplidas y el nivel de aprendizaje realizado, mayor es la transferencia profesional de lo aprendido. También, se observó que cuantas más tareas colaborativas contuviera el curso, mayor es la satisfacción de los estudiantes en los tres aspectos mencionados anteriormente.

4. La taxonomía de las 10 T’s

Fruto del estudio de los registros analizados en WoS y vertebrados en nuevas facetas originadas en el sMOOC «Paso a paso», proponemos las diez dimensiones que sustentan los tMOOC en diferentes vertientes, como modelo prospectivo basado en el emprendimiento hacia el ejercicio profesional y el empoderamiento social:

1) Tareas auténticas. La autenticidad de las tareas viene dada por la aplicación a situaciones de la vida real. Recogemos la aportación de Brown, Collins y Duguid (1989), en el sentido de que estas «tareas auténticas» se diseñan para estimular el pensamiento crítico y la autorregulación de la acción cognoscitiva. Se caracterizan por la implicación de los sujetos en la situación de aprendizaje real y por la riqueza en la evaluación, atendiendo a los logros alcanzados (Camarero-Cano & Cantillo-Valero, 2016).

Las tareas auténticas integran el «factor relacional» en los procesos pedagógicos, lo que se ha denominado «intermetodología», relacionada con una narrativa transmedia, en la que «la interrelación que se produce entre unas técnicas y otras permite una práctica rica y globalizadora de actividades diversas, sumativas y ampliadoras del propio proceso en el que se dan cita las dimensiones competenciales de análisis-síntesis-reflexión-acción» (Marta-Lazo & Gabelas-Barroso, 2016: 142).

2) Transferencia del aprendizaje hacia la profesión. El desarrollo de los tMOOC se basa en la transferencia que puede tener para el ejercicio laboral de los alumnos o para la capacitación en competencias relacionadas con el trabajo en sentido corporativo (Sánchez-Gordon & Luján-Mora, 2015). Algunas investigaciones versan sobre los MOOC especializados en temáticas pedagógicas/educativas y concluyen que algunas plataformas se han especializado en la temática del emprendimiento (Calvo, Rodríguez, & Fernández, 2016).

Una de las profesiones con más aplicabilidad de este tipo de cursos es la enseñanza. Lane y Paciorek (2012) afirman que tiene sentido que los docentes experimenten la Web como una gran aula para desarrollar su propia pedagogía y explorar herramientas de apoyo en un entorno abierto y estructurado.

3) Transformación pedagógica. Los tMOOC pueden generar diferentes formas de e-participación, basadas en la colaboración y la reflexión conjunta para «extraer propuestas útiles que ayuden a modelar los procesos de toma de decisiones en los ámbitos empresariales y de políticas públicas. Estas formas pioneras de participación, con grupos de interés común, bien arraigados y conectados globalmente, han llegado con los MOOC y van a revolucionar nuestra forma de construir Sociedad» (Torres & Gago, 2014: 16).

Para la transformación pedagógica es necesario basarse en «los principios de equidad, inclusión social, accesibilidad, autonomía y apertura» (Gil-Quintana, 2015: 299). En el ámbito del emprendimiento, los tMOOC también pueden servir para construir nuevas formas de productividad académica.

4) TRIC. Los tMOOC conllevan el «factor relacional», integrado en las TRIC (tecnologías de la relación, la información y la comunicación), cuya bandera es el asentamiento del humanismo digital, más allá del mero determinismo tecnológico (Marta-Lazo, Marfil-Carmona & Hergueta-Covacho, 2016). El aprendizaje a través de las TRIC persigue una sociedad más democrática, inclusiva y participativa.

Los modelos basados en el Factor Relacional promueven el aprendizaje activo y motivan a los participantes a «adquirir y generar conocimiento, gracias a la participación activa, la interacción con los pares y la conversación» (Hergueta-Covacho, Marta-Lazo, & Gabelas-Barroso, 2016: 51).

Los tMOOC se basan en una participación relacional, activa e interactiva asentada en el uso de las redes sociales, fundamentales en la pedagogía crítica y social. El papel protagonista que se le otorga al alumnado a través de las redes sociales aporta la habilidad de empoderarse.

5) Transmedialidad. La transmisión de contenidos transmedia aplicados a los ámbitos de la ficción, el entretenimiento y la información, se ha derivado hacia los contextos de e-learning. En la actualidad, en los tMOOC se integran variados recursos a través de diferentes vías (plataformas, aplicaciones, redes sociales…) con el fin de convertirlos en procesos multiformato dialógicos. Como apunta Ossorio-Vega (2014), la narrativa transmedia «potenciaría la participación de los alumnos y fomentaría la necesidad de reforzar su autosuficiencia y su capacidad crítica, al exigirles seleccionar y elegir el camino a seguir» (2014: 36).

Los cMOOC y los sMOOC abogan por el uso de redes sociales para la interacción entre los participantes. La primera experiencia fue «Social media tools and supporting your professional learning (AUSMT)» (Ostashewski & Reid, 2012), con un MOOC en el que el estudiante protagonizaba su propio aprendizaje y recorrido por las redes (Arnold & al., 2014; Yousef & al., 2015).

Los tMOOC son modalidades pedagógicas que integran múltiples soportes de aprendizaje. No están conformados solo como suma de acciones, sino como una secuencia combinada transmedia.

6) Temporalidad abierta. Los tMOOC se caracterizan por el aprendizaje abierto con entornos múltiples y cronología flexible. Como apunta Aguaded (2013: 7), se trata de un «planteamiento revolucionario en la forma de concebir el aquí y ahora de la enseñanza, dado que su ubicuidad y temporalidad se diluyen hasta casi desaparecer, al tiempo que se transforman las interacciones docentes/discente […] y de los alumnos entre sí».

Las fórmulas de interacción pueden ser sincrónicas o asíncronas, permitiendo el intercambio en tiempo simultáneo o pudiendo responder en el momento en el que mejor le conviene al participante, a través de los diferentes medios con los que se dispone, como pueden ser los foros de la propia plataforma del MOOC, blogs, redes sociales u otros formatos dentro de la secuencia transmedia.

7) Trabajo colaborativo. Los tMOOC se posicionan como una alternativa educativa disruptiva y como puntos de encuentro entre los participantes, a través de los cuales podemos acceder a la inteligencia distribuida y accesible, conformando redes relacionales externas e internas y tejiendo una construcción de conocimiento desde la «inteligencia colectiva» (Lévy, 2004) que se produce.

El aprendizaje colaborativo conlleva el intercambio de conocimientos y experiencias, donde los estudiantes enseñan y aprenden unos de otros y desarrollan una interdependencia positiva (Covey, 2008), creando entornos de CSCL (Computer support for collaborative learning) más allá del diseño meramente instruccional (Dillenbourg, 2002; Panitz, 1999). Los estudiantes se convierten en agentes activos en su proceso de aprendizaje y colaboran en la co-creación de su propio conocimiento (Soller, 2001).

En los contextos de tMOOC es fundamental el aprendizaje colaborativo porque promueve la retroalimentación, la motivación y el rendimiento. En el diseño de algunos MOOC ya se cuenta con mecanismos para saber sacar provecho de los líderes de opinión como potenciadores del aprendizaje colaborativo, la comprensión y la sociabilidad a través de la constante interacción (Pei & Shen, 2016).

8) Talento intercreativo. Uno de los ejes que deben vertebrar los tMOOC es el talento intercreativo, palabra que conjuga los términos interactivity y creativity (Berners-Lee, 1996). La intercreatividad es un término que recuperan y amplían Osuna-Acedo y otros (2017), definiéndolo como la habilidad de los individuos para la co-construcción colectiva del conocimiento en entornos virtuales a través de la colaboración.

El talento intercreativo está asociado necesariamente a un ambiente de aprendizaje horizontal y a un modelo comunicativo bidireccional, tal como se lleva a cabo en los tMOOC. Asimismo, también se necesita un modelo inclusivo y accesible de educación donde todos los individuos tengan cabida y donde cada persona sienta que su participación es importante para sí misma y para los demás. Como concluyen Osuna-Acedo y Camarero-Cano (2016: 123), los «resultados generales mostraron que los sMOOC del proyecto ECO se diseñaron e implementaron bajo el prisma de la intercreatividad a través del contenido de los cursos y la metodología de enseñanza y aprendizaje basada en el socioconstructivismo y el conectivismo».

9) Transnacionalismo. En su faceta disruptiva espacio-temporal, los tMOOC suponen puntos de encuentro educomunicativos abiertos desde el punto de vista territorial, superando fronteras y brechas geográficas en el acceso a la Educación Superior.

El componente transnacional hace que los participantes no confluyan solo por ubicación espacial, sino también por sus intereses académicos y temáticos. Esta relación entre los interactuantes en función de sus preferencias hace que se pongan en común personas de diferentes culturas y países.

10) Tolerancia. El diseño pedagógico se adapta, mediante una distribución participativa, a los diferentes perfiles de los interactuantes, entre ellos los líderes intermedios o «influencers», que actúan como elementos motrices para que el resto les siga con más tolerancia a la frustración que genera no alcanzar todos los objetivos iniciales. El incentivo de conseguir medallas y de interaccionar con el resto de los compañeros, especialmente en la evaluación por pares, pudiéndoles evaluar, amplía las posibilidades de ser más tolerante.

Con tolerancia dentro de los tMOOC, se hace referencia al respeto a la diferencia y a la aceptación de la ambigüedad y del error. La interculturalidad está íntimamente relacionada con la tolerancia, porque implica la convivencia de distintas culturas, ideas, intereses, objetivos, etc.

5. Discusión y conclusiones

A la vista del análisis de resultados, es prioritario trabajar la línea de investigación de los estudiantes como protagonistas de los MOOC. Por ello, se aboga por una proyección más social y transformadora del aprendizaje con cursos masivos.

La categoría «Desafíos» en los registros de WoS es la minoritaria. Sin embargo, es donde se contienen aspectos prospectivos tan importantes como los «Logros e innovación» (1,9%), la «Transformación social para el desarrollo» (1,14%), la «Democratización de la enseñanza» (0,77%) o la «Transferencia profesional» (0,77%). Todos estos desafíos representan sólo un 4,58% de las publicaciones más destacadas en dicha base de datos, siendo los aspectos conceptuales (26,34%), los relativos a teorías y tecnologías del aprendizaje (21,75%), los relacionados con el desarrollo de los MOOC (21,75%) o los aspectos instrumentales centrados en la Tecnología (12,98%) los más numerosos en lo que respecta a literatura científica de referencia relacionada con el objeto de estudio.

Por el contrario, desde el estudio de caso de ECO, hemos comprobado que uno de los ejes centrales es el de los «Desafíos» y todos los aspectos que conlleva, donde la «Transferencia profesional» y la «Transformación social» son dos de los elementos más destacados, hasta completar el nuevo modelo de tMOOC que supone un nuevo avance. Esto supone la reformulación de los parámetros que los caracterizan, no solo desde la vertiente de las tareas, sino atendiendo a un total de diez rasgos, que los convierten en una nueva generación basada en el aprendizaje transformador. Los tMOOC deben estar vinculados a los sMOOC como una continuidad natural y, de hecho, un 10% de los participantes de ECO han conseguido convertirse en e-teachers a través de 67 tMOOC, lo que significa que a través de la participación en el sMOOC «Paso a paso» han sido capaces de realizar sus propios tMOOC conjugando las diez categorías establecidas en dicho modelo.

Los tMOOC funcionan como productos mediáticos y culturales en las redes sociales del siglo XXI, caracterizados por un uso autoselectivo adaptado al interés y preferencias particulares de cada uno de los participantes en el proceso intercreativo e intercultural (Osuna-Acedo & al., 2017). Estas dinámicas de aprendizaje no exigen resultados cuantitativos finales, sino que se enfocan en el control de calidad, pues este tipo de modelo pedagógico se asienta en el proceso y no en los resultados obtenidos.

En el estudio de caso se ha observado claramente que el componente profesional marca toda la trayectoria de los estudiantes. Desde el inicio, cuando se les pide que se presenten al grupo, los datos que eligen de forma natural son nombre, apellidos y profesión. Por otro lado, en el estudio de caso, se detectan tres motores para la participación: la importancia social de seguir generando MOOC, la necesidad de unir fuerzas como e-teachers para idear conjuntamente un MOOC y el reconocimiento de la capacitación profesional de los MOOC.

Desde la construcción de aprendizaje conjunto, se puede llegar a la transferencia de conocimiento, en el sentido que otorga Delors (1996) de aprendizaje para la vida. La transformación pedagógica que se produce en un entorno colaborativo y relacional, tiene como objetivo la transferencia hacia el desarrollo emprendedor, en un entorno laboral en el que es necesario reinventarse continuamente.

Los tMOOC dan un paso más y fomentan el aprendizaje activo y colaborativo, no solo desde una vertiente pedagógica, sino también como apuesta hacia el compromiso ciudadano.

Apoyos

Este artículo ha sido realizado en la investigación llevada a cabo desde el Proyecto ECO, situado dentro del Competitiveness and Innovation Framework Programme (CIP-ICT-PSP.2013 Theme 2: Digital content, open data and creativity, Obj 2.3.a: Piloting and showcasing excellence in ICT for learning for all), en el Grupo de Investigación en Comunicación e Información Digital (GICID), S-115, reconocido por el Gobierno de Aragón y financiado por el Fondo Social Europeo de Desarrollo Regional y con el apoyo de la Cátedra UNESCO «Savoir Devenir a l’ère du dévelopement numérique durable», en Sorbonne Nouvelle, París (Francia).

Referencias

Aguaded, I. (2013). La revolución MOOC, ¿una nueva educación desde el paradigma tecnológico? [The MOOC revolution: A new form of education from the technological paradigm?]. Comunicar, 41(XXI), 7-8. http://doi.org/10.3916/C41-2013-a1

Aguaded, I., Vázquez-Cano, E., & López Meneses, E. (2016). El impacto bibliométrico del movimiento MOOC en la comunidad científica española. Educación XX1, 19(2), 77-104. https://doi.org/10.5944/educXX1.13217

Altinpulluk, H., & Kesim, M. (2016). The evolution of MOOCs and a clarification of terminology through literature review. Re-Imaging Learning Environments Proceedings of the European Distance and E-Learning Network 2016 Annual Conference. Budapest, Hungary, 220-231. (https://goo.gl/wMjdf8).

Arnold, P., Kumar, S., Thillosen, A., & Ebner, M. (2014). Offering cMOOCs collaboratively: The COER13 experience from the convenors’ perspective. eLearning Papers, 37, 63-68. (http://goo.gl/Kvm6BG).

Berners-Lee, T. (1996). WWW: Past, present and future. Computer Magazine, 29(10), 69-77. (https://goo.gl/ekJqE6).

Brown, J.S., Collins, A., & Duguid, P. (1989). Situated cognition and the culture of learning. Educational Researcher, 18(1), 32-42. (https://goo.gl/CJvmKE).

Cabero, J., Llorente-Cejudo, M.C., & Vázquez-Martínez, A.I. (2014). Las tipologías de MOOC. Su diseño e implicaciones educativas. Profesorado, 18(1). (https://goo.gl/XkTSpB).

Calvo, M.A., Rodríguez, C., & Fernández, E.M. (2016). ¿Cómo son los MOOC sobre educación? Un análisis de cursos de temática pedagógica que se ofertan en castellano. Digital Education Review, 29, 298-311. (https://goo.gl/1aSZRE).

Camarero-Cano, L., & Cantillo-Valero, C. (2016). La evaluación de los aprendizajes en los sMOOC. Estudio de caso en el Proyecto Europeo ECO. Revista Mediterránea de Comunicación, 7(2), 21-35. http://doi.org/10.14198/MEDCOM2016.7.2.2

Capuano, N., & Caballé, S. (2015). Towards adaptive peer assessment for MOOCs, P2P Parallel Grid Cloud and Internet Computing (3PGCIC). 10th International Conference On, 64-69. http://doi.org/10.1109/3PGCIC.2015.7

Clark, D. (2013, April 16). MOOCs: Taxonomy of 8 types of MOOC. Blog “Donald Clark Plan B. What is plan B? Not plan A!”. (https://goo.gl/yi74sS).

Coller, J. (2005). Estudio de casos. Madrid: Centro de Investigaciones Sociológicas.

Conole, G. (2016). MOOCs as disruptive technologies: Strategies for enhancing the learner experience and quality of MOOCs. RED, 50, 1-18. https://doi.org/10.6018/red/50/2

Covey, S.R. (2008). The leader in me: How schools and parents around the world are inspiring greatness, one child at a time. New York: Free Press. (https://goo.gl/vKi77R).

Daniel, J. (2012). Making sense of MOOCs: Musings in a maze of myth, paradox and possibility. Journal of Interactive Media in Education, 3, 1-20. https://doi.org/10.5334/2012-18

Daradoumis, T., Bassi, R., Xhafa, F., & Caballé, S. (2013). A review on massive e-learning (MOOC) Design, delivery and assessment. Eighth International Conference on P2P, Parallel, Grid, Cloud and Internet Computing, 208-213. https://doi.org/10.1109/3PGCIC.2013.37

Delors, J. (1996). La educación encierra un tesoro. Madrid: Santillana.

Dillenbourg, P. (2002). Over-scripting CSCL: The risks of blending collaborative learning with instructional design. In P.A. Kirschner (Ed.), Three worlds of CSCL. Can we support CSCL (pp. 61-91). Heerlen: Open Universiteit Nederland. (https://goo.gl/CSXG7a).

Dubosson, M., & Emad, S. (2015). The forum community, the connectivist element of an xMOOC. Universal Journal of Educational Research, 3(10), 680-690. http://doi.org/10.13189/ujer.2015.031004

Ecolearning (2015). sMOOC “Paso a paso”. European Project E-learning, Communication and Open-data (ECO) (https://goo.gl/FZEJGX).

Frau-Meigs, D. (2013). Transliteracy: Sense-making mechanisms for establishing e-presence. Media and information literacy and intercultural dialogue. In U. Carlsson, & S.H. Culver (Eds.), Media and information literacy and intercultural Dialogue (pp. 175-192). Göteborg: The International Clearinghouse on Children, Youth and Media Nordicom. (https://goo.gl/s7q5P8).

Frau-Meigs, D., & Bossu A. (2017). Towards e-presence at distance as a way to reach and share e-quality: The case of the ECO sMOOCs. In C. Delgado-Kloos, P. Jermann, M. Pérez-Sanagustín, D. Seaton, S. White (Eds.), Digital education: Out to the world and back to the Campus. EMOOCs 2017. Heidelberg: Springer (pp. 38-47). https://doi.org/10.1007/978-3-319-59044-8_5

Gil-Quintana, J. (2015). MOOC. Innovación educativa y desarrollo profesional. Posibilidades y límites de las TIC. Una experiencia desde la educomunicación en el Proyecto ECO. Qualitative Research in Education, 4(3), 299-328. http://doi.org/10.17583/qre.2015.1518

Hergueta-Covacho, E., Marta-Lazo, C., & Gabelas-Barroso, J.A. (2016). Educación mediática e inteRmetodología relacional aplicada a los MOOC. Revista Mediterránea de Comunicación, 7(2), 47-58. http://doi.org/10.14198/MEDCOM2016.7.2.4

Johnson, L., Adams, S., Estrada, V., & Freeman, A. (2015). NMC Horizon Report: 2015 Higher education edition. Texas: The New Media Consortium. (https://goo.gl/Cp9cRm).

Lane, L., & Paciorek, L. (2012). A SMOOC for preparing faculty to teach online. In T. Amiel, & B. Wilson (Eds.), Proceedings of EMedia : World Conference on Educational Media and Technology 2012 (pp. 393-394). Chesapeake: Association for the Advancement of Computing in Educatio. (AACE). (https://goo.gl/rrkc3r).

Lévy, P. (2004). Inteligencia colectiva: por una antropología del ciberespacio. Washington: La Découverte. (https://goo.gl/qe8MWw).

Marta-Lazo, C., & Gabelas-Barroso, J.A. (2016). Comunicación digital. Un modelo basado en el factor R-elacional. Barcelona: UOC. (https://goo.gl/VfPpJL).

Marta-Lazo, C., Hergueta-Covacho, E., & Gabelas-Barroso, J.A. (2016). Applying inter-methodological concepts for enhancing media literacy competences. Journal of Universal Computer Science, 22(1), 37-54. (https://goo.gl/DWkj58).

Marta-Lazo, C., Marfil-Carmona, R., & Hergueta-Covacho, E. (2016). Aplicación de las redes sociales en el aprendizaje en conectividad: Uso del factor relacional en la dialéctica Twitter. Etic@.net, 16(1), 304-319. (https://goo.gl/hpgyfY).

Mengual-Andrés, S., Vázquez-Cano, E., & López Meneses, E. (2017). La productividad científica sobre MOOC: aproximación bibliométrica 2012-2016 a través de Scopus. RIED, 20(1), 39-58. http://doi.org/10.5944/ried.20.1.16662

Ossorio-Vega, M.A. (2014). Aplicación de la narrativa transmedia en la enseñanza universitaria en España: Aprendizaje colaborativo, multiplataforma y multiformato. Revista Internacional de Tecnología, Conocimiento y Sociedad, 3(2), 25-38. (https://goo.gl/6jPon4).

Ostashewski, N., & Reid, D. (2012). Delivering a MOOC using a social networking site: The SMOOC design model. In Proceedings of the IADIS International Conference on Internet Technologies and Society (ITS), 217-222. Perth, WA: IADIS Press. (https://goo.gl/QMucNW).

Osuna-Acedo, S., & Camarero-Cano, L. (2016). The ECO European Project: A new MOOC dimension based on an intercreativity environment. TOJET: The Turkish Online Journal of Educational Technology. 15(1), 117-125. (http://goo.gl/kcxD9i).

Osuna-Acedo, S., Frau-Meigs, D., Camarero-Cano, L., Bossu, A., Pedrosa, R., & Jansen, D. (2017). Intercreativity and interculturality in the virtual learning environments of the ECO MOOC project. In M. Jemni, Kinshuk, & M.K. Khribi (Eds.), Open education: From OERs to MOOCs (pp. 161-187). Berlin: Springer Berlin Heidelberg. (https://goo.gl/8eRCLQ).

Panitz, T. (1999). Collaborative versus cooperative learning: A comparison of the two concepts which will help us understand the underlying nature of interactive learning (pp. 1-13). Massachusetts: Cape Cod Community College. (https://goo.gl/RTBL4T).

Pei, P., & Shen, L. (2016). Design and implementation for cMOOC-oriented online course learning community 2016. 2nd International Conference on Education Science and Human Development (ESHD). https://doi.org/10.12783/dtssehs/eshd2016/5206

Sánchez-Gordon, S., & Luján-Mora, S. (2015). An ecosystem for corporate training with accessible MOOCs and OERs, MOOCs Innovation and Technology in Education (MITE) 2015. IEEE 3rd International Conference On, 123-128. https://doi.org/10.1109/MITE.2015.7375301

Sangrà, A., González-Sanmamed, M., & Anderson, T. (2015). Metaanálisis de la investigación sobre MOOC en el período 2013-2014. [Meta-analysis of research on moocalong the period 2013- 2014]. Educación XX1, 18(2), 21-49. https://doi.org/10.5944/educXX1.13463

Siemens, G., Downes, S., & Cormier, D. (2012). How this course works. Learning analytics and knowledge: LAK12, 1-3. (http://goo.gl/Ee5ali).

Soller, A. (2001). Supporting social interaction in an intelligent collaborative learning system. International Journal of Artificial Intelligence in Education, 12, 40-62. (https://goo.gl/BKWBsU).

Vázquez, E., López, E., & Sarasola, J.L. (2013). La expansión del conocimiento abierto: Los MOOC. Barcelona: Octaedro.

Wenqiang, F. (2012).? Connectivist MOOC and Its learning support. Journal of Distance Education, 3, 31-36. (https://goo.gl/QXbz22).

Yeager, C., Hurley-Dasgupta, B., & Bliss, C. (2013). cMOOCs and global learning: An authentic alternative. Journal of Asynchronous Learning Networks, 17(2), 133-147. (https://goo.gl/7tikfy).

Yousef, A.M.F., Chatti, M.A., Wosnitza, M., & Schroeder, U. (2015). A cluster analysis of MOOC stakeholder perspectives. RUSC, 12(1), 74-90. https://doi.org/10.7238/rusc.v12i1.2253

Back to Top
GET PDF

Document information

Published on 31/03/18
Accepted on 31/03/18
Submitted on 31/03/18

Volume 26, Issue 1, 2018
DOI: 10.3916/C55-2018-10
Licence: CC BY-NC-SA license

Document Score

0

Times cited: 17
Views 23
Recommendations 0

Share this document

claim authorship

Are you one of the authors of this document?