Pulsa aquí para ver la versión en Español (ES)

Abstract

Mobile technologies are increasingly finding their way into classroom practice. While these technologies can create opportunities that may facilitate learning, including the learning of a second or foreign language (L2), the full potential of these new media often remains underexploited. A case in point concerns tablet applications for language practice: while tablets allow writing, as in pen-and-paper exercises, current applications typically offer multiple-choice exercises or fill-in-the-blank exercises that require typing and tapping. This change in medium and practice modality might have an impact on the actual second language-learning. Based on the embodied cognition perspective, this study hypothesizes that, for the learning of French L2 vocabulary, writing leads to better memorization, spelling, and use of diacritics in comparison with typing and completing multiple-choice exercises. This hypothesis is tested in a quasi-experimental classroom-based study in which learners (N=282) practiced French vocabulary on a tablet in one of three modalities: multiple choice, typing, and writing by means of a stylus. Whereas all three practice modalities aided learning, results show that pupils who had practiced vocabulary by writing or typing obtained higher scores on spelling and use of diacritics than the pupils who had practiced by means of multiple choice. Spending more time on learning vocabulary at a higher processing level leads thus to greater vocabulary gains.

Download the PDF version

1. Introduction

1.1. Mobile-assisted learning

From a pedagogical perspective, tablets hold the opportunity to support various aspects of the learning process, from activating prior knowledge and enhancing instruction, through enabling the processing of subject material in complex learning tasks as well as allowing part-task practice, to evaluating student knowledge and skills (Simon, Anderson, Hoyer, & Su, 2004). Therefore, several schools have decided to implement tablets in their classroom practice as a means for more active and personalized education to promote the individual strengths of pupils. In May 2014 the annual Tablets and Connectivity study from the British Educational Suppliers Association revealed that 76% of British secondary schools had adopted tablet computers in their classrooms (Paddick, 2015). In 2016, a Flemish study among 110 school principals and ICT coordinators showed that four out of ten secondary schools have at least ten tablets (Vanderhoven, Van Hove, & Anrijs, 2016). Some Flemish schools even decided to opt for one tablet device per pupil in the classrooms.

1.2. Practicing modality in L2 learning: tapping, typing and handwriting

Whereas the role of technology is studied most intensively in the field of computer-assisted language learning (CALL), most research in this field relies on second language acquisition theories, which ignore the crucial role that technology may play in the learning process (Stockwell, 2016). However, technology is increasingly being normalized in learning environments, which means that mobile technologies will be an integral part of the learning environment as much as pen and paper are (Bax, 2003). Therefore the presence of technology and its relation to the learning environment is at least as important as the learning outcome.

With regard to supporting part-task practice in language learning, tablets often rely on limited practice and test formats in contrast with pen-and-paper exercises, such as multiple-choice exercises in which correct answers need to be selected (Ducate & Lomicka, 2013). Although multiple-choice might lead to higher performance on tests, because recall is not required, it is often discouraged in part-task practice since it only facilitates recognition and may only be used as a learning tool if competitive alternative answers are provided to stimulate high-level processing (Little & Bjork, 2015; Nicol, 2007). In addition, with regard to one’s ability to remember particular French words, Sturm (2006) argues that the duration of information processing in working memory plays a critical role, but in contrast, multiple-choice formats stimulate learners to process subject material rapidly. In an empirical study, Heift (2003) investigated the effect of exercise type on learning outcomes in German learners and found that students who completed multiple-choice exercises performed worse than those using drag-and-drop or fill-in-the-blanks on a computer. Further, Webb (2005) compared receptive with productive vocabulary learning, and found that productive tasks (involving recall) resulted in significantly greater vocabulary gains. Because the productive task in his study required students to spend more time on learning than the multiple-choice exercises, he argued – in line with Sturm’s (2006) claim – that task duration plays an important role in vocabulary learning.

In order to overcome these problems while still benefiting from the opportunities of mobile devices, multiple-choice exercises can be substituted by other closed-ended question types, such as fill-in-the-blank exercises, in which learners need to type down simple answers. However, although handwriting and typewriting involve the same brain regions (Higashiyama, Takeda, Someya, Kuroiwa, & Tanaka, 2015), there are still important differences. Handwriting entails a slower process using only one hand, strongly concentrating visual attention on the motor space where the words are written, furthermore each letter needs to be individually formed (Mangen & Velay, 2010). In contrast, typewriting requires (in theory) ten fingers to tap the keys, whereas each keystroke is not different from one another, but is significantly faster than handwriting (Mueller & Oppenheimer, 2014). The space where the letters are ‘written’ is different from the space where the letters appear (Mangen & Velay, 2010).

Several scholars hypothesize that handwriting movements are crucial in (language) learning and therefore suggest that the shift to keyboards is detrimental to learning (Longcamp & al., 2008; Longcamp, Boucard, Gilhodes, & Velay, 2006; Mangen & Velay, 2010; Sturm, 2006). The importance of handwriting in memorizing vocabulary has been proven by several empirical studies. Cunningham and Stanovich (1990b) found that words were better spelled if they were written out by hand than when they were typed or formed by dragging and dropping letter tiles. More recently, Longcamp and al. (2006) stated that the visual and sensorimotor imagery that people have of letters and words interact with one another. Seeing visual representations of letter shapes activates the corresponding sensorimotor component, such as handwriting movements, in memory. Kiefer and al. (2015) replicated the study of Cunningham and Stanovich (1990b) in preschoolers (3 months – 6 years) and found that word reading and writing performance increased in the handwriting training group compared to the group who practiced the letters by means of a keyboard. With regard to taking notes, longhand note-taking is found to result in deeper processing, due to the limited timeframe that forces learners to select and reframe the message in their own words (Mueller & Oppenheimer, 2014). Another study has shown that even preschoolers from four years on remembered and visually recognized significantly more letters if they copied the letters by hand instead of typing them (Longcamp, Zerbato-Poudou, & Velay, 2005).

Next to vocabulary and letter memorization, in several languages, such as Spanish and French, diacritical marks (including accents) are as important as the letters (Sturm, 2012). However, there has been little research that investigates what aids the recall of accent marks or diacritics. In French, six diacritics act as the keystone of orthography (accent aigu [´], accent grave [`], accent circonflexe [ˆ], tréma [¨], cédille [ç], apostrophe [‘]), which modifies the pronunciation of the vowels and the meaning of words (e.g. a / à (have / to), mur / mûr (wall / ripe), tache / tâche (dirty spot / task)...) (“Les accents et autres signes orthographiques,” 2015; Sturm, 2012). Handwriting and typewriting involve making additional movements to add the appropriate accent to a word. Gascoigne-Lally (2000; 2006) found that the additional keystrokes that are needed to put an accent on a letter strengthen the application of diacritics. Similar to input enhancement, such as underlining words, using color codes or different fonts, the diacritical aspect of French words is rendered more salient through additional psychomotor steps (Gascoigne, 2006). Sturm (2006) replicated the aforementioned experiment, but did not find significant differences between handwriting and two typing groups using preprogrammed function keys or ALT+ numeric codes. In contrast with the findings on memorization of second language vocabulary, these studies show that typing leads to a more correct use of diacritics than handwriting.

1.3. The embodied cognition

The embodied cognition perspective (Clark, 1998) might offer an explanation for the empirical findings described above. This theory sheds light on the embodied and action-oriented nature of learning activities, such as writing (Smith & Gasser, 2005; Thelen, Schöner, Scheier, & Smith, 2001). Similar to Piaget’s constructivist theory (1952), which perceives children as active explorers of their environment, embodied cognition theory presumes that cognition results from sensorimotor interactions with the physical environment (Smith & Gasser, 2005; Thelen & al., 2001). If “cognition is the internalization of externalized action in the environment” (Wartella, Richert, & Robb, 2010: 123), then we might argue that handwriting fundamentally influences the way knowledge is acquired. Mangen and Velay (2010) put forth three theories from adjacent fields to indicate the reciprocity of the relation between body and thought. ‘Motor theories of perception’ (neuropsychology) state that external movements are mentally simulated, but ‘the enactive approach’ adds that sensorimotor patterns supply structure to cognition. While the first set of theories stresses the importance of cognitive processes and the second approach emphasizes the added value of perception, the ‘theory of sensorimotor contingency’ states that the relation between perception and cognition is mediated by knowledge of sensorimotor contingencies. Cognition induces the perceptual act of writing, in its turn providing structure to the learning process. However, knowledge of the sensory effects of writing will reinforce the learning-writing relationship. This implies that writing words down while perceiving them being formed on paper may facilitate the learning process.

It should be noted that previous studies most often focused on the comparison between handwriting on paper and typing on a technological device, thereby confounding the use of technology with the act of typing. However, the introduction of tablet devices in education offers new opportunities with regard to text input, such as the use of the stylus. The stylus can be used to write on a tablet device, making it possible to make a distinction between the impact of the use of a new technology and the impact of typing instead of writing. The current quasi-experimental study therefore explores the importance of handwriting by means of a stylus on a tablet, in contrast with typing and completing multiple-choice exercises in learning French L2 vocabulary in a tablet-assisted classroom setting. Based on the embodied cognition perspective and the results found in previous studies, the following hypotheses were put forth:

• Hypothesis 1: Multiple-choice as a testing modality leads to better grades than tests that require typing or handwriting.

• Hypothesis 2: On the basis of the embodied cognition perspective, learning French vocabulary by writing words down by means of a stylus leads to better memorization of the lemmas than typing the words on the on-screen keyboard or making multiple-choice exercises.

• Hypothesis 3: On the basis of the embodied cognition perspective, learning French vocabulary by writing words down by means of a stylus leads to better spelling than typing the words on the on-screen keyboard or making multiple-choice exercises.

• Hypothesis 4: Based on input enhancement literature, learning words using an on-screen keyboard in exercises denotes a more correct use of diacritics in French words when compared with handwriting using a stylus or making multiple-choice exercises.

To test these hypotheses, a quasi-experimental study was conducted in which the effects of three practicing modalities (stylus, keyboard and multiple-choice) on the memorization of the lemmas of the vocabulary and their spelling and diacritical marks are investigated.

2. Material and methods

2.1. Participants & design

In total, 282 pupils (129 boys and 153 girls) between 11 and 18 years old took part in the study. Classes were recruited from three Flemish schools that offer general secondary education, since French is part of the formal Flemish curriculum in general secondary education. Eventually 14 classes of nine teachers participated in the study and were randomly assigned, counterbalancing for age, to one of the three conditions. The stylus condition comprised 94 participants, the keyboard condition 93 and the remaining 95 pupils were assigned to the multiple-choice condition. 98.9% of the sample spoke Dutch as their primary language, while 5.8% also spoke French at home. Most pupils were in their fourth year (15-16 years old) and pupils were taught on average 5.72 years of French at school (SD=1.72).

2.2. Procedure

The intervention took place during three French courses (figure 1), of which the first and second lessons took place in the same week. 25 iPads were prepared for the study: interactive PDFs (course materials) were downloaded via the PDF Office app, the primary keyboard language was set to French and auto-correction and spell-check features were disabled. Once in the classroom the first author introduced the pupils to the study and explained to them how to use the interactive PDFs. The pupils and teachers were told that they would participate in a study that aimed to investigate how French vocabulary is learned. The underlying goals of the study (recognition of words and recall of words, spelling and diacritical marks) were not shared with the participants. During the remaining 40 minutes the pupils filled out an online survey and pretest.


Draft Content 364275384-54553-en019.jpg

In the second lesson the first author introduced the course theme with a presentation and a short movie, then the pupils got 10 minutes to memorize the vocabulary list of 36 words (hard copy). They were instructed to learn the words one-directionally: from Dutch to French. Moreover the researchers asked the pupils explicitly not to write any words down when they had to learn the 36-words vocabulary list. After having memorized the words the pupils filled out fill-in-the-blanks exercises individually and independently. Depending on the condition they were assigned to, they were instructed to complete these exercises using one of three modalities: multiple choice, typing, or writing by means of a stylus. At the end of the second lesson the pupils filled out a posttest, similar to the pretest, with the words in randomized order.

In the third and final lesson, the pupils took the posttest again, which served as a delayed posttest in our experimental design. A minimum of 10 days between the second and the third lesson was needed to be able to investigate retention effects in a proper way (Sturm, 2010) (figure 1).

Figure 1. Study procedure


Draft Content 364275384-54553-en020.jpg

2.3. Instruments

Three tests were conducted: a pre-test was filled out before the intervention, a post-test right after the exercises at the end of the second lesson and a delayed post-test after a minimum of 10 days. In all tests, learning outcomes were measured. 175 pupils completed all three tests, 254 completed the pre-test, 238 pupils filled out the post-test and only 232 pupils completed the third delayed posttest. Due to technical issues, some tests were not properly saved and, accordingly, account for the missing tests. In addition, each of the teachers (except the class with internet difficulties) filled out an evaluation survey (N=9).

Test items. Sturm (2006) recommended in her study on the acquisition of accent marks in second language learners that infrequent and non-cognate words are imperative, because pupils achieved high results on the pre-test with common French words as garçon and déjeuner. To that end, each of the three tests consisted of 15 difficult non-commonly used French words with diacritics (target words) that were masked with 21 topic-related words (table 2). Thus, each pupil learned a total of 36 French words, with a minimum of 20 diacritical marks. The older the participants, the more diacritics they had to memorize. By creating a different course for each of the three cycles, the difficulty of the vocabulary was adapted to their skills and knowledge, except for the target words, which remained the same across three cycles.

• Learning outcomes. Knowledge about each of the 36 words was assessed using a fill-in-the-blanks format (e.g. La texte n'est pas difficile, elle ne comporte aucune [...]. [uncertainty]). The test comprised three sections that differed in terms of the testing format, which corresponded to the three conditions: 12 words are handwritten with a stylus and 12 words are typed using the on-screen keyboard. The other 12 words needed to be ticked off out of four possible answers (of which one was ‘I don’t know’ to discourage guessing). To avoid order-confounding effects, words and testing parts were randomized for each participating class. This implies that words varied per testing format (e.g., the exercises of the testing part that had to be filled out by hand of the pretest were not the same as the exercises in the handwriting part of the post-test). Every word is scored on three different aspects: general memorization (0/1/2), spelling (0/1) and diacritical marks (0/1/2). Based on these word scores four aggregated scores were calculated for every 12 words per testing format (handwriting, typing and multiple-choice), resulting in a minimum score of 0 and a maximum score of 1:


Draft Content 364275384-54553-en021.jpg

• Total score: The total score is similar to a teacher’s scoring method in a real school context and is calculated for the three testing methods, each consisting of 12 words. The word scores range from 0 to 3 with 0: no answer or completely incorrect answer, 1: the word is similar to the right answer, but it does not sound the same (e.g. trefflé instead of trèfle), 2: the same lemma, but it is spelled incorrectly (including incorrect use of diacritic marks), 3: the word is correctly spelled (including correct use of diacritic marks). Multiple-choice exercises are only graded using 0 (incorrect answer) or 3 (correct answer) (e.g., “Les pommes sont [...], mais les prunes pas encore. [ripe]. Jeûne / aigu(ë) / mûres / je ne sais pas”). The sum of these 12 word scores is divided by 36, which is the maximum score if all 12 handwritten or typed words are spelled correctly.

• Memorization score: For each testing method, the sum of the 12 word scores on memorization (0: wrong, 1: similar to the answer, but does not sound the same, 2: sounds the same as the right answer) is calculated and divided by 24. The value of this denominator is the maximum score if all 12 words are correctly memorized. Multiple-choice exercises are only graded using 0 (wrong answer) or 2 (right answer).

Furthermore, the other two scores were computed independently of the number of correctly memorized words. The multiple-choice part of the tests was omitted, since writing accuracy (such as spelling and use of diacritics) cannot be tested using multiple-choice exercises. Only the correctly memorized (diacritical) words (memorization score=2) are taken into account to calculate the following scores per testing method (handwriting and typing):

• Spelling score / memorization: The 12 word scores on spelling (0: wrong, 1: right) are added up and divided by the number of correctly memorized words.

• Diacritical score / memorization: The word scores on accent marks (0: an accent mark is put if there wasn’t one or reversed, 1: an accent mark is put on the wrong letter or the wrong accent mark is chosen, 2: right) are added up and divided by the number of correctly memorized words.

2.4. Analyses

In order to investigate the effects of practice modality (3 conditions: stylus, keyboard and multiple-choice) and time (3 tests: pre-test, post-test and delayed post-test), a series of repeated-measures ANOVAs were conducted. The within-subjects factor was time, while the between-subjects factor was practicing modality (condition). Different analyses were performed to investigate the effects on the total mean score of the tests and the total score, the memorization, the spelling and the diacritics score per testing method.

3. Results

3.1. Memorization outcomes3.1.1. Total mean score

The total scores of the three testing methods were averaged, resulting in one total mean score (%) per test (pre-test, post-test and delayed post-test). Mauchly’s test indicated that the assumption of sphericity had been violated by time (?²(2)=55.429, p=.000, e=.72), therefore degrees of freedom were corrected using Greenhouse-Geisser estimates of sphericity (e=.78). A two-way ANOVA with the total mean scores of the tests as repeated measures factor showed a significant effect of time (F(1.56, 265.70)=1024.94; p=.00). Although pupils gained lower scores on the delayed post-test compared to the post-test, Pairwise Comparisons showed that the scores on the post-test (M=67.35%, SD=20.01%) and delayed post-test (M=56.55%, SD=19.18%) are significantly higher than those of the pre-test (M=19.67%, SD=10.60%) (p=.00). On the contrary, there was no significant effect on how pupils practiced the vocabulary during the intervention (F(2, 170)=1.38; p=.25), nor was a significant interaction found between time and condition (F(3.13, 265.70)=1.81; p=.14).

Each test consisted of three testing methods (handwriting, typing and multiple-choice), which enabled us to compare the separate testing method scores. There was a main effect of the testing method on the partial scores of each testing method (F(2,340)=1057.81, p=.000), as well as a significant interaction between testing method and time (F(2.35, 399.27)=8.71, p=.000). The scores of the multiple-choice part of the tests (M=75.28, SD=14.00) were on average 41 percentage points higher than the scores of the testing methods that needed to be filled out by stylus (M=34.50, SD=18.91) or keyboard (M=33.79, SD=18.61) (see Figure 2). Consistent with hypothesis 1 it was found that multiple-choice assessments yielded higher scores than fill-in-the blank assessments.

Regarding socio-demographics, a t-test of the total mean scores showed that girls (M=72.14%; SD=19.27%) achieved higher results than boys (M=63.65%; SD=21.28%) on the post-test (t(245)=-2.406; p=.017). This significant effect disappeared when taking the delayed post-test into account (t(220)=-4.797; p=.074). Furthermore, it was found that the school cycle had a significant effect (F(2,232)=60.493; p=.000). Pupils in the first cycle (M=47.15%; SD=16.84%) achieved a significant lower score on the post-test than the second (M=73.24%; SD=16.18%) and third cycle (M=77.44%; SD=17.62%).


Draft Content 364275384-54553-en022.jpg

3.1.2. Vocabulary memorization

The total memorization score for each of the three tests (pre-test, post-test and delayed post-test) was calculated by averaging the scores of the three testing methods, resulting in one memorization score (%) per test (pre-test, post-test and delayed post-test). Thus, in this analysis, the testing method was not taken into account. Similar to the analyses with total mean score, only a main effect of time F(1.58, 268.62)=1041.72, p=.00) was found. Pupils succeeded in gaining significant more knowledge of the provided vocabulary when the pre-test is compared to the two following posttests (p=.00). Scores on the pretest were the lowest (M=20.41%, SD=11.09%), whereas scores on the posttest were the highest (M=71.85%; SD=21.05%) and in between were the scores of the delayed posttest (M=60.29%, SD=20.65%). There was no significant main effect of practicing modality (F(1,170)=.80, p=.45), nor an interaction of time × practicing modality (F(3.16, 268.62)=1.60, p=.188).

As stated above, it was expected that handwriting with a stylus is more efficient in terms of memorization than the other practicing modalities (H2). However, this hypothesis could not be confirmed in analyses with total mean score, nor with memorization score.

3.2. Writing accuracy: spelling & diacritics

In this section the multiple-choice testing parts are dropped from consideration, since writing accuracy, such as spelling and diacritics, cannot be tested using multiple-choice exercises. Hence only the handwriting and typewriting parts of the tests are taken into account. In addition, analyses were conducted using the spelling and diacritics scores for the correctly memorized words.

Spelling and diacritics were separately subjected to a two practicing modality (handwriting or typewriting) by three (time: pre-test, post-test, delayed post-test) ANOVA. Since a repeated measures ANOVA was used, the tests were adjusted for non-sphericity using the Greenhouse-Geisser estimates of sphericity with spelling (e time=.77, e time*testing=.75) and Huynh-Feldt estimates of sphericity with diacritics (e time=.91, e time*testing=.89). In line with earlier findings pupils wrote the learned vocabulary significantly more accurately and put the correct diacritics on the right letters in the post-test and delayed posttest when compared to the pretest (spelling: F(1.54, 277.24)=260.38, p=.00; diacritics: F(1.81, 326.47)=159.91, p=.00).


Draft Content 364275384-54553-en023.jpg

3.2.1. Spelling

Regarding spelling the practicing modality is a decisive factor. A main effect of practicing modality was found (F(2,180)=9.99, p=.000), as well as an interaction of time × practicing modality (F(3.08, 277.24)=4.57, p=.004). Although the test items were completed by means of a stylus or keyboard, learning new French vocabulary by handwriting or typewriting led to higher spelling scores based on post-hoc pairwise comparisons on the post-test (p=.005) and on the delayed posttest (p=.015) in comparison with completing multiple-choice exercises during the intervention. While the scores of the pupils in the handwriting and typewriting conditions are respectively 76.51% (SD=14.69%) and 81.04% (SD=17.46%) in the post-test and 73.66% (SD=16.91%) and 75.74% (SD=20.82%) in the delayed post-test, the multiple-choice condition got no higher scores than on average 67.43% (SD=21.00%) in the post-test and 64.10% (SD=27.14%) in the delayed post-test (figure 3).

The third hypothesis can be partially confirmed. Learning vocabulary by writing the words down leads to higher spelling scores in comparison with completing multiple-choice exercises. Specifically, the handwriting practitioners along with the typewriting condition were more able to write the words correctly than those who completed multiple-choice exercises.

3.2.2. Diacritics

The practicing modality seemed of crucial importance with regard to the increasing score on diacritics (significant interaction time × practicing modality, F(3.63, 326.47)=4.83, p=.00). With regard to making correct use of diacritics, learning French L2 words and their typical diacritics by typewriting pays off in comparison with making multiple-choice exercises. Pairwise comparisons showed significant differences between the typewriting and multiple-choice conditions in both the post-test (p=.00) and delayed post-test (p=.035), whereas the handwriting condition did not differ significantly from the other conditions. While the typewriting condition scored on average 66.68% (SD=25.09%) on the post-test and delayed post-test, the multiple-choice condition hardly got half of the points (M=50.24%; SD=31.82%) (figure 4).

These findings partially support hypothesis 4. Typewriting was found to be a better alternative for practicing French vocabulary with regard to the memorization of diacritics in comparison with multiple-choice exercises.


Draft Content 364275384-54553-en024.jpg

4. Discussion and conclusion

The study shows that each of the three practicing groups made vocabulary gains. Whether the pupils practiced the vocabulary by writing down the words with a stylus, typed the words using the on-screen keyboard of the iPads or ticked the appropriate word out of three possible answers, the learning effect is shown and lasted minimum 10 days. As an alternative to writing with pen on paper, some pupils were making writing movements on their desk when memorizing the words. Similar to Mangen and Velay (2010), who stated that writing movements involve letter memorization, this could imply that memorization and the psychomotor act of writing are part of the same representation process.

In contrast, with regard to the productive spelling and diacritics measures it was found that pupils who spent more time learning the vocabulary by writing or typing, obtained higher scores over time than the multiple-choice group. None of the groups knew in advance how their vocabulary knowledge would be assessed, therefore we assume that the writing and typing groups practiced the vocabulary on a higher processing level than the multiple-choice group did. This is in line with previous L2 acquisition studies, which found that clicking is less efficient than typing (Heift, 2003). Furthermore the vague contribution of writing movements in memorization that was confirmed in literacy studies and in particular in writing studies (Cunningham & Stanovich, 1990a; Mangen & Velay, 2010), was not found in this study. Practicing vocabulary through handwriting and typing thus did not differ significantly from one another.

Regarding the testing method, pupils got higher scores on the multiple-choice part of the tests, which reflects the less demanding nature of this method when compared to handwriting or typewriting. Despite the effort of the researchers to discourage guessing, it is possible that pupils still were guessing to increase their chance to get after all the right answers, because there were no negative consequences attached if the answer was wrong.

Although we found that the practicing modality matters, some limitations of this research should be considered. The sample did not consist of novice learners of French as a foreign language. In the Flemish school system pupils get their first French courses at the age of 10, the youngest participants in the sample learned already about 2.5 years French at school. Nevertheless, the difficulty of the vocabulary and the fill-in-the-blanks exercises and assessments were adapted to their level. In contrast to the samples of Sturm’s (2006, 2010, 2012) and Gascoigne Lallly’s (2000) studies, the French and Dutch languages do not differ as much as French and English do. Dutch is enriched with a lot of French loan words, for this reason Flemish people and, by extension, the whole Dutch speaking population is already used to the usage of the following accent marks: ´ (café), ` (scène), ¨ (reünie) and ^ (gêne).

References

Bax, S. (2003). Call. Past, Present and Future. System, 31(1), 13-28. https://doi.org/10.1016/S0346-251X(02)00071-4

Clark, A. (1998). Being There: Putting Brain, Body, and World Together Again. The Philosophical Review, 107, 4, 647-650. https://doi.org/10.2307/2998391

Cunningham, A.E., & Stanovich, K E. (1990a). Assessing Print Exposure and Orthographic Processing Skill in Children: A Quick Measure of Reading Experience. Journal of Educational Psychology, 82(4), 733-740. https://doi.org/10.1037/0022-0663.82.4.733

Cunningham, A.E., & Stanovich, K.E. (1990b). Early Spelling Acquisition: Writing Beats the Computer. Journal of Educational Psychology, 82(1), 159-162. https://doi.org/10.1037/0022-0663.82.1.159

Ducate, L., & Lomicka, L. (2013). Going Mobile: Language Learning with an Ipod Touch in Intermediate French and German Classes. Foreign Language Annals, 46(3), 445-468. https://doi.org/10.1111/flan.12043

Gascoigne, C. (2006). Explicit Input Enhancement: Effects on Target and Non-target Aspects of Second Language Acquisition. Foreign Language Annals, 39(4), 551-564. https://doi.org/10.1111/j.1944-9720.2006.tb02275.x

Gascoigne-Lally, C. (2000). The Effect of Keyboarding on the Acquisition of Diacritical Marks in the Foreign Language Classroom Lally. The French Review, 73(5), 899-907.

Heift, T. (2003). Drag or Type, But Don’t Click: A Study on the Effectiveness of Different CALL Exercise Types. Canadian Journal of Applied Linguistics, 6(3), 69-85.

Higashiyama, Y., Takeda, K., Someya, Y., Kuroiwa, Y., & Tanaka, F. (2015). The Neural Basis of Typewriting: A Functional MRI Study. Plos One, 10(7). https://doi.org/10.1371/journal.pone.0134131

Kiefer, M., Schuler, S., Mayer, C., Trumpp, N.M., Hille, K., & Sachse, S. (2015). Handwriting or Typewriting? The Influence of Pen-or Keyboard-based Writing Training on Reading and Writing Performance in Preschool Children. Advances in Cognitive Psychology, 11(4), 136-146. https://doi.org/10.5709/acp-0178-7

Little, J.L., & Bjork, E.L. (2015). Optimizing Multiple-choice Tests as Tools for Learning. Memory & Cognition, 43(1), 14-26. https://doi.org/10.3758/s13421-014-0452-8

Longcamp, M., Boucard, C., Gilhodes, J.C., & Velay, J.L. (2006). Remembering the Orientation of Newly Learned Characters Depends on the Associated Writing Knowledge: A Comparison between Handwriting and Typing. Human Movement Science, 25, 646-656. https://doi.org/10.1016/j.humov.2006.07.007

Longcamp, M., Boucard, C., Gilhodes, J.C., Anton, J.L., Roth, M., Nazarian, B., & Velay, J.L. (2008). Learning through Hand- or Typewriting Influences Visual Recognition of New Graphic Shapes: Behavioral and Functional Imaging Evidence. Journal of Cognitive Neuroscience, 20(5), 802-815. https://doi.org/10.1162/jocn.2008.20504

Longcamp, M., Zerbato-Poudou, M.T., & Velay, J.L. (2005). The Influence of Writing Practice on Letter Recognition in Preschool Children: A Comparison between Handwriting and Typing. Acta Psychologica, 119(1), 67-79. https://doi.org/10.1016/j.actpsy.2004.10.019

Mangen, A., & Velay, J.L. (2010). Digitizing Literacy: Reflections on the Haptics of Writing. In M. H. Zadeh (Ed.), Advances in Haptics (pp. 385-403). In Tech. https://doi.org/10.5772/8710

Mueller, P.A., & Oppenheimer, D.M. (2014). The Pen Is Mightier Than the Keyboard: Advantages of Longhand Over Laptop Note Taking. Psychological Science, 25 (April), 1159-1168. https://doi.org/10.1177/0956797614524581

Nicol, D. (2007). E-assessment by Design: Using Multiple-choice Tests to Good Effect. Journal of Further and Higher Education, 31(1), 53-64. https://doi.org/10.1080/03098770601167922

Paddick, R. (2015). Tablet Adoption Continues to Rise. (http://goo.gl/cR6vt0) (2015-09-15).

Piaget, J. (1952). The Origins of Intelligence in Children (Vol. 8). New York, NY: International Universities Press. https://doi.org/10.1037/h0051916

Simon, B., Anderson, R., Hoyer, C., & Su, J. (2004). Preliminary Experiences with a Tablet PC based System to Support Active Learning in Computer Science Courses. In ITiCSE ’04 (pp. 213-217). https://doi.org/10.1145/1007996.1008053

Smith, L., & Gasser, M. (2005). The Development of Embodied Cognition: Six Lessons from Babies. Artificial Life, 11(1-2), 13-29. https://doi.org/10.1162/1064546053278973

Stockwell, G. (2016). Mobile Language Learning. In F. Farr, & L. Murray (Eds.), The Routledge Handbook of Language Learning and Technology (pp. 296-307). Abingdon: Taylor and Francis Inc. https://doi.org/10.4324/9781315657899

Sturm, J.L. (2006). The Effect of Keyboarding and Presentation Format on the Recall of Accent Marks in L2 Learners of French. Working Papers in Tesol & Applied Linguistics, 6(2), 1-15. https://doi.org/10.7916/D8RX9BMS

Sturm, J.L. (2010). The Acquisition of Accent Marks in L2 French: The Effects of Keyboarding and Text Format. Proceedings of the Second Congrès Mondial de Linguistique Française, 1591-1606. https://doi.org/10.1051/cmlf/2010032

Sturm, J.L. (2012). Meaning and Orthography in L2 French. Writing Systems Research, 4(1), 47-60. https://doi.org/10.1080/17586801.2011.635950

Thelen, E., Schöner, G., Scheier, C., & Smith, L.B. (2001). The Dynamics of Embodiment: A Field Theory of Infant Perseverative Reaching. Behavioral and Brain Sciences, 24, 1-86. https://doi.org/10.1017/S0140525X01003910

Vanderhoven, E., Van Hove, S., & Anrijs, S. (2016). Er zijn steeds meer tablets op school, maar vele leraren wijzen op gebrekkige software en een falend wifinetwerk. [Schools are Increasingly Adopting Tablets, but many Teachers Point to the Poor Software and Insufficient Wi-Fi Networks] (http://goo.gl/7CskKF) (24/08/2016).

Varios (2015). Les accents et autres signes orthographiques. [Accents and other Orthographical Signs]. Espace Français. (http://goo.gl/VajbvY) (2015-09-20).

Wartella, E., Richert, R., & Robb, M.B. (2010). Babies, Television and Videos: How did we get here? Developmental Review, 30(2), 116-127. https://doi.org/10.1016/j.dr.2010.03.008

Webb, S. (2005). Receptive and Productive Vocabulary Learning: The Effects of Reading and Writing on Word Knowledge. Studies in Second Language Acquisition, 27(01), 33-52. https://doi.org/10.1017/S0272263105050023



Click to see the English version (EN)

Resumen

Las tecnologías móviles están aumentando su presencia en las aulas. Mientras estas tecnologías ofrecen oportunidades para facilitar el aprendizaje, entre ellas la adquisición de una segunda lengua (L2), su potencial sigue sin aprovecharse plenamente. Aunque las aplicaciones de las tablets permiten la escritura y tareas similares a las que pueden hacerse en papel, siguen ofreciendo mayoritariamente ejercicios de selección múltiple o de relleno de huecos. Este cambio en medio y modalidad de práctica podría significar un impacto en el aprendizaje de una segunda lengua. Basada en la perspectiva de la cognición incorporada, nuestra hipótesis predice que el hecho de escribir se traduce en un mejor proceso de memorización y una mejor ortografía frente a la mecanografía o al uso de ejercicios de opción múltiple. Esta hipótesis ha sido comprobada en un estudio cuasi-experimental basado en el aula: alumnos (N=282) que practicaron vocabulario de francés a través de tres modalidades de práctica: ejercicios de opción múltiple, escritura con un teclado y escritura a mano alzada. Aunque se haya encontrado que las tres modalidades de práctica apoyaron al proceso de aprendizaje, los resultados demostraron que los alumnos que practicaron el vocabulario escribiendo con lápiz o con la tablet obtuvieron puntuaciones más altas en ortografía y dominio de signos diacríticos comparados con los alumnos que realizaron ejercicios de selección múltiple. Pasar más tiempo aprendiendo vocabulario a un nivel más alto de procesamiento conduce a una mayor adquisición de vocabulario.

Descarga aquí la versión PDF

1. Introducción

1.1. Aprendizaje asistido mediante móviles

Desde un punto de vista pedagógico, las tablets pueden suponer un apoyo en distintos aspectos del proceso de aprendizaje, desde la activación del conocimiento previo y la mejora de la enseñanza, hasta posibilitar el procesamiento del conocimiento didáctico mediante tareas complejas de aprendizaje, además de permitir la práctica de tareas parciales a fin de evaluar el conocimiento y capacidades del estudiante (Simon, Anderson, Hoyer, & Su, 2004). Por ello, diversas escuelas han integrado las tablets en las prácticas docentes para lograr una educación más activa y personalizada y reforzar las competencias individuales de sus alumnos. El estudio anual en materia de tablets y conectividad elaborado en mayo de 2014 por la asociación British Educational Suppliers Association reveló que el 76% de las escuelas de secundaria había adoptado en sus clases el uso de tablets (Paddick, 2015). Por otra parte, un estudio realizado en 2016 en Flandes entre directores y coordinadores de TIC de 110 escuelas demostró que cuatro de cada diez institutos de secundaria contaban con un mínimo de diez tablets (Vanderhoven, Van Hove, & Anrijs, 2016). De hecho, algunas escuelas flamencas optaron por proporcionar una tablet por alumno en las aulas.

1.2. Modalidad de prácticas en el aprendizaje de una segunda lengua: tocar la pantalla, mecanografiar y escribir a mano

El papel de la tecnología está sometido a intensos estudios en el campo del aprendizaje de lenguas asistidas por ordenador (CALL, por sus siglas en inglés); sin embargo, la mayoría de las investigaciones en este campo se basan en teorías de adquisición de una segunda lengua que no tienen en cuenta el papel que la tecnología puede jugar en el proceso de aprendizaje (Stockwell, 2016). No obstante, la normalización de la tecnología es cada vez mayor en contextos de aprendizaje, lo que se traduce en una progresiva integración al entorno de aprendizaje, al igual que el papel y lápiz (Bax, 2003). Por ello, la presencia de la tecnología y su relación con el contexto de aprendizaje resulta tan importante como el resultado del mismo.

Utilizadas como práctica de apoyo de una tarea parcial en el aprendizaje de lenguas, las tablets a menudo se basan en la práctica limitada y en formatos tipo test que contrastan con los ejercicios con papel y lápiz, como los ejercicios de selección múltiple de respuestas correctas (Ducate & Lomicka, 2013). Aunque este ejercicio puede dar lugar a un mayor rendimiento, ya que no es necesario ejercitar la memoria, no se aconseja su aplicación en la práctica de tareas parciales pues únicamente facilita el reconocimiento y puede emplearse solo como herramienta de aprendizaje si se proporcionan respuestas alternativas y competitivas que estimulen un alto nivel de procesamiento (Little & Bjork, 2015; Nicol, 2007). Respecto a la capacidad de recordar determinadas palabras en francés, Sturm (2006) opina que la duración del procesamiento de la información juega un papel fundamental en la memoria oprativa.

A través de un estudio, Heift (2003) investigó el impacto que el tipo de ejercicio tenía sobre los resultados del aprendizaje entre alumnos alemanes y determinó que los estudiantes que realizaron ejercicios de selección múltiple obtuvieron un rendimiento inferior al de aquellos que emplearon el ordenador para realizar ejercicios de arrastrar y soltar o rellenar huecos. Igualmente, Webb (2005) comparó el aprendizaje de vocabulario receptivo y el productivo y sus resultados mostraron que las tareas productivas (que implican memorización) dieron lugar a una adquisición de vocabulario mucho mayor. El tiempo que tenían que pasar los estudiantes en tareas productivas era superior al que requerían los ejercicios de selección múltiple, por lo que de conformidad con las conclusiones de Sturm (2006), Webb afirmó que la duración de la tarea juega un papel importante en el aprendizaje del vocabulario.

Para superar estos problemas y poder beneficiarse de las oportunidades que brinda el uso de los dispositivos móviles, se pueden sustituir los ejercicios de selección múltiple por otros tipos como los ejercicios de relleno de huecos en los que el alumno debe escribir respuestas sencillas. A pesar de que la escritura y la mecanografía conllevan actividad en las mismas regiones del cerebro (Higashiyama, Takeda, Someya, Kuroiwa, & Tanaka, 2015), aún existen diferencias importantes. Escribir a mano es un proceso más lento que implica una mayor atención visual sobre el espacio motor donde se escribe, además se requiere dar forma a cada letra individualmente (Mangen & Velay, 2010). Sin embargo, para mecanografiar (teóricamente) se necesitan los diez dedos para pulsar las teclas sin que cada operación de pulsación difiera de la otra, siendo un proceso mucho más rápido (Mueller & Oppenheimer, 2014). El espacio en el que se «escriben» las letras es distinto al del espacio en el que aparecen las mismas (Mangen & Velay, 2010).

Existen diversas hipótesis entre los investigadores que afirman que los movimientos realizados al escribir a mano son cruciales en el aprendizaje (de lengua) y, por ello, sugieren que el salto a los teclados es perjudicial para el aprendizaje (Longcamp & al., 2008; Longcamp, Boucard, Gilhodes, & Velay, 2006; Mangen & Velay, 2010; Sturm, 2006). La importancia de la escritura a mano a la hora de memorizar vocabulario ha quedado demostrada a través de diversos estudios. Cunningham y Stanovich (1990b) descubrieron que la pronunciación de las palabras es mejor si estas se escriben a mano que si se mecanografían o se forman arrastrando y soltando conjuntos de letras. Recientemente, Longcamp y otros (2006) afirmaron que las imágenes visuales y sensorial-motoras de las letras y las palabras interactúan unas con otras en la mente de las personas. Las representaciones visuales de las formas de las letras activan en la memoria el componente sensorio-motor correspondiente, como los movimientos resultantes de la escritura a mano. Kiefer y otros (2015) reprodujeron el estudio de Cunningham y Stanovich (1990b) sobre alumnos de preescolar (tres meses a seis años) y determinaron que se daba una mejora del rendimiento al leer y escribir palabras en los que escribían a mano en comparación los que mecanografiaban. Por otra parte, en cuanto a la toma de notas, cuando esta se realiza a mano da lugar a un procesamiento más profundo, ya que requiere selección y reformulación del mensaje (Mueller & Oppenheimer, 2014). Otro estudio demostró que incluso los alumnos de preescolar a partir de los cuatro años podían recordar y reconocer visualmente una mayor cantidad de letras si las copiaban a mano en lugar de mecanografiarlas (Longcamp & al., 2005). Las marcas diacríticas (incluidos los acentos) tienen una importancia equivalente a la de las letras para la memorización de vocabulario y de letras en diversos idiomas, como el español y el francés (Sturm, 2012). No obstante, apenas se han efectuado investigaciones en torno al tipo de ayuda que puede contribuir a recordar los acentos o diacríticos. De esta manera, en francés, seis marcas diacríticas actúan como piedras angulares de la ortografía (acento agudo [´], acento grave [`], acento circunflejo [ˆ], diéresis [¨], cedilla [ç], apóstrofe [‘]), que cambian la forma en la que se pronuncian las vocales, así como el significado de las mismas (por ejemplo: a / à (tener/a), mur / mûr (pared/ maduro), tache / tâche (punto sucio / tarea)... («Los acentos y los otros signos ortográficos» Sturm, 2012). Así, para añadir un acento a una palabra, se tendrán que realizar movimientos adicionales al escribir a mano y con el teclado. Gascoigne-Lally (2000; 2006) determinó que las pulsaciones del teclado adicionales que eran necesarias para acentuar una letra reforzaban la aplicación de los diacríticos. Al igual que pasa con el realce del input (Input Enhancement), el uso de códigos de colores o de distintas fuentes, como las palabras subrayadas, hace que el aspecto diacrítico de las palabras francesas sea más destacado debido a los pasos psicomotores adicionales (Gascoigne, 2006). Sturm (2006) reprodujo el experimento y no encontró ninguna diferencia importante entre los grupos que escribían a mano y los dos que utilizaban el teclado mediante las teclas de funciones pre-programadas o «Alt+códigos numéricos». Al contrario que los resultados en torno a la memorización de vocabulario en una segunda lengua, estos estudios demuestran que se da un uso más correcto de los diacríticos cuando se mecanografía que cuando se escribe a mano.

1.3. La cognición incorporada

La perspectiva que describe la cognición incorporada (Clark, 1998) podría explicar los resultados empíricos que aparecen anteriormente. Esta teoría arroja algo de luz sobre la naturaleza corpórea y orientada a la acción inherente a las actividades de aprendizaje, como es la escritura (Smith & Gasser, 2005; Thelen, Schöner, Scheier, & Smith, 2001). Al igual que la teoría constructivista de Piaget (1952) concebía a los niños como exploradores activos de su entorno, la teoría de la cognición incorporada presupone que los resultados cognitivos se derivan de las interacciones sensorial-motoras con el entorno físico (Smith & Gasser, 2005; Thelen & al., 2001). Si «la cognición es la internalización de la acción externalizada en el entorno» (Wartella, Richert, & Robb, 2010: 123), es posible argumentar que la escritura a mano influye directamente sobre la forma en la que se adquiere el conocimiento. Mangen y Velay (2010) propusieron tres teorías de campos cercanos a fin de mostrar que las relaciones entre el cuerpo y el pensamiento son recíprocas. «Las teorías motoras de la percepción» (neuropsicología) afirman que la mente simula los movimientos externos; sin embargo, «el enfoque enactivo» añade que los patrones sensorial-motores aportan estructura al conocimiento. El primer conjunto de teorías destaca la importancia que suponen los procesos cognitivos, mientras que el segundo enfoque subraya el valor añadido que supone la percepción; «la teoría de la contingencia sensorial-motora» asegura que el conocimiento de las contingencias sensorial-motoras intercede en la relación entre la percepción y la cognición. La cognición genera el acto de percepción de la escritura, a la par que aporta estructura al proceso de aprendizaje. No obstante, el conocimiento de los efectos sensoriales generados por la escritura consolidará la relación entre el aprendizaje y la escritura. Esto implica que el proceso de aprendizaje se vea impulsado al escribir palabras mientras estas se perciben durante su formación sobre el papel.

Se debe tener en cuenta que la mayoría de los estudios anteriores se centraban únicamente en comparar el acto de escribir a mano sobre papel y mecanografiar en un dispositivo tecnológico, confundiendo así el uso de la tecnología con el mismo acto de teclear. Sin embargo, la introducción de nuevos dispositivos como las tablets en la educación brinda nuevas oportunidades relacionadas con la entrada de texto, como la escritura con lápiz digital. Este puede emplearse para escribir en una tablet, con lo cual se puede distinguir entre el impacto que genera el uso de una nueva tecnología con el que resulta de teclear en lugar de escribir. Por tanto, el cuasi-experimento actual explora la importancia que supone escribir a mano mediante lápiz digital en una tablet, en contraste con la mecanografía y completar ejercicios de selección múltiple. Basándonos en la perspectiva de la cognición incorporada y los resultados de los estudios anteriores, se propusieron las siguientes hipótesis:

• Hipótesis 1: La selección múltiple como modalidad de prueba conduce a mejores puntuaciones que las resultantes de pruebas que requieren mecanografiar o escribir a mano.

• Hipótesis 2: A partir de la perspectiva de cognición incorporada, aprender vocabulario francés escribiendo palabras a mano alzada con un lápiz digital da lugar a un mejor proceso de memorización de lemas que el hecho de escribir en el teclado de la pantalla o realizar ejercicios de selección múltiple.

• Hipótesis 3: A partir de la perspectiva de cognición incorporada, aprender vocabulario francés escribiendo palabras a mano alzada con un lápiz digital da lugar a una mejor ortografía que el hecho de mecanografiar en el teclado de la pantalla o hacer ejercicios de selección múltiple.

• Hipótesis 4: A partir de la bibliografía centrada en el realce del input, aprender palabras mediante ejercicios utilizando un teclado en la pantalla indica un uso más correcto de los signos o acentos diacríticos en las palabras francesas al compararlo con la escritura a mano alzada con un lápiz digital o mediante los ejercicios de selección múltiple.

Se llevó a cabo un estudio cuasi-experimental que investigó los efectos que producen las tres modalidades de práctica (escritura con lápiz digital, mecanografía y selección múltiple) sobre el proceso de memorización de vocabulario, así como su ortografía y marcas diacríticas.

2. Material y metodología

2.1. Participantes y diseño

En el estudio participaron un total de 282 alumnos (129 niños y 153 niñas) con edades comprendidas entre los 11 y los 18 años. Las clases se seleccionaron entre tres colegios de Flandes que ofrecían educación general secundaria, ya que Francia es parte del plan de estudios formal de la educación secundaria flamenca general. 14 clases de nueve profesores participaron en el estudio y estos fueron seleccionados de forma aleatoria, compensando la edad con respecto a una de las tres condiciones. La escritura con lápiz digital constó de 94 participantes, la práctica con teclado implicó a 93 alumnos y los 95 alumnos restantes hicieron la selección múltiple. El 98,9% de la muestra hablaba holandés como primer idioma, mientras que el 5,8% también hablaba francés en casa. La mayoría de los alumnos se encontraban en su cuarto año (15-16 años) y habían recibido un promedio de 5,72 años de educación de francés en la escuela (DE=1,72).

2.2. Procedimiento

La intervención tuvo lugar a lo largo de tres cursos de francés (figura 1) de los cuales, la primera y la segunda clase fueron en la misma semana. Se prepararon 25 iPads para realizar el estudio: se descargaron archivos PDF interactivos (materiales del curso) utilizando la aplicación PDF Office, se ajustó el idioma principal del teclado al francés y se desactivaron las opciones de autocorrección y el corrector ortográfico. Una vez en el aula, el primer autor presentó el estudio a los alumnos y les explicó cómo debían usar los archivos PDF interactivos. Se comunicó a los alumnos y profesores que iban a participar en un estudio dirigido a investigar la forma en la que se aprende el vocabulario francés. No se comunicaron a los participantes los objetivos subyacentes del estudio (reconocimiento y recuerdo de palabras, ortografía y marcas diacríticas). Durante los 40 minutos restantes los alumnos completaron una encuesta y una prueba previa en línea.


Draft Content 364275384-54553 ov-es019.jpg

Durante la segunda clase, el primer autor expuso el tema del curso con una presentación y un vídeo breve y, a continuación, los alumnos tuvieron 10 minutos para memorizar la lista de vocabulario compuesta por 36 palabras (copia en papel). Se les instó a aprender las palabras en dirección holandés a francés. Asimismo, los investigadores pidieron a los alumnos que no escribieran ninguna palabra una vez hubieran aprendido la lista de vocabulario. Una vez memorizaron las palabras debían completar los ejercicios usando una de las tres modalidades: selección múltiple, mecanografía o escritura con lápiz digital. Al final de la segunda clase, los alumnos rellenaron una prueba posterior similar, en un orden aleatorio.

En la tercera y última clase, los alumnos volvieron a realizar la prueba posterior que se utilizó en nuestro diseño experimental. Fue necesario dejar un período de 10 días entre la segunda y tercera clase a fin de investigar los efectos de retención (Sturm, 2010) (figura 1).

Figura 1. Procedimiento del estudio


Draft Content 364275384-54553 ov-es020.jpg

2.3. Instrumentos

Se realizaron tres pruebas: una previa antes de la intervención, una posterior inmediatamente después de los ejercicios al final de la segunda clase y otra prueba posterior aplazada después de 10 días. En todas se midieron los resultados del aprendizaje. 175 alumnos completaron las tres pruebas, 254 hicieron la prueba preliminar, 238 alumnos realizaron la prueba posterior y tan solo 232 alumnos se sometieron a la prueba posterior aplazada. Debido a motivos técnicos, no se guardaron de forma adecuada algunas pruebas. Asimismo, cada profesor (salvo las clases con problemas de Internet) completó una encuesta sobre la evaluación (N=9).

• Temas de las pruebas. Sturm (2006) recomendó en su estudio sobre la adquisición de acentos en los alumnos de segunda lengua (L2) que es imperativo el uso de palabras poco frecuentes y no afines, ya que estos conseguían mejores resultados en las pruebas previas con palabras francesas comunes como «garçon» y «déjeuner». A estos efectos, cada una de las tres pruebas consistía en 15 palabras francesas difíciles y de uso poco común con diacríticos (palabras meta) que aparecían escondidas con 21 palabras relacionadas con el tema (tabla 2). Por tanto, cada alumno aprendió un total de 36 palabras francesas con un mínimo de 20 marcas diacríticas. Cuanto mayor era la edad del alumno, más diacríticos tenía que memorizar. Al crear un curso distinto para cada ciclo, la dificultad del vocabulario se adaptó a sus habilidades y conocimientos, salvo por las palabras meta, que seguían siendo las mismas a lo largo de los tres ciclos.

• Resultados del aprendizaje. Se evaluó el conocimiento de las 36 palabras mediante un formato de relleno de huecos (p. ej. «La texte n’est pas difficile, elle ne comporte aucune» [...]. [duda]). La prueba constaba de tres secciones que diferían en términos de formato de prueba que correspondía a las tres condiciones: 12 palabras se escribían a mano y una a mano alzada con lápiz digital, mientras que 12 palabras se mecanografiaban con el teclado en la pantalla. El resto de las 12 palabras debían tacharse entre las cuatro respuestas posibles (una de ellas era «No lo sé» para evitar que se adivinase). A fin de eludir efectos de confusión del orden, se asignaron palabras al azar y partes de pruebas a cada clase. Esto conlleva una variación de palabras por formato de prueba (por ejemplo: los ejercicios de la sección de la prueba previa que tenía que rellenarse a mano no eran los mismos que los ejercicios pertenecientes a la parte de escritura a mano alzada de la prueba posterior). Cada palabra recibió una puntuación basándose en tres aspectos diferentes: memorización general (0/1/2), ortografía (0/1) y marcas diacríticas (0/1/2). Teniendo en cuenta las puntuaciones de estas palabras se efectuó el cálculo de cuatro puntuaciones globales correspondientes a 12 palabras por formato de prueba (escritura, mecanografía y selección múltiple) dando lugar a una puntuación mínima de 0 y a una máxima de 1 (como se explica más adelante en la “Puntuación por memorización”):


Draft Content 364275384-54553 ov-es021.jpg

• Puntuación total: La puntuación total es similar al método de puntuación de un profesor en un contexto escolar real y el cálculo se efectúa para los tres métodos de prueba, cada uno con 12 palabras. Las puntuaciones de palabras varían entre 0 hasta 3; siendo 0: Ninguna respuesta o respuesta completamente incorrecta; 1: La palabra es similar a la respuesta correcta, pero no suena igual (p. ej. «trefflé» en lugar de «trèfle»); 2: El mismo lexema, pero la ortografía es incorrecta (incluido el uso incorrecto de las marcas diacríticas); 3: La palabra está escrita correctamente (incluido el uso correcto de las marcas diacríticas). Solo se puntúan los ejercicios de selección múltiple usando el 0 (respuesta incorrecta) o el 3 (respuesta correcta) (p. ej. «Les pommes sont [...], mais les prunes pas encore». [maduro]. «Jeûne / aigu(ë) / mûres / je ne sais pas»). La suma de la puntuación de estas 12 palabras se divide por 36, que es la puntuación máxima que puede obtenerse si se escriben correctamente las 12 palabras escritas a mano o mecanografiadas.

• Puntuación por memorización: La suma de las puntuaciones por memorización de las 12 palabras correspondiente a cada método de prueba se calcula (0: incorrecto; 1: Similar a la respuesta, pero no suena igual; 2: Suena igual que la respuesta correcta) y se divide entre 24. El valor de este denominador es la puntuación máxima en caso de que se memorizasen correctamente las 12 palabras. Los ejercicios de selección múltiple se puntúan únicamente mediante 0 (respuesta incorrecta) o 2 (respuesta correcta).

Igualmente, se computaron las otras dos puntuaciones con independencia del número de palabras correctamente memorizadas. Se omitió la parte de la prueba correspondiente a la selección múltiple, dado que no era posible examinar la exactitud de la escritura (como la ortografía y el uso de diacríticos) mediante los ejercicios de selección múltiple. Únicamente se tienen en cuenta las palabras correctamente memorizadas (diacríticas) (puntuación por memorización: 2) a fin de calcular las siguientes puntuaciones por método de prueba (escritura a mano y mecanografía):

• Puntuación por ortografía/memorización: Se añadieron las puntuaciones por la ortografía de 12 palabras (0: incorrecto; 1: correcto) y estas se dividieron por el número de palabras memorizadas correctamente.

• Puntuación diacríticas/memorización: Se añadieron las puntuaciones de palabras por acentos (0: si se acentúa sin llevar tilde o al contrario; 1: se acentúa la letra incorrecta o se escoge el acento incorrecto; 2: correcto) y estas se dividieron por el número de palabras correctamente memorizadas.

2.4. Análisis

Para investigar los efectos de la modalidad de práctica (3 condiciones: escritura a mano alzada con lápiz digital, mecanografía y selección múltiple), así como el tiempo (3 pruebas: prueba previa; prueba posterior y prueba posterior aplazada), se llevaron a cabo una serie de análisis de varianza (ANOVA) de las medidas repetidas. El factor intrasujetos fue el tiempo, mientras que el factor intersujetos fue la modalidad de práctica (condición). Se efectuaron distintos análisis con el objetivo de investigar los efectos sobre la puntuación media total de las pruebas, así como la puntuación total, la memorización, la ortografía y la puntuación diacrítica por método de prueba.

3. Resultados

3.1. Resultados de la memorización3.1.1. Puntuación promedio total

Se calculó el promedio de las puntuaciones totales resultantes de los tres métodos de prueba arrojando un resultado de una puntuación media total (%) por prueba (previa, posterior y posterior aplazada). La prueba de Mauchly indicaba que el factor tiempo había infringido el supuesto de esfericidad (?²(2)=55,429, p=,000, =.72); por tanto, se corrigieron los grados de libertad utilizando las estimaciones de Greenhouse-Geisser en materia de esfericidad (=.78). Un análisis de varianza de dos factores con las puntuaciones medias totales de las pruebas, ya que el factor de medidas repetidas mostró un efecto del factor tiempo importante ((F(1,56, 265,70)=1024,94; p=,00). A pesar de que los alumnos obtuvieron puntuaciones menores en la prueba posterior aplazada en comparación con la prueba posterior, las comparaciones múltiples demostraron que las puntuaciones resultantes de la prueba posterior (M=67,35%; DE-20,01%) y la prueba posterior aplazada (M=56,55%, DE=19,18%) son muy superiores a las obtenidas con la prueba previa (M=19,67%, DE=10,60%) (p=,00). Por el contrario, el impacto fue mínimo sobre la forma en la que los alumnos practicaron el vocabulario durante la intervención (F(2, 170)=1,38; P=25), de la misma manera que no hubo una interacción significativa entre el factor tiempo y la condición (F(3,13, 265,70) =1,81; p=,14).

Cada prueba consistía en tres métodos (escritura a mano, mecanografía y selección múltiple), lo que nos permitió comparar las puntuaciones de los métodos de prueba por separado. El método de prueba tuvo un impacto importante sobre las puntuaciones parciales de cada método (F(2.340)=1.057,81, p=,000), además de que tuvo lugar una interacción significativa entre el método y el factor tiempo ((2,35, 399,27)=8,71, p=,000). Las puntuaciones resultantes de la parte de selección múltiple de las pruebas (M=75,28, DE=14,00) se situaron de media 41 puntos porcentuales por encima de las puntuaciones de los métodos que debían rellenarse con lápiz digital (M=34,50, DE=18,91) o mecanografiando (M=33,79, DE=18,61). Conforme a la hipótesis 1, se determinó que las evaluaciones de la selección múltiple arrojaban puntuaciones superiores a las que consistían en rellenar los huecos.

En cuanto a los factores socio-demográficos, la prueba t de Student demostró que las niñas (M=72,14%; DE=19,27%) consiguieron mejores resultados que los niños (M=63,65%; DE= 21,28%) en la prueba posterior (t(245)=-2,406; p=,017). El efecto significativo desapareció según la prueba posterior aplazada (t(220)=-4,797; p=,074). Se determinó que el ciclo escolar representaba un efecto importante (F(2.232)= 60.493; p=,000). Los alumnos del primer ciclo (M=47,15%; DE=16,84%) obtuvieron una puntuación significativamente inferior en la prueba posterior que los del segundo ciclo (M= 73,24%; DE=16,18%) y tercero (M=77,44%; DE=17,62%).


Draft Content 364275384-54553 ov-es022.jpg

3.1.2. Memorización de vocabulario

El cálculo de la puntuación total correspondiente a la memorización en cada una de las tres pruebas se efectuó calculando la media de las puntuaciones de los tres métodos con una puntuación por memorización (%) por prueba. Por ello, el método no se tuvo en cuenta en este análisis. Al igual que los análisis con una puntuación media total, solo se detectó un efecto principal del factor tiempo (1,58, 268,62)=1041,72, p=,00). El conocimiento adquirido por los alumnos fue significativamente superior al comparar la prueba previa con las dos pruebas posteriores (p=,00). Las puntuaciones obtenidas en las pruebas previas fueron las más bajas (M=20,41%, DE=11,09%), mientras que las puntuaciones de las pruebas posteriores fueron las más altas (M=71,85%; DE=21,05%), y en un punto intermedio se situaron las puntuaciones correspondientes a la prueba posterior aplazada (M=60,29%, DE=20,65%). La modalidad de práctica no tuvo ningún efecto principal (F(1.170)=,80, p=,45), ni tampoco se dio una interacción del factor tiempo modalidad de práctica (F(3,16, 268,62)=1,60, p=,188).

Como se ha mencionado, se esperaba que la escritura con lápiz digital fuese más eficiente en términos de memorización que las otras modalidades (H2). No obstante, no fue posible confirmar esta hipótesis en los análisis con puntuación promedio total ni con puntuación de memorización.

3.2. Exactitud de escritura: ortografía y diacríticos

Se descartaron las partes correspondientes a la prueba de selección múltiple, dado que no es posible examinar la exactitud de la escritura. Únicamente se consideraron las partes de escritura manual y mecanografía. Asimismo, los análisis se realizaron utilizando las puntuaciones de ortografía y diacríticos correspondientes a las palabras memorizadas correctamente.

Se aplicó un análisis de varianza de dos factores: modalidad de práctica (escritura manual y mecanografía) y tiempo (prueba previa, prueba posterior y prueba posterior aplazada) por separado sobre la ortografía y los diacríticos. Dado que se empleó un análisis de varianza con medidas repetidas, las pruebas se ajustaron a la no esfericidad usando las estimaciones de esfericidad de Greenhouse-Geisser con ortografía (tiempo= ,77, tiempo*prueba=,75) y las estimaciones de esfericidad de Huynh-Feldt con diacríticos (tiempo=.91, tiempo*prueba=,89). Según los resultados anteriores, los alumnos escribieron el vocabulario aprendido de forma mucho más exacta y pusieron los diacríticos correctos en las letras correctas en las pruebas posteriores y las pruebas posteriores aplazadas con respecto a los resultados de la prueba previa (ortografía: F(1,54, 277,24)=260,38, p=,00; diacríticos: F(1,81, 326,47) =159,91, p=,00).


Draft Content 364275384-54553 ov-es023.jpg

3.2.1. Ortografía

La modalidad de práctica es un factor decisivo en cuanto a la ortografía. Se detectó un efecto principal de la modalidad de práctica (F(2.180)=9,99, p=,000), además de una interacción del factor tiempo modalidad de práctica (F(3,08, 277,24)=4,57, p=,004). El aprendizaje de nuevo vocabulario en francés escribiendo manualmente o mediante mecanografía dio lugar a mejores puntuaciones de ortografía. Este resultado se basa en las comparaciones múltiples post-hoc con respecto a la prueba posterior (p=,005) y con respecto a la prueba posterior aplazada (p=.015), en comparación con la realización de ejercicios de selección múltiple. Las puntuaciones obtenidas por los alumnos en las pruebas de escritura manual y de mecanografía ascienden a 76,51% (DE=14,69%) y 81,04% (DE=17,46%) en la prueba posterior y 73,66% (DE=16,91%) y 75,74% (DE=20,82%) en la prueba posterior aplazada; mientras que la condición de selección múltiple no obtuvo puntuaciones superiores a la media 67,43% (DE=21,00%) en la prueba posterior y 64,10% (DE=27,14%) en la prueba posterior aplazada (figura 3).

Es posible confirmar parcialmente la tercera hipótesis. Aprender vocabulario escribiendo las palabras da lugar a mejores puntuaciones en ortografía en comparación con ejercicios de selección múltiple. Concretamente, los alumnos que practicaron la escritura manual además de la condición de mecanografía tenían una mayor capacidad de escribir las palabras correctamente en comparación con aquellos que completaron los ejercicios de selección múltiple.

3.2.2. Diacríticos

La modalidad de práctica parecía tener una importancia esencial con respecto a la puntuación creciente con los diacríticos (tiempo de interacción importante modalidad de práctica, F(3,63, 326,47)=4,83, p=,00). En cuanto al uso correcto de diacríticos, compensa aprender palabras en francés como segundo idioma (L2), así como sus típicos diacríticos mediante la mecanografía en comparación con los ejercicios de selección múltiple. Las comparaciones múltiples demostraron las diferencias entre las condiciones de mecanografía y la de selección múltiple tanto en la prueba posterior (p=,00) como en la prueba posterior aplazada (p=,035), mientras que la condición de escritura manual no mostró ninguna diferencia importante con respecto a las otras condiciones. La prueba de mecanografía obtuvo una puntuación promedio de 66,68% (DE=25,09%) en la prueba posterior y la prueba posterior aplazada, mientras que la prueba de selección múltiple apenas obtuvo la mitad de los puntos (M=50,24%; DE=31,82%) (figura 4).

Estos resultados confirman parcialmente la hipótesis 4: la mejor alternativa para practicar el vocabulario en francés con respecto a la memorización de los diacríticos era la mecanografía en comparación con los ejercicios de selección múltiple.


Draft Content 364275384-54553 ov-es024.jpg

4. Discusión y conclusión

El estudio demuestra que cada uno de los tres grupos de práctica efectivamente adquirió vocabulario. Queda demostrado el efecto del aprendizaje con una duración mínima de 10 días, tanto si este se efectuó practicando el vocabulario con lápiz digital, usando el teclado de la pantalla o tachando la respuesta adecuada de las tres posibles respuestas. Algunos alumnos hacían movimientos de escritura en sus escritorios cuando memorizaban las palabras como una alternativa a escribir con lápiz en papel. Al igual que Mangen y Velay (2010) quienes afirmaron que los movimientos de escritura comportan la memorización de letras, esto podría suponer que la memorización y el acto psicomotor de escribir son parte del mismo proceso de representación.

Por el contrario, con respecto a las medidas productivas en cuanto a signos diacríticos y ortografía, se determinó que los alumnos que pasan más tiempo aprendiendo el vocabulario, ya sea escribiendo o mecanografiando, obtuvieron mejores puntuaciones con el paso del tiempo que el grupo de selección múltiple. Ninguno de los grupos tuvo conocimiento con antelación de la forma en la que se evaluaba su conocimiento de vocabulario, por lo que se deduce que los grupos a los que se asignó escribir y mecanografiar practicaron el vocabulario a un mayor nivel de procesamiento que el grupo de selección múltiple. Esta aseveración coincide con los estudios efectuados en torno a la adquisición de una segunda lengua (L2), que afirman que es menos eficaz hacer clic que mecanografiar (Heift, 2003). Asimismo, este estudio no ha podido demostrar la vaga contribución que los movimientos de escritura puedan tener sobre la memorización confirmada por diversos estudios sobre alfabetización y, en particular, estudios sobre escritura (Cunningham & Stanovich, 1990a; Mangen & Velay, 2010). Por otra parte, no hay ninguna diferencia significativa entre la práctica de vocabulario escribiendo a mano que mediante mecanografía.

Según el método de práctica, los alumnos obtuvieron mejores puntuaciones en la parte de selección múltiple de las pruebas, por lo que este método se caracteriza por su menor nivel de exigencia si se compara con el que implica escribir manualmente o mecanografiar. A pesar del esfuerzo por evitar que se pudieran adivinar resultados, es posible que los alumnos pudiesen adivinar algunos puntos para mejorar su posibilidad de obtener todas las respuestas correctas, ya que no había ninguna consecuencia negativa asociada a una respuesta incorrecta.

Hemos determinado la importancia de la modalidad de práctica, sin embargo, deberían tenerse en cuenta algunas limitaciones de esta investigación. Por ejemplo, la muestra no constó de estudiantes de francés como idioma extranjero con un nivel básico. En el sistema escolar flamenco, los alumnos asisten a los primeros cursos de francés cuando tienen 10 años y los participantes más jóvenes de la muestra ya contaban con alrededor de 2,5 años de francés en el colegio. No obstante, sí que se adaptaron a su nivel la dificultad del vocabulario, los ejercicios de relleno de huecos, así como las evaluaciones. Al contrario que las muestras de los estudios de Sturm (2006, 2010, 2012) y Gascoigne Lally (2000), las lenguas francesa y holandesa no difieren tanto como el francés y el inglés. El holandés ha adquirido una gran cantidad de palabras francesas, por lo que los flamencos y, por extensión, la totalidad de la población que habla holandés ya está acostumbrada a usar los siguientes acentos: ´(café), `(scène), ¨(reünie) y ^(gêne).

Referencias

Bax, S. (2003). Call. Past, Present and Future. System, 31(1), 13-28. https://doi.org/10.1016/S0346-251X(02)00071-4

Clark, A. (1998). Being There: Putting Brain, Body, and World Together Again. The Philosophical Review, 107, 4, 647-650. https://doi.org/10.2307/2998391

Cunningham, A.E., & Stanovich, K E. (1990a). Assessing Print Exposure and Orthographic Processing Skill in Children: A Quick Measure of Reading Experience. Journal of Educational Psychology, 82(4), 733-740. https://doi.org/10.1037/0022-0663.82.4.733

Cunningham, A.E., & Stanovich, K.E. (1990b). Early Spelling Acquisition: Writing Beats the Computer. Journal of Educational Psychology, 82(1), 159-162. https://doi.org/10.1037/0022-0663.82.1.159

Ducate, L., & Lomicka, L. (2013). Going Mobile: Language Learning with an Ipod Touch in Intermediate French and German Classes. Foreign Language Annals, 46(3), 445-468. https://doi.org/10.1111/flan.12043

Gascoigne, C. (2006). Explicit Input Enhancement: Effects on Target and Non-target Aspects of Second Language Acquisition. Foreign Language Annals, 39(4), 551-564. https://doi.org/10.1111/j.1944-9720.2006.tb02275.x

Gascoigne-Lally, C. (2000). The Effect of Keyboarding on the Acquisition of Diacritical Marks in the Foreign Language Classroom Lally. The French Review, 73(5), 899-907.

Heift, T. (2003). Drag or Type, But Don’t Click: A Study on the Effectiveness of Different CALL Exercise Types. Canadian Journal of Applied Linguistics, 6(3), 69-85.

Higashiyama, Y., Takeda, K., Someya, Y., Kuroiwa, Y., & Tanaka, F. (2015). The Neural Basis of Typewriting: A Functional MRI Study. Plos One, 10(7). https://doi.org/10.1371/journal.pone.0134131

Kiefer, M., Schuler, S., Mayer, C., Trumpp, N.M., Hille, K., & Sachse, S. (2015). Handwriting or Typewriting? The Influence of Pen-or Keyboard-based Writing Training on Reading and Writing Performance in Preschool Children. Advances in Cognitive Psychology, 11(4), 136-146. https://doi.org/10.5709/acp-0178-7

Little, J.L., & Bjork, E.L. (2015). Optimizing Multiple-choice Tests as Tools for Learning. Memory & Cognition, 43(1), 14-26. https://doi.org/10.3758/s13421-014-0452-8

Longcamp, M., Boucard, C., Gilhodes, J.C., & Velay, J.L. (2006). Remembering the Orientation of Newly Learned Characters Depends on the Associated Writing Knowledge: A Comparison between Handwriting and Typing. Human Movement Science, 25, 646-656. https://doi.org/10.1016/j.humov.2006.07.007

Longcamp, M., Boucard, C., Gilhodes, J.C., Anton, J.L., Roth, M., Nazarian, B., & Velay, J.L. (2008). Learning through Hand- or Typewriting Influences Visual Recognition of New Graphic Shapes: Behavioral and Functional Imaging Evidence. Journal of Cognitive Neuroscience, 20(5), 802-815. https://doi.org/10.1162/jocn.2008.20504

Longcamp, M., Zerbato-Poudou, M.T., & Velay, J.L. (2005). The Influence of Writing Practice on Letter Recognition in Preschool Children: A Comparison between Handwriting and Typing. Acta Psychologica, 119(1), 67-79. https://doi.org/10.1016/j.actpsy.2004.10.019

Mangen, A., & Velay, J.L. (2010). Digitizing Literacy: Reflections on the Haptics of Writing. In M. H. Zadeh (Ed.), Advances in Haptics (pp. 385-403). In Tech. https://doi.org/10.5772/8710

Mueller, P.A., & Oppenheimer, D.M. (2014). The Pen Is Mightier Than the Keyboard: Advantages of Longhand Over Laptop Note Taking. Psychological Science, 25 (April), 1159-1168. https://doi.org/10.1177/0956797614524581

Nicol, D. (2007). E-assessment by Design: Using Multiple-choice Tests to Good Effect. Journal of Further and Higher Education, 31(1), 53-64. https://doi.org/10.1080/03098770601167922

Paddick, R. (2015). Tablet Adoption Continues to Rise. (http://goo.gl/cR6vt0) (2015-09-15).

Piaget, J. (1952). The Origins of Intelligence in Children (Vol. 8). New York, NY: International Universities Press. https://doi.org/10.1037/h0051916

Simon, B., Anderson, R., Hoyer, C., & Su, J. (2004). Preliminary Experiences with a Tablet PC based System to Support Active Learning in Computer Science Courses. In ITiCSE ’04 (pp. 213-217). https://doi.org/10.1145/1007996.1008053

Smith, L., & Gasser, M. (2005). The Development of Embodied Cognition: Six Lessons from Babies. Artificial Life, 11(1-2), 13-29. https://doi.org/10.1162/1064546053278973

Stockwell, G. (2016). Mobile Language Learning. In F. Farr, & L. Murray (Eds.), The Routledge Handbook of Language Learning and Technology (pp. 296-307). Abingdon: Taylor and Francis Inc. https://doi.org/10.4324/9781315657899

Sturm, J.L. (2006). The Effect of Keyboarding and Presentation Format on the Recall of Accent Marks in L2 Learners of French. Working Papers in Tesol & Applied Linguistics, 6(2), 1-15. https://doi.org/10.7916/D8RX9BMS

Sturm, J.L. (2010). The Acquisition of Accent Marks in L2 French: The Effects of Keyboarding and Text Format. Proceedings of the Second Congrès Mondial de Linguistique Française, 1591-1606. https://doi.org/10.1051/cmlf/2010032

Sturm, J.L. (2012). Meaning and Orthography in L2 French. Writing Systems Research, 4(1), 47-60. https://doi.org/10.1080/17586801.2011.635950

Thelen, E., Schöner, G., Scheier, C., & Smith, L.B. (2001). The Dynamics of Embodiment: A Field Theory of Infant Perseverative Reaching. Behavioral and Brain Sciences, 24, 1-86. https://doi.org/10.1017/S0140525X01003910

Vanderhoven, E., Van Hove, S., & Anrijs, S. (2016). Er zijn steeds meer tablets op school, maar vele leraren wijzen op gebrekkige software en een falend wifinetwerk. [Schools are Increasingly Adopting Tablets, but many Teachers Point to the Poor Software and Insufficient Wi-Fi Networks] (http://goo.gl/7CskKF) (24/08/2016).

Varios (2015). Les accents et autres signes orthographiques. [Accents and other Orthographical Signs]. Espace Français. (http://goo.gl/VajbvY) (2015-09-20).

Wartella, E., Richert, R., & Robb, M.B. (2010). Babies, Television and Videos: How did we get here? Developmental Review, 30(2), 116-127. https://doi.org/10.1016/j.dr.2010.03.008

Webb, S. (2005). Receptive and Productive Vocabulary Learning: The Effects of Reading and Writing on Word Knowledge. Studies in Second Language Acquisition, 27(01), 33-52. https://doi.org/10.1017/S0272263105050023

Back to Top
GET PDF

Document information

Published on 31/12/16
Accepted on 31/12/16
Submitted on 31/12/16

Volume 25, Issue 1, 2017
DOI: 10.3916/C50-2017-05
Licence: CC BY-NC-SA license

Document Score

0

Times cited: 8
Views 146
Recommendations 0

Share this document

claim authorship

Are you one of the authors of this document?