Challenges in Partially Automated Driving : A Human Factors Perspective

Abstract

The technological development in recent years is currently reflected in the implementation of more and more advanced driver assistance systems (ADAS). A clear example is found in the automated driving systems being marketed today. Some of these systems are capable of controlling crucial driving tasks such as keeping the vehicle within the lane or maintaining speed and the distance with the front vehicle constant. While this technology is still not mature enough to allow fully autonomous driving, current systems allow partially automated driving, or Level 2 (SAE, 2016). Level 2 automation enables feet-free, and for short periods hands-free driving, under specific situations. Yet, the driver is still expected to monitor the road and the system and be ready to intervene when required by the system. Regarding this, studies from the driving and other domains have warned about potential performance problems associated with placing operators in such monitoring role. Factors such as vigilance decrements or proneness to engage in other activities have been proposed to explain these problems; however, their role in the context of Level 2 automation remains to be further investigated. In this context, the main aims of this thesis were to understand the attentional effects of monitoring a Level 2 automated system and to investigate drivers’ strategies to integrate additional tasks while using such system. In particular, the following research questions were established: 1) Does monitoring a Level 2 system affect driver attention after short driving periods?; 2) Does Level 2 automation facilitate the performance of additional tasks?; 3) How do drivers integrate additional tasks into their monitoring responsibilities, and how is that influenced by automation trust and experience?. A complementary aim of this thesis was to explore the applicability of the event-related potentials (ERPs) technique to detect the effects of different types of ADAS, i.e. Level 2 automation and a visual in-vehicle information system (IVIS), on drivers’ attention and on specific processing resources. Three studies were conducted to address the aforementioned research questions. In Study I and III, the participants were asked to drive Level 2 automated and manually while performing an auditory oddball task (Study I) or a visuomotor task (Study III). In Study II, the participants were instructed to perform a computer tracking task with or without the support of an artificial visual IVIS while executing a secondary auditory oddball task. Measurements included performance indicators from the primary and secondary tasks, as well as subjective and psychophysiological measures. ERPs (N1 and P3 amplitude and latencies) elicited by the auditory oddball task were used to assess the participants’ attentional resource allocation. Glance behaviour was also recorded to analyse drivers’ visual monitoring strategies in Study III. In addition, subjective measures of mental workload, vigilance or automation trust were collected. Last, driving parameters such as speed, time spent on the left lane or number overtakings were used to account for driving strategies to integrate an additional task while driving Level 2 automated or manually (Study III). As hypothesized, monitoring a Level 2 automated system for short periods led to lower perceived demands and to reductions in the allocation of attentional resources to the auditory oddball task, as shown by lower amplitudes in the P3 component (Study I). In Study III, driving Level 2 automated led to worse performances on an additional visuomotor task, compared to when driving manually, which contradicted our expectations. Additionally, when the system was active, drivers tended to look less to the road and more to the dashboard; however, only drivers with automation experience or who perceived the system as more robust increased their visual attention to the additional task. Furthermore, the results from Study II showed that some specific ERPs parameters, namely N1 latency and P3 amplitude, were also sensitive to the demands of IVIS while performing the tracking task. Based on previous studies (Young and Stanton, 2002), the lower attentional resource allocation observed in Study I could reflect a cognitive underload effect induced by the Level 2 automated driving. Cognitive underload is proposed as one of the explaining mechanisms for the observed worse performances in the additional visuomotor task during the automated conditions in Study III. However, other effects such as overload or task interferences could also explain this. Finally, the results revealed by the ERPs in Studies I and II suggest that this could be a useful technique to detect alterations in drivers’ attention due to the excessive high or low demands placed by different ADAS. ERPs also showed a greater diagnosticity than other measures in the detection of specific task requirements of perceptual and cognitive resources. Thus, ERPs may be useful as a complementary tool to other mental workload measures. Given that drivers need to remain attentive at all times while interacting with a Level 2 automated vehicle, the use of countermeasures to mitigate the negative attentional effects reported in this thesis is highly recommended. Specific training programs enhancing drivers’ knowledge of the system or the implementation of systems that inform about the system reliability or detect inadequate driver states could be promising solutions. Ägare av fordon med nivå 2-automation har nu möjlighet att köra utan att använda pedalerna, och under korta perioder, även utan att behöva styra i specifika trafiksituationer. Emellertid förblir de fortfarande ansvariga för att kontinuerligt övervaka den omgivande trafikmiljön liksom det automatiserade systemet. Även om automatiserade fordon har potential att öka säkerheten, har tidigare studier visat på betydande problem förknippade med förares svårigheter att övervaka automatiserade system en längre tid. Denna avhandlings huvudsakliga syfte var att förstå vilken inverkan nivå 2- automatiserad körning har på förares uppmärksamhet och beteende under två situationer: a) då föraren övervakar trafiken och systemet, b) då föraren övervakar trafiken och systemet, och samtidigt utför en sidouppgift av visumotorisk karaktär. Dessutom undersöktes även vilken inverkan tillit till och erfarenhet av nivå 2-automation hade på förarens övervakningsstrategier av och användning av systemet. Ett ytterligare, kompletterande syfte med denna avhandling, var att undersöka användbarheten av event-related potentials (ERP) -tekniken för att bättre kunna detektera eventuella förändringar som förknippas med nivå 2-automation. Specifikt analyserades N1 och P3 ERP-komponenterna. Dessutom användes denna teknik i avhandlingen för att upptäcka ökning av den mentala arbetsbelastningen i samband med förarens interaktion med andra vanliga stödsystem, exempelvis fordonets informationssystem. Tre olika studier genomfördes. I Studie I (simulatorstudie) observerades att körning med nivå 2- automation under korta perioder medförde generella minskningar av uppmärksamhetsresursallokering. Denna effekt upptäcktes som en minskning av amplituden hos P3-komponenten, framkallad av utförandet av en sekundär auditiv uppgift. I Studie III (på väg) upptäcktes sämre prestation på en sidouppgift av visumotorisk karaktär under körning med nivå-2 automation jämfört med manuell körning. Det observerades även att förare med större erfarenhet av systemet och/eller högre skattningar av systemets robusthet, tenderade att titta mindre på vägen och mer på sidouppgiften. Slutligen, i Studie II (laboratoriestudie), upptäcktes att ERP var användbart för att detektera ökningar av krav associerade med utförandet av en datoradministrerad spårningsuppgift, baserad på ett artificiellt visuellt IVIS. I allmänhet tyder resultaten i denna avhandling på att nivå 2-automation kan leda till kognitiv underbelastning, en effekt som tidigare har observerats i högre grader av automation. Nedsättning av uppmärksamhet, beroende på kognitiv underbelastning, kan förklara de sämre prestationerna på sidouppgiften under körning med nivå 2-automation som observerades i studie III. Dock behöver resultatet undersökas ytterligare eftersom andra effekter, som överbelastning eller specifik uppgiftskonkurrens, också kan ha skett. I enlighet med avhandlingens kompletterande syfte, uppvisade användningen av ERP, som ett komplementärt verktyg till andra sätt att mäta mental arbetsbelastning, lovande resultat. ERP kan användas för att upptäcka ytterligare effekter av olika stödsystem, som antingen ökar eller minskar de krav som ställs på föraren. Nu finns fordon med nivå 2-automation på vägarna. Trots detta är vissa säkerhetsproblem, förknippade med deras effekter på förarens förmågor och beteende, fortfarande olösta. Det är därför nödvändigt att insatser görs för att mildra sådana problem så att framtida incidenter i trafiken kan förhindras i så stor utsträckning som möjligt. Förhoppningsvis bidrar denna avhandling till att öka förståelsen för de verkliga effekterna av nivå 2-system på förare och uppmuntrar till fler framtida studier inom området.