International Journal of Applied Exercise Physiology


International Journal of Applied Exercise Physiology


Download 24.32 Mb.
Pdf просмотр
bet141/176
Sana05.12.2019
Hajmi24.32 Mb.
1   ...   137   138   139   140   141   142   143   144   ...   176

International Journal of Applied Exercise Physiology    

www.ijaep.com

                                          VOL. 8 (2.1)

 

 



                 

 

 



776 

 

 

 



 

resolving conflicts and 

arguments:  

determining the cause of 

conflict, resolving the conflict by 

finding common interests and 

aims/ 

 

 



4.2.  Scales of assessment 

With the view of the traditions in international foreign language exams and the exam of the Russian as 

a foreign language,  we selected five criteria for analytic assessment of oral  mediation (Analytical  Scales) in 

accordance with our research aims: interaction, discourse management, range, accuracy and pronunciation. 

In  addition,  we  used  the  Global  Achievement  Scale  (CEFR,  c.190),  which  shows  the  degree  to  which  the 

communicative aim was fulfilled.   

The descriptors for the Global Achievement scale, which represent cognitive and relational mediation 

skills, were adapted from the CEFR Companion Volume (2017, p. 101-128) (See Table 2). 

 

 

 



 

 

 



 

 Table 2: Global Achievement scale 

Skills 

Descriptors 



cognitive 

mediation 

How thoroughly is the text relayed? 

Band 5: Mediates complex texts. Renders nuances. Expands freely. The language is 

fluent and well-structured. Can vary styles while paraphrasing.  

Band 3: Passes on detailed information and arguments reliably, though  may  have 

problems  providing  shades  of  meaning.  Speaks  with  a  degree  of  fluency  and 

spontaneity. Can paraphrase, though problems may occur.  

Band 1: Mediates well-structured and clear texts on subjects that are familiar. Uses 

simple straightforward language. Expresses themselves with hesitation. May pause 

frequently. Paraphrases in a simple fashion.  

relational 

mediation 

How effective is the rapport with the audience? 

Band  5:  Works  effectively  as  a  mediator  helping  to  maintain  positive  interaction 

between interlocutors. Sensitive to different perspectives within a group. Tactfully 

and effectively steers the discussion towards a conclusion.  

Band  3:  Organizes/takes  part  in  the  discussion  though  not  always  elegantly. 

Develops other people’s ideas.  

Band  1:  Organizes/takes  part  in  the  discussion  in  a  simple  way.  Provides  simple 

examples.  

 

Both the Analytical and the Global Achievement scales contain descriptors for marks 1, 3 and 5 linked 



to CEFR levels B1, B2 and C1. Bands 2 and 4 are considered to be intermediate between the other two and 

are not described in the table. 

The components of communicative competence are represented in the Analytical Scales by the criteria 

of assessment  



International Journal of Applied Exercise Physiology    

www.ijaep.com

                                          VOL. 8 (2.1)

 

 



                 

 

 



777 

 

 

 



(1) language competence covers “range”, and “accuracy” and “pronunciation”; 

(2)  pragmatic  competence  (which  includes  discourse  competence,  functional  competence  and 

discourse planning) encompasses “interaction” and “discourse management”; 

(3)  the  part  of  sociolinguistic  competence  that  includes  the  skills  of  relational  mediation,  such  as 

creating a multicultural space and favorable conditions for interaction, is represented in both “interaction” 

and “accuracy” (e. g. when considering what grammar patterns or register to use). 

The components of pragmatic competence are described as follows.  

•Discursive competence is interpreted as familiarity with the rules of composing texts (the “discourse 

management” criterion). When used for purposes of mediation, this competence includes the ability to use 

mediation  strategies,  e.  g.  splitting  complex  elements  of  the  text  into  separate  parts  and  providing 

explanations  if  necessary.  Also,  the  statement  must  be  logically  coherent.  The  pragmatic  competence 

includes  the  ability  to  produce  long  or  short  turns  depending  on  the  aim  of  communication  (“discourse 

management” criterion). 

•Functional  competence  is  understood  as  the  ability  to  achieve  the  communicative  aim  using 

language functions and to find necessary language tools to compensate for insufficient range. Testees with a 

high  level  of  functional  competence  usually  speak  fluently.  This  competence  is  included  in  the  criterion 

“discourse management”. 

•Discourse  planning  competence  is  interpreted  as  the  ability  to  compose  a  coherent  statement 

according  to  communication  models.  In  the  “interaction”  criterion,  this  competence  is  represented  by  the 

ability to control interaction through turn taking, as well as the ability to support interaction by providing 

feedback and promoting cooperation. 

The  Global  Achievement  Scale  helps  to  answer  two  important  questions.  The  first  one  is  “How 

thoroughly is the text relayed?” or, in other words, how well the message is got across. The second question 

is “How effective is the rapport with the audience?”, or, how sensitive is the mediator to the needs of the 

communicants.  

We  assume  that  mediation  is  only  effective  if  the  testee  not  only  uses  the  necessary  skills  of 

transferring information and establishing rapport, but also demonstrates a certain level of general language 

and  communicative  competence.  For  instance,  difficulties  with  pronunciation,  grammar  and  vocabulary 

reduce the effectiveness of communication and may negatively affect the outcome of mediation. Because of 

that, the general mark for mediation should take into account all assessment criteria, which is possible if we 

use the Analytical Scales. It should be noted that cognitive mediation skills, or skills of working with a text, 

are part of the “discourse management” criterion, whereas relational skills are included in the “interaction” 

criterion. Assessment  using the  Global Achievement  scale evaluates  the answer as a  whole, as well as the 

success  in  achieving  the  communicative  aim  of  mediation.  The  Global  Assessment  scale  ensures  that 

assessment of the answer is complete.  

Assessment based on the scales developed in this study was conducted by three professional raters. 

Answers were recorded on electronic media and reassessed in order to provide a more accurate mark. One 

of the raters was assessing students while they were completing their task, the other two raters assessed the 

audio recording of the answer and had an opportunity to refer to the script. General language competence of 

each student was assessed on the basis of the Analytical Scales using the criteria “interaction”, “discourse 

management”, “range”, “accuracy” and “pronunciation”. The marks were decided upon by the raters

 

during 



the answer or immediately after it using the Analytical Scales; then the mediation skills were evaluated on 

the basis of the Global Assessment Scale. Both scales used the range of marks from 1 to 5, with 5 being the 

highest score. The maximum score for the Analytical Scale was 20 and for the Global Achievement Scale 5 

with descriptors provided for marks 1, 3 and 5.  



 

4.3.  Subjects and Material 

49  Management  students  with  B2  level  of  English  proficiency  participated  in  the  experiment.  They 

were  split  up  into  an  experimental  group  (EG;  24  students)  and  a  control  group  (CG;  25  students).  The 

development of skills of the experimental group was oriented towards mediation with the focus put upon 

the aim of communication and the strategies for achieving it.  


International Journal of Applied Exercise Physiology    

www.ijaep.com

                                          VOL. 8 (2.1)

 

 



                 

 

 



778 

 

 

 



In order to conduct the experiment it was necessary to determine the format of test tasks and the size 

of  discussion  groups  for  testing.  If  we  want  to  develop  the  ability  to  evaluate  the  needs  of  one’s 

communication  partner  or  partners,  or  an  ability  to  adjust  language  to  a  changing  situation,  we  have  to 

ensure the variety of language behaviour patterns and points of view presented for a discussion. In order to 

generate the necessary amount of ideas and provide a lively discussion, the group has to be comprised of 

several people, at lease 4 or 5, as we have established through practice. There is a practical side to this as 

well: if the study group amounts 12 to 15 students, then placing 4-5 students in a mini-group allows having 

three mini-groups thus creating an optimal environment for achieving the aims of the lesson.  

The  students had  35  to  40 minutes  to  complete  a  task,  which  provided  7  to  10 minutes  of  speaking 

time for each student. This amount of time was enough for the rater to assess the level of testee’s skills. A 

longer  duration  could  negatively  affect  the  rater’s  work,  because  of  the  amount  of  concentrated  effort 

required to conduct high-quality assessment; a longer time could also have a negative impact on the testee’s 

performance. 

Communicative  situations  are  differentiated  based  on  their  genre,  topic,  roles  of  participants,  style 

and aims, while the content of the tasks is determined by the studied subject. In our case the main topic is 

the management of  human resources, with related subtopics. As we already mentioned, there is a general 

demand  for  more  egalitarian  reationships  among  managers  in  general  and  among  personnel  managers  in 

particular. Therefore we assigned equal status to all participants of the modeled situations, thus giving them 

fair opportunities to demonstrate their language abilities. This choice also simplifies the task of the rater, as it 

is more convenient and practical to assess testees who play the same social role.  

The discussion topics were chosen specifically for the human resource management which is in line 

with the students’ specialisation. Table 3 presents the topics of discussions.  

 

 

 



 

 

 



 

 

 



 

 

 



Table 3. Topics and objects of control 

Exercise block 

Topic 

Objects of control 



Block 1 

Recruitment 

strategies 

 

type of class: familiarization with the discussion format  



 

textual aspect: introduction; defining the topic or the problem of 

the statement; rephrasing 

 

managing group work: ensuring adherence to the chosen format 



of interaction; organizing the beginning of interaction, setting its 

aim and summarizing the results; stimulating interaction 

 

taking  into  account  characteristics  of  the  audience  and  the 



situation: the ability to change style and difficulty level of speech;  

 

Block 2 



Payment for 

services  

Functional aspect:  

- generalizing and specifying, providing both general and specific 

examples 

- comparing and contrasting 



International Journal of Applied Exercise Physiology    

www.ijaep.com

                                          VOL. 8 (2.1)

 

 



                 

 

 



779 

 

 

 



- classifying 

- providing definitions of events/phenomena/objects 

 

Block 3 


Human resource 

management  

logical coherence:  

- arguing a point, showing causal links 

 

Block 4 


Personnel 

development; 

coaching 

Pronunciation, as well as accuracy and range of lexical resource 

and grammar patterns within B2 (CEFR) 

Block 5 


Group work 

supporting  interaction:  showing  interest  in  the  opinion  of  the 

interlocutor,  helping  them  develop  their  arguments  by  asking 

leading questions and providing constructive criticism; agreeing 

or  disagreeing  with  the  opinion  of  the  interlocutor,  taking  their 

opinion into account when developing your own argument 

Block 6 

Retention 

strategies 

Revision, self-control 

Test 

Leadership 



Discussion skills, oral mediation skills 

The  skills  presented  in  Table  3  can  all  be  employed  in  a  discussion.  Discussions  perfectly  suit  the 

educational  function  of  assessment,  because  they  allow  practicing  the  main  objectives  of  discourse  in  a 

managerial environment, such as providing employees with information, giving reasons and inspiring them 

(Zeldovich et al., 2001), as well as forming the necessary skills of professional rhetoric. During professional 

discussion students train techniques of capturing and holding the attention of their future business partners, 

e.  g.  comparing  “for”  and  “against”,  delegating  decision-taking  abilities,  predicting,  appealing  to  the 

experience  of  the  audience  and  others  (Ibid.).  Discussions  are  a  democratic  form  of  interaction,  in  which 

communicants  play  the  roles  of  equal  partners.  We  consider  this  factor  to  be  highly  stimulating  for  the 

students  and  to  have  a  high  educational  potential.  Finally,  the  discussion  as  a  genre  of  business  rhetoric 

combines elements of monologue and polylog (Azimov & Schoukin 2009, p. 64), which makes it especially 

important  for  assessment  purposes.  An  important  argument  in  favor  of  choosing  discussion  is  the 

spontaneity  of  speech  in  a  discussion,  determined  by  the  unpredictability  of  its  course.  The  spontaneous, 

unprepared  nature  of  the  discussion  is  a  definite  advantage  for  oral  assessment.  On  the  other  hand,  the 

presence  of  structure  and  composition  in  a  discussion  (introduction,  presenting  the  task,  step-by-step 

discussion  of  task  elements,  conclusion)  provides  the  testees  with  a  comfortable  way  to  achieve  the 

communicative  aims,  as well  as ensuring  that  the  rater  has a  good  scaffolding  for  assessment.  In  order  to 

demonstrate the  mediation skills defined  in the table  above as control objects,  we specify the task models 

providing  students  with  a  clue  how  to  build  up  their  discussions:  presenting  the  problem,  analyzing  the 

problem, discussing ways of solving the problem, coming to a conclusion. 

Model tasks and communicative situations are described in a generalized form in the table below. 

 

Table 4. Model tasks and situations 



Type 

Discussion 

Style 

Neutral, official 



Students’ roles 

Personnel managers, equal status 

Topic 

Human resources; educating the workforce; coaching; teamwork; recruitment 



strategies 

Function 

Setting and analyzing the problem, discussing solutions, making a decision 

Form  of  interaction; 

number of testees  

Group, 5 – 6 people 

Duration of the task 

35 minutes 

 


International Journal of Applied Exercise Physiology    

www.ijaep.com

                                          VOL. 8 (2.1)

 

 



                 

 

 



780 

 

 

 



Two  suitable  discussion  scenarios  were  chosen:  brainstorming  and  linear.  The  main  difference 

between the two types is the number of ideas in the exposition.The discussions followed the structure: 

A. Brainstorming 

1.  Setting the tasks 

Exposition: brainstorming in order to generate a large number of ideas that can potentially achieve the 

aim of the discussion. 

Choosing one or several ideas. 

Developing the idea (or ideas) 

Coming to a conclusion. 

B. Linear 

1. Defining the aim of the discussion 

2. Exposition: proposing an idea for discussion. 

3. In-depth discussion of the idea. 

4. Coming to a conclusion. 

 

 


International Journal of Applied Exercise Physiology    

www.ijaep.com

                                          VOL. 8 (2.1)

 

 



                 

 

 



781 

 

 

 



Results 

The  data  collected  were  divided  into  four  blocks:  diagnostic  test  in  EG,  diagnostic  test  in  CG, 

achievement  test  in  EG,  Achievement  test  in  CG.  Diagnostic  tests  were  taken  before  the  experimental 

teaching period, achievement tests – after it. 

The aim of analysis was (1) to evaluate the accuracy and reliability of our experimental testing; (2) to 

determine the efficiency of oral mediation in the group discussion task set; (3) to compare the efficiency of 

evaluating  based  on  the  “mediation”  criterion  with  other  oral  criteria  in  group  discussions;  (4)  to  link  the 

difficulty level of test tasks with the skill level of students.  

The  tests  results  were  analyzed  statistically.  We  analyzed  the  tests  using  the  Excel  and  ITEMAN 

(http://www.assess.com/iteman/) applications. Results are presented in Table 5. 

 

Table 5. General measurements of the experimental test results (based on the average of three raters) 



№ 

Measurement 

Method of 

calculation 

Diagnostic test 

Achievement test 

EG 

CG 


EG 

CG 


Number of people 

none 

24 


25 

24 


25 

Mean score (out of 30)  



Excel 

20.63 


17.35 

21.11 


17.54 

Mode 



Excel 

18.33 


15.00, 

18,00 


18.67 

20.00 


Median 


Excel 

19.17 


17.67 

21.17 


17.50 

Standard deviation 



Excel 

4.03 


1.88 

3.40 


2.40 

Skew 



Excel 

0.32 


-0.02 

0.13 


-0.07 

Kurtosis 



Excel 

-1.02 


-1.22 

-0.95 


-1.41 

Min. Score / 



 Max. Score 

none 


13.00 / 

27.00 


13.00 / 

22.00 


14.00 / 

25.00 


14.00 / 

21.00 


Mean Item 

ITEMAN 

3.43 


2.89 

3.69 


2.92 

10 


Alpha 

ITEMAN 


0.95 

0.90 


0.94 

0.83 


11 

SEM (error of measurement) 

ITEMAN 

1.00 


1.02 

0.97 


1.01 

 

Here the Skew is the asymmetry of normal distribution.  (Fig.1, 2) 



 

Figure 1 -  Right-hand asymmetry, As>0 

 

Fig. 2 – Left-hand asymmetry, As<0 



The  asymmetry  shows  the  level  of  task  difficulty  for  the  population  of  test-takers.  Right-hand 

asymmetry characterizes difficult tests, left-hand asymmetry – easy tests.  



The  Kurtosis  shows  the  sharpness  or  flatness  of  the  distribution  curve  (Fig..3).  Zero  kurtosis 

corresponds to normal distribution.  

 


International Journal of Applied Exercise Physiology    

www.ijaep.com

                                          VOL. 8 (2.1)

 

 



                 

 

 



782 

 

 

 



 

Fig, 3 – Kurtosis (Е) 

 

Kurtosis > 0 characterizes the homogeneity of the population. 



We can interpret the received data as follows.  

High Alpha values prove the inner consistency of chosen characteristics (Table 5, № 10). SEM doesn’t 

exceed 1.02, (Table 5, № 11) indicating that test results are reliable. 

Considering the minimum and maximum scores (Table 5, № 8), a comparison of standard deviation 

values (Table 5, № 8) shows a higher uniformity of the control group compared to the experimental group. It 

should be noted that in the final test both groups had a more uniform skill level, as indicated by the lower 

standard deviation values in both groups.    

Another indicator of the heterogeneous composition of groups is the uniform character of distribution, 

which we can infer from a small negative kurtosis (Table 5, № 7).  

The absolute skew value is insignificant in both groups, never exceeding /0.32/ (Table 10, № 6). It is 

positive  in  the  experimental  group  and  negative  in  the  control  group,  i.e.  the  experimental  group 

distribution  has  a  longer  right  tail,  and  the  control  group  distribution  has  a  longer  left  tail.  This  might 

indicate the presence of several highly proficient students in the experimental group. 

All  in  all,  a  certain  difference  in  levels  of  the  two  groups  should  be  acknowledged.  However,  this 

difference does not exceed 0.54 points in the diagnostic test and 0.77 in the achievement test (Table 5, № 9). 

A difference of this size can be considered insignificant for the purposes of our experiment.  

We used the ITEMAN application to calculate statistical characteristics of «mediation», as well as the 

analytical criteria: «interaction», «discourse management», «range», «accuracy» and «pronunciation». 

 

Table 6. Statistical measurements of test results in the experimental group 



 

№ 

 



Data set 

Mean mark 

Correlation 

with the 

general mark 

(Total R) 

Alpha 

Alpha 


w/o 

Mediation 



3,21 



0,83 

0,95 


0,94 



 (δ) 

3,83 


(0,63) 

0,81 


(-0,02) 

0,94 


0,93 

Interaction 



3,46 



0,91 

0,95 


0,93 



 (δ) 

3,96 (0,50) 

0,87 

(-0,04) 


0,94 

0,92 


Discourse 

management 



3,46 



0,93 

0,95 


0,93 



 (δ) 

3,96  


(0,50) 

0,87 


(-0,06) 

0,94 


0,92 

Range 


3,50 



0,88 

0,95 


0,94 



3,33 

0,85 


0,94 

0,93 

1   ...   137   138   139   140   141   142   143   144   ...   176


Ma'lumotlar bazasi mualliflik huquqi bilan himoyalangan ©fayllar.org 2019
ma'muriyatiga murojaat qiling