L’usage et l’abus des ordinateurs dans le domaine de l’éducation:Evidence d’une experimentation contrôle en Colombie

Felipe Barrera-Osorio, World Bank

Leigh L. Linden, Columbia University

Motivation1. Plusieurs initiatives en technologies de l'information et des

communications (TIC) dans le mondeA. L’usage de l’ordinateur personnel augmente de 24% chaque

année (depuis l'année 2000) dans les pays à faible revenu et de 20% dans les pays à revenu intermédiaire

B. Les utilisateurs d'Internet augmente de 63% et de 46% par an dans les pays à faible et moyen revenus, respectivement,

C. La Banque Mondiale estime qu'elle a financé plus de 3 milliards de dollars de projets TIC dans les cinq dernières années

2. Plusieurs pays étendent la distribution d'ordinateurs dans les écoles

3. Plusieurs pays d'Afrique, d'Asie et d'Amérique latine envisagent des programmes de distribution des ordinateurs a 100 $

4. Il y a très peu de recherches systématiques et de données précises sur l'impact et l'utilisation des TIC en éducation

Le programme

1. Le programme a débuté en Mars 2002 par le ministre de la Communication

2. Objectif de remise à neuf des ordinateurs offerts par le secteur privé pour les installer dans les écoles publiques

3. Le programme a aussi forme des enseignants, en particulier dans le domaine des langues.

4. Depuis sa création, le programme a reçu 114,541 ordinateurs, rénové 73,665 qui ont été installés dans les écoles publiques de 6,386 dans 1,018 municipalités. La prestation couvre 83.092 enseignants et plus de 2.000.000 élèves.

Le programme (cont.)

1. Le programme avait une composante formation administrée directement dans les écoles pour une période de 20 mois.

2. L’intervention a eu deux phases:

A. La phase initiale a dure 8 mois: distribution et adaptation dans les écoles

B. La deuxieme phase: formation des enseignants

Le programme

1. Deuxième phase: A. Durée d'un an

B. Il est développé par différentes universités locales

C. Former les enseignants et les coordonnateurs sur la relation entre la technologie et l'apprentissage.

a. Appui a la qualité de l'éducation des enfants dans les domaines essentiels grâce à l'intégration des TIC dans les projets pédagogiques

b. Encourager l'apprentissage collaboratif, la créativité et la confidence des enseignants et des élèves a travers l'intégration des TIC dans leurs processus pédagogique

D. La formation théorique et pratique est donné durant plusieurs séminaires et visites dans les écoles.

Conception de l’ évaluation

1. Nous avons mis une loterie au début du mois d'août 2006 sur un ensemble de 100 écoles bénéficiaires potentiels, 50 bénéficiaires et 50 non-bénéficiaires100 écoles proviennent d'une liste qui remplissaient les critères suivants.

2. La liste a été concentré par la situation géographique:

A. nous avons choisi les écoles dans la partie nord du département d'Antioquia, Caldas, Choco, Cordoba, y Quindio Risaralda.

B. l'échantillon école de 80 élèves ou plus.

Conception de l’évaluation (cont.)1. Les données ont été recueillies lors de l'enquête de

base/référence réalisée immédiatement après la randomisation

A. Elle a été menée entre le 14 août et Septembre 29, 2006B. 49 écoles de contrôle et de traitement de 48 écoles

2. Une enquête de suiviA. Mai et Juin 2008, 97 mêmes écoles.B. Sur les 13,598 élèves de départ, 5,373 élèves sont sortis de

l'échantillon, car au départ ils étaient en 10eme ou 11emeC. L'échantillon final: parmi les 5.201 éleves dans le panneau,

3.015 éleves ont été perdu (taux d'attrition de 37%).

3. La collecte d'informations a été faite directement à l'école durant une visite à l'improviste.

Conception de l’évaluation (cont.)1. Trois interventions différentes ont été appliqués aux éleves,

enseignants et directeurs de l'école.

2. Tous les élèves de la 3ème à la 11ème année, présents à l'école au moment de la visite scolaire.

3. Variables: caractéristiques socio-économiques (âge, sexe, structure familiale, le nombre de frères et sœurs, le statut professionnel, et les indemnités, entre autres); les résultats scolaires (participation la semaine precedente, le nombre d'heures d'étude en dehors de l'école, les notes en mathématiques et langue, répétition et périodes d'abandon dans le passé, entre autres), et l'attitude envers l'école et le contenu des classes.

4. Test standardisé: une version courte de l’examen national test Saber

Estimation

1. Comme un assignement aléatoire a été utilisé, le modèle est utilisé est simple:

ijijjij XTY 210

Estimation

1. De façon à traiter les problèmes d’attrition:

ijjijijjij TAttritAttritTY *3210

Validation: Balance de l’enquête de référence

Table 2: Average Characteristics of Students Completing Baseline SurveyTreatment Control Difference

Characteristics Average Average

Panel A: Test ScoresLanguage score 0.06 -0.01 0.07

(0.09) (0.08) (0.12)Math score 0.04 -0.02 0.06

(0.08) (0.08) (0.11)Total score 0.07 -0.02 0.08

(0.10) (0.09) (0.13)Panel B: Demographic Characteristics

Gender 0.51 0.52 -0.02(0.01) (0.02) (0.02)

Age 12.05 11.85 0.20(0.26) (0.35) (0.43)

N. parents in the household 1.55 1.59 -0.04(0.02) (0.02) (0.03)

N. siblings 3.77 4.03 -0.27(0.20) (0.18) (0.27)

Receives allowance 0.76 0.72 0.04(0.02) (0.03) (0.03)

N. friends 17.88 15.52 2.36(1.79) (1.16) (2.12)

Hours of work 6.50 7.58 -1.08(0.37) (0.76) (0.84)

Validation: Balance de l’enquête de référence (cont.)

Panel C: Academic VariablesTransport time to school 2.43 2.41 0.02

(0.05) (0.07) (0.08)Attended school last year 0.97 0.97 0.00

(0.00) (0.01) (0.01)Have repited some year 0.35 0.36 -0.01

(0.02) (0.02) (0.02)N. days she did not attended 2.07 1.89 0.18

(0.10) (0.13) (0.16)Failing subject 0.37 0.35 0.03

(0.02) (0.02) (0.03)Stays at school after classes 0.09 0.12 -0.032*

(0.01) (0.02) (0.02)Talks to teacher outside class 0.62 0.70 -0.082**

(0.02) (0.03) (0.03)N. hours study outside school 1.45 1.33 0.112*

(0.05) (0.04) (0.06)

Validation: attritionTable 3: Comparison of Attriting Students by Baseline Characteristics

Treatment Control DifferenceCharacteristics Average Average

Percentage of Baseline Students 0.353 0.382 -0.029(0.031)

Panel A: Test ScoresLanguage normalized score 0.012 -0.018 0.03

(0.06) (0.08) (0.10)Math normalized score 0.049 -0.047 0.095

(0.10) (0.08) (0.12)Total normalized score 0.039 -0.039 0.078

(0.09) (0.09) (0.13)Panel B: Demographic Characteristics

Gender 0.527 0.526 0.002(0.02) (0.02) (0.03)

Age 12.527 12.328 0.199(0.26) (0.36) (0.44)

N. parents in the household 1.458 1.516 -0.058(0.03) (0.03) (0.04)

N. siblings 3.88 4.101 -0.222(0.18) (0.18) (0.25)

Receives allowance 0.762 0.702 0.060*(0.02) (0.03) (0.03)

N. friends 17.823 14.533 3.29(1.63) (1.22) (2.02)

Hours of work 7.343 8.286 -0.944(0.54) (0.91) (1.06)

Attritors

Résultats: Notes aux examens, général

Table 5: Follow-Up Test Scores

Treatment Control Treatment ControlTest Sections Average Average Average Average

Spanish Section 0.42 0.402 0.017 0.015 0.099 0 0.099 0.077(0.014) (0.013) (0.019) (0.015) (0.071) (0.059) (0.092) (0.076)

Math Section 0.238 0.23 0.008 0.014 0.014 0.07 0.07 0.088(0.018) (0.011) (0.021) (0.019) (0.019) (0.098) (0.110) (0.109)

Total Score 0.334 0.321 0.013 0.015 0.015 0.111 0.111 0.109(0.014) (0.011) (0.018) (0.015) (0.015) (0.096) (0.116) (0.104)

Percentage Correct Normalized ScoreDifference w/ Cntrls

Difference w/ Cntrls

Difference Difference

Résultats: Notes examens, genreTable 7: Difference in Test Scores by Gender at Follow-Up

Treatment Control Difference DifferenceTest by sections Average Average w/ ControlsPanel A: Female Students

Language score 0.146 0.051 0.095 0.069(0.077) (0.066) (0.101) (0.087)

Math score 0.088 -0.039 0.127 0.143(0.117) (0.047) (0.125) (0.122)

Total score 0.155 0.017 0.138 0.136(0.110) (0.065) (0.127) (0.115)

Panel B: Male StudentsLanguage score 0.055 -0.047 0.102 0.087

(0.072) (0.065) (0.096) (0.079)Math score 0.051 0.035 0.016 0.027

(0.087) (0.063) (0.107) (0.107)Total score 0.068 -0.015 0.083 0.079

(0.091) (0.076) (0.118) (0.102)

Résultats: Notes aux examens, par niveau

Table 8: Difference in Test Scores by Grade at Follow-Up

Test by Sections 3 4 5 6 7 8 9

Spanish Section 0.139 0.115 0.047 0.092 -0.020 -0.257*** 0.302**(0.157) (0.140) (0.160) (0.115) (0.158) (0.098) (0.134)

Math Section 0.170 0.225 0.125 -0.042 0.029 -0.186 0.355**(0.226) (0.213) (0.237) (0.158) (0.164) (0.151) (0.160)

Total Score 0.189 0.215 0.133 0.032 -0.007 -0.298*** 0.426***(0.225) (0.168) (0.241) (0.145) (0.175) (0.111) (0.138)

Grade in 2006

Résultats: autres résultatsTable 10: Difference in Other Academic Outcomes at Follow-Up

Treatment Control DifferenceCharacteristics Average Average

Attended school last year 0.96 0.94 0.02(0.01) (0.01) (0.02)

Did not attend school last week 0.246 0.37 -0.124*(0.02) (0.07) (0.07)

N. days she did not attended 1.793 2.064 -0.271(0.11) (0.21) (0.24)

Likes school 0.977 0.973 0.004(0.00) (0.00) (0.01)

Likes contents at school 0.987 0.986 0.001(0.00) (0.00) (0.00)

Grade report 4.023 4.095 -0.072(0.05) (0.04) (0.06)

Failing subject 0.396 0.365 0.03(0.03) (0.03) (0.04)

Stays at school after classes 0.064 0.093 -0.028*(0.01) (0.01) (0.02)

Talks to teacher outside class 0.647 0.657 -0.009(0.02) (0.03) (0.04)

Hours of work 8.185 9.92 -1.735**(0.49) (0.61) (0.78)

Alors, pourquoi n’avons-nous pas trouvé d’effet?

1. HypothèsesA. Les ordinateurs not pas d’impact sur

l’éducation

B. La mise-en-oeuvre du programme a des problèmes

C. Les professeurs n’utilisent pas les ordinateurs

Utilisation des ordinateursTable 9: Teachers' Reported Utilizaton of Computers at Follow-Up

Treatment Control DifferenceVariables Average AverageDid you use computer last week? 0.42 0.17 0.246***

(0.08) (0.04) (0.09)How many times last week did you?

Use a computer in relationship to your classes 0.88 0.39 0.488**(0.19) (0.11) (0.22)

Use a computer for group work in class 1.48 1.44 0.03(0.18) (0.26) (0.31)

Use a computer for lectures 0.87 0.68 0.19(0.28) (0.14) (0.31)

Use a computer for class excercises 1.55 1.04 0.52(0.23) (0.24) (0.33)

Use a computer in class for Internet research 0.75 0.32 0.43(0.33) (0.12) (0.35)

Allowed class free use of the computeres 1.30 0.89 0.41(0.32) (0.25) (0.40)

Requires use of a computer for homework 2.31 3.00 -0.69(0.30) (0.51) (0.58)

Math teachers

Utilisation des ordinateurs, suiteTable 11: Fraction of Schools Reporting Computer Use at Follow-Up by Grade

Treatment Control DifferenceGrade Average Average

Third 0.45 0.25 0.202**(0.07) (0.06) (0.10)

Fourth 0.43 0.27 0.160*(0.07) (0.06) (0.10)

Fifth 0.36 0.27 0.10(0.07) (0.06) (0.10)

Sixth 0.09 0.02 0.07(0.04) (0.02) (0.05)

Sevent 0.06 0.06 0.00(0.04) (0.04) (0.05)

Eight 0.04 0.06 -0.02(0.03) (0.04) (0.05)

Ninth 0.04 0.04 0.00(0.03) (0.03) (0.04)

Tenth 0.02 0.02 0.00(0.02) (0.02) (0.03)

Eleventh 0.02 0.02 0.00(0.02) (0.02) (0.03)

Math teachers

Utilisation des ordinateurs: la versions des élèves

Table 12: Student Reported Computer Utilization in Previous Week at Follow-Up

Treatment Control DifferenceAverage Average

Did you use a computer last week? 0.66 0.41 0.252***(0.04) (0.05) (0.06)

Where did you use a computer last week?at school 0.57 0.27 0.300***

(0.04) (0.06) (0.07)at home 0.04 0.05 -0.01

(0.01) (0.02) (0.02)at an internet café 0.08 0.07 0.00

(0.04) (0.03) (0.05)at a friends home 0.02 0.03 -0.01

(0.00) (0.01) (0.01)In which subjects did you use a computer?

Mathematics 0.03 0.02 0.01(0.01) (0.01) (0.01)

Spanish 0.04 0.03 0.02(0.01) (0.01) (0.02)

Natural Sciences 0.03 0.03 0.00(0.01) (0.01) (0.01)

Social Sciences 0.02 0.02 0.00(0.01) (0.01) (0.01)

Computer Science 0.51 0.21 0.294***(0.05) (0.05) (0.07)

Art 0.02 0.02 -0.01(0.00) (0.01) (0.01)

All Students

Utilisation des ordinateurs: la version des élèves (suite)

Table 12: Student Reported Computer Utilization in Previous Week at Follow-Up

Treatment Control DifferenceAverage Average

What was the purpose of your computer use?to make friends? 0.03 0.03 0.00

(0.01) (0.01) (0.01)playing games? 0.07 0.05 0.02

(0.02) (0.01) (0.02)to learn? 0.40 0.20 0.202***

(0.03) (0.03) (0.05)conducting research? 0.17 0.10 0.069*

(0.03) (0.02) (0.04)doing homework? 0.20 0.14 0.06

(0.02) (0.03) (0.04)

All Students

Conclusions

1. Premièrement, le programme augmente le nombre d’ordinateur et l’utilisation des écoles

2. Par contre, l’utilisation des ordinateurs est limité aux classes d’informatique.

3. Malgré les efforts investis pour mettre en oeuvre un programme qui permette l’utilisation des ordinateurs pour la pédagogie, il n’y a aucune preuve que ce fut le cas.

4. Le programme n’a aucun impact sur un plus grand ensemble de variables

5. Les ordinateurs seulement, sans changements réels dans les méthodes pédagogiques, n’ont pas d’impact sur les résultats scolaires