Comparing the Predictive and Classification Performances of Logistic Regression and Neural Networks: A Case Study on Timss 2011

Comparing the Predictive and Classification Performances of Logistic Regression and Neural Networks: A Case Study on Timss 2011

Available online at www.sciencedirect.com ScienceDirect Procedia - Social and Behavioral Sciences 106 (2013) 667 – 676       ...

362KB Sizes 0 Downloads 13 Views

Available online at www.sciencedirect.com

ScienceDirect Procedia - Social and Behavioral Sciences 106 (2013) 667 – 676

       !  "#  

$%  &%    %$  &&   #  '(  #) $  *)'#$" +' ,-.# ) /' %0 

          !"            !" 

  &  &  # 1 $   %%      #  #2 % )-3      4 $     #)34   $  $ $    $     # 2    #)-  %      %$   & &  

#  ' $%  )$%     0  # 1$ $  $  3#')2+&- &      0) 34   $  5 &  #  #  '    &-  #    &-     $ -  & & $ -0#   -$#  #-   %  0 24  &   $&$ #  %     2   $ # -# 1   #  $ $%$ $  $ 2  63+#2#0 0)" 72 © 2013 The Authors. Published by Elsevier Ltd.    % # % 0 )3+    -"#   3  &) 3+ "3- ' )  Selection and peer-review under responsibility of The Association of Science, Education and Technology-TASET, Sakarya Universitesi, 8 -3#')2 Turkey. 9)(34 - #  '- && 

    "#  % )$ '&  0  $   0#$    &# : $ 2    - 0    $   #  0 #  $  & #  %0 $   ) &   #   $%  ;# )  #   )$2 *    $$   )  ;#  $    $  # &   0   0 # 3     4 $     #)34 2 34    &     $%   #)  % ##   $   0# #   $      & <% )$ '-# - - %  4  -4# -   -/ ! !- $-=9 )->>?23 <   ##34   $    ,%  & #23 2(@>A?>AB??>C <(@>5 #$% &)'#$ D&$  2$

1877-0428 © 2013 The Authors. Published by Elsevier Ltd. Selection and peer-review under responsibility of The Association of Science, Education and Technology-TASET, Sakarya Universitesi, Turkey. doi:10.1016/j.sbspro.2013.12.076

668

Oykum Esra Askin and Fulya Gokalp / Procedia - Social and Behavioral Sciences 106 (2013) 667 – 676

$%    # 1 $ 2 E  $ #  &        #   F  !- #   ## #$  &   $   $   %  #- C &  C 0CE0 .CE$

-$# #  1  # #    -  &<% -;#    #%   %

 &   +'0 - 73   0  ?C G - +0   - #$     C #' 7#;#CHI&   C 4     )CE$

2 #     #  &- & -  $ ) 0 '&#  2&2- %    #    -  $- " -

#$0  0'  $-  #   $%        $  +)% )- "J   K! ?C #$-     5C E$

 C AC L )   0J #2       $   0  %%        &     % 0    $   0  # 1 $ 2 E   %  %$    $     &-  & 

#$0   ;#      $  &    & #     2 M$  N #  ?2 -   '##  $  & 34   2 % %-

'      $  & $C & &  7M  #  ' -  #2       # &  7M     )  $%           # 1 $ -  #)  $%  & %0) #  &%     %$ 7M &  2   -$  % % 00   &($ &     $ 0)# &34 #)  3#'5& # $% %       $0   $  & 2    1.1%    7M  %%#   $  &$ $0  0     0) ' &#    % 0    /#=.& -> ) 0  %%  $ ) #  - - &# #  &  &2   7M $-    $ &#  -  # )  $0  $  %$         #   #$ $%   &  %F  # )2     )-  ;#    %%   #%$ 0)    0 %2     ) - # #   % )    &   #   #2 3 &  < $%   3#'  #-  % %#   $  &$   )#  % $ #   &     ' $%       %  $   $  0) O - 8P   G   2 +  $  0-#) 34 3#')   %%# $- $ )7M  #2+0$&    & 2 1.1.123  3    7&&      )  ;# *7 & -0## '*7 -$ #$ &   0   %    0 23#)# 0 )7M$  %    0 $#2    %0 0 )  #$      %      $  &        23#      $ 0# 0 #& ) %0   #2 3   $   Q-R  23 &   $ %#  &  0$%& ) $     $  &      2 3- %   &    ' )0  %2G% 0# #   %%0) - $$$ #   # &0# #  23$$%  &&  $    $=7$-C

669

Oykum Esra Askin and Fulya Gokalp / Procedia - Social and Behavioral Sciences 106 (2013) 667 – 676 1

  4 

4  

41 

1



1

4  F 4  41 

   F

41 



 1

4 

 



                %  $   #$0   %     0  # $ 2  $ $       $-  & $   %% 2

   4  1 &   4      4





 3 ";#    $   &  0<%0)23 & #  & $0) ' & %0 0 )#%0 0 )    #    2 +    0      )-          '  #        S     &  '   #       S S 2 3 & $ ) 0   ##          %  $ $=7$C+ % 2    7M-  &    %  &  $# #$$   &      ##  %     0  5 2 3 # '   &     $  0) # & $ <$#$ '  $  47"$$ <$ ' #  23 & ' #  & 0   $=7$-C



2          4         4    



     '  #    %  $2 )  ' &     %    ;# ! & ' #  !-0  $ <$#$ ' $  6 23  #$ <$#$ ' $ -   ! -$# & & #  & 2 .$";#  - 0  ) %  ;# "#$   #-    %0 %  %2  3 0   ' #   # &  )$    23&  ) 7M$ - '  %$23  &  0    #(  $    )   #  $   $      0 2   ;# 0#  $#         0 <%  &  '()*+,-  '*+,-./01234/35-   &  6 78/-/1++,01-()*+,-9/-/1++,*+,-./01234/35- : 2   #  )%( 1 ;     <    T    &     ## )  =  >?&    -     #   0  $   $ 23E 3%$   ) # %  $ % ;# ! 27@A $ <$#$ '  $  # '  %  $@ BC@A   @A23E        ;# 0#  &$  00    (D  @AE 9BC@AE 23   7 & &4# %  0  0# )  & '   $ % ' &  ##$%   $ < #   $=7$- 2 1.117  8"  #  '  )#$%#  $  $   $$%#$  0  2 + &$    #             ;#   %       #    &   & 0 (  7' #$  0  -     0 )     & 

670

Oykum Esra Askin and Fulya Gokalp / Procedia - Social and Behavioral Sciences 106 (2013) 667 – 676

&  ! &$% <% 2+ &   $- #$  G% B- 0 )    &  T#$ ) $  & &  $ 2   )$ $% <       % 0   %#  %     0   #%# %     0 -    $ '% #$%  0#$ $  $0  %# #%#2 0# )-$ &  $%   20     $ & %# 0  )$  0) 2 - 7   )  $   0# $  '    #      ;#2 #0 '0< #- %#  0 $ 0#

<%   2 . < $%  # ' & & -     )  &  #    #  $ 2 +  7M  0   $ '          % )%      $ '   #&    )2     0 )  #    %#     0 '  2 7  )-      &    #    & $#       -    & %0 $ $ ) #    $- #$ -=G% -B2  +  $   0-     0 )     &     &   0   0)    &2 3 0 ' %% &   &$  $%%# #%   & $  %$    &   $#  ) %%  =9 $0-B2

 .&22+  # $% 47   )

 34#  )% 47 $%  (  %# )- $  )  #%# )2.&# # )472#  $ #    %  0)  2 3 &  #    $   $   #   2 %  0 '%% &   &$#    &47 00  =9 $0-BC  %(  ! '&E&  $ ) &  $  #$02  %(% &  %# "  %# )# F  $    # 2.   %#F-#%#GH ;#  %# #IH 23   %## F  &%# )/ $%# IH  JL KL HG L  MH IH      $0     %##L ;   N   7CKL H  &  #-GL #%## $%# ) MH 0 # F$$0  '  #2<-  # F$%##%# #G H %)%   #       OP2 3 $ %%#     #   #      )   &$  &   ##   0     #  2E %&$     #  -#%## F 0 #  G H  N9N  "QRS 2

Oykum Esra Askin and Fulya Gokalp / Procedia - Social and Behavioral Sciences 106 (2013) 667 – 676

 %( '%% & 3%% & 0 ' 0)#%  && 0    '1% 23#%# )0  0)CT TH  GH N  G H UH  GH UH    '     #   #%#2 3 -      )F  #  CT TH  G H N  G H  JV CT TV KH VCT TV # W2  % ( 8%   &  0  .  KL H- &  $    #  0)XKL H  CT TH G H      &  ' #0  23  &#%  0 MH    '   $#  (KL H  KL H  XKL H2 $  )-   0 MH  #%  0)XMH  CT TH        #   0    #  MH  MH  XMH 2 3   & % #    % % #$0  % <% #  )$   % % 23   &  ' &  )  ##       # >AU23$#   &$ ) # )  & %0 $2 + )- 0 %% ) & % -  %#   0   ## ) $ !     2 3#- & &  %%#%    &% 2 119     34        $   $ $          5  &  #  $         # ) # )  0)      +     " #    "#  +$ "+ >>A2 -$ B-# $B# % %        #)  A  $ $   & &  $  4# - 4  - .)- = + -2G  # #)  #B>53#'# 1 $  $# ;#

  $ $ &   #   # <2 3     %0 $- > # 1     < # $  )2 3 0 2 %    0 # #) N  0  $

3)%  

 $ 

+&

M 

3M3 G

/ 

$ 

3 "V

#  '    &$ 

%  ' 

 4+  4- 4- 4G- 4"2

#    $ 

%  ' 

#  #$ 

%  ' 

 4B+- 4B- 4B- 4BG- 4B"-  4B.- 4B/- 4B - 4B  4BH- 4B9- 4B7- 4B4- 4B- 4.

#  & & $ 

%  ' 

 4A+- 4A- 4A- 4AG- 4A"

# 0#   

%  ' 

 /+- /- /- /G- /"- /.

%  ' 

 /- G/"G8-G G/AA

$#  #

  %% ) & 7M   $  $   &      0    # 1 $ $  $  $% % F   %$ -%    %    0   $ 2    #)-  % #0   #   $ $        %     0       #      0 )  #            & A- )WC - )W2      &$ $  $ -# &# #) ;#      %  )   #  &   0 2 3  %     0   &    3 0  2 + &3 0 -<$<% & &   0  # 1%    $ 0)34  $2  $ #     &    #$  0    2 . < $% - X  "     3 % % X    %  '   W '    & $ ( W$  '    & $ ( W 1 '    & $    $ # # 1   & 0#

671

672

Oykum Esra Askin and Fulya Gokalp / Procedia - Social and Behavioral Sciences 106 (2013) 667 – 676

$ $  0       &  %  '  $ ( X  T)    & $ $ X  4+- X        #) $ $ X  4- X4 $   0 &X  4- X    $ )   &  &   $ $ X  4G  X ' $ $ X  4"2 X       % % X   $   &  # : 0  0#  0    $ $       %  ' W  (W$   (W   2X## )  $ $ X-X     &;#' ) $ $ X X4)  $ $& $ $ X <$ $   # $ #  -4   4# 2    1.19  )    #  $$ &  #  # B-?B3#'5& # 1 $  2 +   % $  A2    #    %  -  # $   $%  $  # )2 3 0    $ %     %     0  <% &  %  %  2  # &$ $  0A- B# & 0  A2 E  < $  &     - X %       X    & $   0 &#%2+ - $ X     % X ;# 25?>#   0 A-  $       2A5  #  0  &   &#%2 3 $         $ )# % ;# )  & 0#   X   X2  -  0   X     % X$ )0  0 & $ 2 

3 0 2G%  %    0  +0A  %    0 

 A

4 4 <

4 

2

4 4 <

4 

2

 B

25A

2

 B

2A

2A>A

#  '    &$ 

 

2BA

2??

 

25?

2?>

#    $ 

 

25?>

2?B

 

2A5

2AB

#  #$ 

 

2A

2B?

 

2??

2?5

#  & & $ 

 

2B?

2B

 

2>B

2B>

# 0#   

 

2A5

B?

 

2B>B

2?B

 

2

2B5

 

2B

2A

+&

$#  # 3 

W-

W-B

112: 77   30 ) 7M )%$       0   &   )      &#%# 2N  0   %#$ #& %  23

M %  M& *%$!   &$-    #    + -  #   #  $ <$#$ '  %  $$ 2+  -%$ 23 0  '  #  # $ #& $ 2+ &# -$ $      %  &    & $ %    0   >AU    %  #Y2A2+  ;# &  $ 7$  %  #      ;#   22 3 #  )%  X  &     0  0  # % #XT AU&    -$    2

Oykum Esra Askin and Fulya Gokalp / Procedia - Social and Behavioral Sciences 106 (2013) 667 – 676 3 0 27'   

7&7' 

7'  

3 # $ 

4   0 

 ;# 

G.

%  #

A2??

AA2

5B2B?A?



2

 3 0     #   $ <$#$ '  $    )    0        #$ 23  &)    &) <  2+ &  )  0 -#%  # &X3 X-X %      X-X      X  X       % X    ) &    >AU     2      #%-Z   % % [   )$ $  $       '  >U23%  $$ @A  @AY  &  %  #E    &$   )&  %Y2A23#-    0   [ E  @A\    ) &    $ ' &   0#    $ 2 *     -@AZ  @A  @ &   )   $  -% )2   -X    $ X- X $ 0#    X-X 0#$  )0#   X X$ )#  #X %0 ## &#%  # 2 3 0 27M# 

[     @

A2AAB

2?>

DGa  $efGg" haai bcBd bcBd B2 2 A52>A

+&

[   &@

2>A

2>?

B2A

2

2B?

2

/ 

& @AE 

2

2A

2

2BAA

2>AA

2BAA

[ \  25 #  ' '    &@    &$  A $  '    &@j  2>

25>

B2

2

2?

2B>

2A

2

2>

[ Z  #    @    $   @AY   $  [ k  #  #  #@ $  [ l  $  #@

2BA

2

?2>

2

2

2B

2?

2

25

2>

2

25A

B2A

2B

2?A

2

2?

25

2A

2?5

 & &@Am 

25

2>

2

2>?

25

$  & &@A

2B

2?

2?5

2?B

25

$ @A

2

2?

2>

2?

25

[ E 0#$  )@

2

2?5

?2>>

2?

2>5

[ \ $ )#@

2>>

2?

>2

2

?2B

[ j $#@

2

2>>>

2?A

25B

2

B] G"

#   & &  $  # 0#    $ #   #

^GT G_"7G`"

@A

BC@A

$efGg" "O O "]  



25

2

25

2B?A

2

2

 + )-   #     #  0 &         $   0# &     %0   % %    0 2.< $% - $  @AZ f"T i gi@A 2;# 22 0 % 0 & ## &#% 2 $ &   #          $     #            $ 2 .#$-  %  $ $     &  #         0     # 1

673

674

Oykum Esra Askin and Fulya Gokalp / Procedia - Social and Behavioral Sciences 106 (2013) 667 – 676

     $    $      0 &  ##  &#%2 3  %   0  %  $ )2  . )-   $    #    $   0  #  7M $ 2 3 47 $   %$  '    )   # 23%$   5        &         0T #    #  2A5A2 3 < $   # %    0 : $ !$%  X      % X- X %       X- X3 X  X      X    ) &   %2 3 $ $%  % $ &  #   0       X#       $ $ X2 11;  %)   E   &%      # )7M $- #$ #%      %  (   &  &  2U   '     & 0#   $ 23%      U      U  23     # T#  $ $ '$&    )     &  23    $   # $%   #    $    $  # ) 7  = )- 2    +  $  $%    - $    % $    2       0   #  $ <   #   #   $ 1 % 0     3 0 A B23#& 0 - # )- )#%  %) # &    $   # 2 #  $ 0#     9 $0B2



3 0 A2    # )7M$ 



3    











%

N     

0



)W

)W

)W

BB5

)W

>

5

)W A

AA

2AU

5>

A

A2A5U

?52?5U

A

>?

?525U

 

5>2U

3 0 B2    # )$ 





)W A

 

  B25>U



3    



N     









%

0  



)W

)W

)W

B55

B

  B-BU

)W A

)W 

 

)W





-AU





>-AU

?>U

A

>?

??-55U

>-U

 + &    0 -    %                 0 7M   $  ) -   $    $& $  #   % 0 )2 E       # )7M$?52AU-$ ?52BU # ) 23 $ 

Oykum Esra Askin and Fulya Gokalp / Procedia - Social and Behavioral Sciences 106 (2013) 667 – 676

675

 #  2? 2?-% )23%)7M;# 25> %)  ;# 2>2  E   $ #  $  $%   #  $     - 4 "- &  - &     M* <  '   # -  0$ $     %  0 )2 3 0  ?     &        2    0   #   &    <0   $ %   7M $ 2 3 0 ?2 $ & $%  $  4

4     4 "

/  

/ 2

M* <

7M

2

2A

52

2B

25



2

2A

5?2

2B

25

 3   $ 0 $  # ! M*#& 0 .&#2 M*#  -      '& )$ 2

 .&22M*#7M $ 

!"#!   #)-B?B3#'5& # 1 $  $34   0 #$   %#%2. )- $$ &     $ $  $ 23 -  %%#     $  & $- $ ) 0 ) 7M    %$   %        $0   $  &  $% $ 2   7M   #     Z       % [     $ $%  %   $ $  $ 2+  # Z $ [ 0#$  )0#   [   Z$ )#  #[  # ## &#%2*  - %  # )  $   $% -     #    $ & $    %  2 E  $ $ #  $  $%   #  $     - 4 "- &  - &     M*  <  < $ -  %     # )7M# $ %$      #    #)2 *       $ ) #  0      )   < 0   %     0      <  %  2  #   0 ' 0< #- # ' 7M-  

 <%     %#  $ 2 7M  0      #           % )% $ ' 0    )23#-7M %% 0% $ #)2

676

Oykum Esra Askin and Fulya Gokalp / Procedia - Social and Behavioral Sciences 106 (2013) 667 – 676

$ ! +'0 - 42- 73 - /2- = 0 - H2 ?2 3  ;# )- %%# ) & %-    $    B # 2 #   :   <-B> 5?2 + % -M22 3%=>"9 ?@" A" B  % 2 '\022+ '  (G )L )\ \ \'2 +)% )-+2-"J -42-= K!-42?2N    $ &   $%   0  34 >>> 3#')2   #  # -? A2 G - 2-+0   -.2- #$ - 2-=  -+24223 1;#   -%  %%  #  $  34 $ $ (+ %  # 2    C   3.-B ??2 /#-2-=.& - 2>2 )) 9;  3,     " 022>H E )=  -72 -H2-=9 $0-42B29;  3&D )  E   " 0224& 9 #$

2 #'-"2-=7#;#-H22" ) ;#)   #  2#  % #  :  8A-5 A2 $-G2-=7$- 22 )) 23 : 3    " 022 0' (H E )   - 2 HI&- 2-=  -922     #  $ (+  $%%2( % #  % :  8F -A? 52 7 -/2-=)-4229;  3 E &;"  3  D% :   ); 3 % 3" 022 L(E )2 4  -42-=4# -224 %# 34  M7 2 #  -4+(34 =M7     #)  -  &2 4  -42-4# -2-  -+2-/ ! !-"2- $-32-=9 )-G2>>?2     %   )%  &#G      ; %    1 #  -4+(  &2 4 -H2-=   )-"223 %$     )'  && (<%  &34    # #  $      8   2#  :    # &     C     +  .H- A2 4# -2-4  -42-.)-2-=+ -+22;..      % % 1 #  -4+-8 +(34 = M7     #) 2 #$- *2- - H2- = -G2523  &   $ $   34 >>A 2   #  # -AB ?2  %  #- 2 2     <     & $    $ $ ( $   & $ 34 2     #  # <- ?2  &- 2-= - +22 ! & & $  $  8    +0 2#   #   +  -A ?2 M$-2-=N # - 2?2"#    $  &(+#)$>>AA2#4)  %8  ))  -A B2 0- H2 2 2  #   #        #      $ $  $ 2   C   #  :   HFA-? 5B2   $- 2- #$ - 2- = G% - 2 B2      7  7 8"  3 ;  <11  G ( 3   4/    #0  &$% )2 O -2-8P -"2-=G  -G22 &  )! &  )#  % $  (+  $  & %% 2#4)   %8  ))  H->B5 >?B2 E0-2-=.-G22    $  # #$ $ $ 22   3#  % :   <-> B2 E$

- 72 A2 "#   %#    "  + ( 3 $%    $ ) 0 '&#     & %    #  %$ 2( % #  % :  8<- A2 E$

- 72 2 I8 E      ))  J%  "3         %    #)         18 )4# - #" $M 2" E' & %2B2 E$

-722   &#-#   #  # %$ (3    2'4,   #  %   >> 4 $  +$       #' # 2     #  # 2