IEDB Analysis Resource

MHCII Weekly Benchmark results


Overall scores

Overall scores based on data sets submitted to the IEDB within a single week. The overall scores in the SRCC and AUC columns are calculated using performance values for only SRCC or AUC respectively. In the overall column, both evaluation types are used.

Server Overall SRCC AUC
NN-align 65 64 66
NetMHCIIpan-3.1 81 81 82
Comblib matrices 15 14 16
SMM-align 46 47 46
Tepitope (Sturniolo) 25 25 25
Consensus IEDB method 51 50 52

Data set specific results

Detailed information for the evaluated data sets used in the calculation of the overall scores in the table above. Predictions from each participating server for the data sets listed below may be downloaded here

IEDB
Reference
Allele Peptide
Count
Positive
Count
Measurement
type
NN-align NetMHCIIpan-3.1 Comblib matrices SMM-align Tepitope (Sturniolo) Consensus IEDB method
SRCC AUC SRCC AUC SRCC AUC SRCC AUC SRCC AUC SRCC AUC
 1027578   HLA-DRB1*03:01   14   10   ic50   0.925   0.975   0.945   1.000   -   -   0.860   0.900   0.707   0.925   0.900   0.950 
 1027578   HLA-DRB1*07:01   19   12   ic50   0.709   0.952   0.646   0.929   0.784   0.964   0.737   0.976   0.514   0.899   0.792   1.000 
 1027578   HLA-DRB3*01:01   20   7   ic50   0.668   0.901   0.807   0.945   0.386   0.703   0.635   0.879   -   -   0.591   0.846 
 1027578   HLA-DRB4*01:01   14   4   ic50   0.402   0.600   0.516   0.800   0.548   0.725   0.460   0.725   -   -   0.465   0.650 
 1027578   HLA-DRB4*01:03   18   13   ic50   -   -   0.428   0.692   -   -   -   -   -   -   -   - 
 1027865   HLA-DRB1*01:01   18   16   binary   0.511   0.969   0.545   1.000   0.000   0.500   0.477   0.938   0.256   0.734   0.477   0.938 
 1027865   HLA-DRB1*03:01   18   11   binary   0.384   0.727   0.538   0.818   -   -   0.472   0.779   0.637   0.883   0.561   0.838 
 1027865   HLA-DRB1*04:01   18   15   binary   0.101   0.578   0.330   0.756   -   -   0.072   0.556   -0.029   0.478   0.043   0.533 
 1027865   HLA-DRB1*07:01   18   9   binary   0.675   0.889   0.632   0.864   0.353   0.704   0.482   0.778   0.225   0.630   0.675   0.889 
 1027865   HLA-DRB1*11:01   18   14   binary   0.515   0.857   0.567   0.893   -   -   0.309   0.714   0.451   0.812   0.541   0.875 
 1027865   HLA-DRB1*13:01   18   9   binary   -   -   0.632   0.864   -   -   -   -   0.471   0.772   0.471   0.772 
 1027865   HLA-DRB4*01:01   18   5   binary   0.371   0.738   0.347   0.723   -0.012   0.492   0.084   0.554   -   -   0.227   0.646 
 1027865   HLA-DRB5*01:01   18   12   binary   0.681   0.917   0.750   0.958   -   -   0.568   0.847   0.318   0.694   0.454   0.778 
 1028057   HLA-DRB1*01:01   29   22   ic50   0.719   0.851   0.814   0.890   0.675   0.851   0.730   0.753   0.604   0.740   0.787   0.851 
 1028057   HLA-DRB1*04:01   29   25   ic50   0.649   0.870   0.623   0.920   -   -   0.721   0.770   0.591   0.525   0.728   0.760 
 1028057   HLA-DRB1*07:01   29   27   ic50   0.786   0.907   0.726   0.889   0.117   0.778   0.634   0.796   0.711   0.722   0.755   0.963 
 1028057   HLA-DRB1*13:01   29   24   ic50   -   -   0.142   0.483   -   -   -   -   0.338   0.842   0.330   0.842 
 1028057   HLA-DRB1*15:01   29   26   ic50   0.473   0.692   0.457   0.679   -   -   0.366   0.705   0.349   0.712   0.473   0.744 
 1028237   HLA-DQA1*01:03/DQB1*06:03   339   50   ic50   -   -   0.432   0.806   -   -   -   -   -   -   -   - 
 1028238   HLA-DQA1*02:01/DQB1*03:03   759   264   ic50   -   -   0.537   0.760   -   -   -   -   -   -   -   - 
 1028239   HLA-DQA1*05:01/DQB1*03:02   834   197   ic50   -   -   0.574   0.771   -   -   -   -   -   -   -   - 
 1028241   HLA-DRB1*01:01   885   642   ic50   0.749   0.876   0.782   0.890   0.583   0.789   0.692   0.849   0.613   0.816   0.728   0.864 
 1028242   HLA-DRB1*03:01   863   491   ic50   0.578   0.777   0.715   0.856   -   -   0.565   0.777   0.504   0.749   0.591   0.790 
 1028243   HLA-DRB1*04:04   861   467   ic50   0.592   0.797   0.711   0.861   -   -   0.582   0.783   0.632   0.828   0.615   0.802 
 1028244   HLA-DRB1*07:01   857   466   ic50   0.731   0.869   0.749   0.876   0.550   0.784   0.718   0.862   0.611   0.813   0.729   0.867 
 1028245   HLA-DRB1*08:01   889   383   ic50   -   -   0.719   0.863   -   -   -   -   0.592   0.799   0.591   0.799 
 1028246   HLA-DRB1*09:01   855   552   ic50   0.694   0.857   0.718   0.880   0.163   0.601   0.599   0.803   -   -   0.617   0.820 
 1028247   HLA-DRB1*11:01   868   457   ic50   0.710   0.859   0.745   0.880   -   -   0.674   0.840   0.571   0.793   0.675   0.841 
 1028248   HLA-DRB1*13:01   837   474   ic50   -   -   0.535   0.772   -   -   -   -   0.548   0.787   0.548   0.787 
 1028249   HLA-DRB1*14:54   854   526   ic50   -   -   0.713   0.889   -   -   -   -   -   -   -   - 
 1028250   HLA-DRB3*01:01   832   235   ic50   0.545   0.825   0.596   0.835   0.296   0.678   0.524   0.806   -   -   0.480   0.801 
 1028251   HLA-DRB3*02:02   771   306   ic50   -   -   0.432   0.740   -   -   -   -   -   -   -   - 
 1028252   HLA-DRB3*03:01   854   500   ic50   -   -   0.563   0.781   -   -   -   -   -   -   -   - 
 1028253   HLA-DRB4*01:03   821   507   ic50   -   -   0.538   0.788   -   -   -   -   -   -   -   - 
 1028254   HLA-DRB5*01:01   762   488   ic50   0.660   0.806   0.743   0.843   -   -   0.609   0.778   0.526   0.740   0.607   0.775 
 1028269   HLA-DRB1*01:01   17   7   binary   0.756   0.943   0.756   0.943   0.598   0.850   0.659   0.886   0.586   0.843   0.683   0.900 
 1028269   HLA-DRB1*03:01   17   4   binary   0.057   0.538   0.170   0.615   -   -   0.170   0.615   -0.198   0.365   -0.028   0.481 
 1028269   HLA-DRB1*04:01   17   6   binary   0.477   0.788   0.628   0.879   -   -   0.402   0.742   0.452   0.773   0.503   0.803 
 1028269   HLA-DRB1*07:01   17   9   binary   0.674   0.889   0.650   0.875   0.433   0.750   0.553   0.819   0.301   0.681   0.529   0.806 
 1028269   HLA-DRB1*09:01   17   5   binary   0.553   0.850   0.527   0.833   0.164   0.600   0.580   0.867   -   -   0.398   0.750 
 1028269   HLA-DRB1*11:01   15   2   binary   0.136   0.615   0.227   0.692   -   -   0.318   0.769   0.272   0.731   0.363   0.808 
 1028269   HLA-DRB1*12:02   17   7   binary   -   -   0.512   0.800   -   -   -   -   -   -   -   - 
 1028269   HLA-DRB1*15:01   17   11   binary   0.327   0.697   0.276   0.667   -   -   0.176   0.606   0.201   0.621   0.251   0.652 
 1028269   HLA-DRB1*15:02   17   4   binary   -   -   0.736   1.000   -   -   -   -   0.481   0.827   0.481   0.827 
 1028711   HLA-DQA1*01:02/DQB1*05:01   825   455   ic50   -   -   0.215   0.596   -   -   -   -   -   -   -   - 
 1028712   HLA-DQA1*06:01/DQB1*04:02   565   133   ic50   -   -   -0.056   0.497   -   -   -   -   -   -   -   - 
 1028713   HLA-DQA1*02:01/DQB1*04:02   765   241   ic50   -   -   0.039   0.519   -   -   -   -   -   -   -   - 
 1028714   HLA-DQA1*05:01/DQB1*04:02   747   339   ic50   -   -   0.140   0.577   -   -   -   -   -   -   -   - 
 1028715   HLA-DQA1*03:03/DQB1*04:02   567   118   ic50   -   -   -0.080   0.482   -   -   -   -   -   -   -   - 
 1028716   HLA-DQA1*05:01/DQB1*03:03   564   179   ic50   -   -   0.614   0.812   -   -   -   -   -   -   -   - 
 1028717   HLA-DQA1*02:01/DQB1*03:01   818   374   ic50   -   -   0.588   0.814   -   -   -   -   -   -   -   - 
 1028902   HLA-DRB1*04:01   36   20   binary   0.743   0.931   0.512   0.800   -   -   0.501   0.791   0.528   0.802   0.372   0.716 
 1029396   HLA-DRB1*01:01   17   15   binary   0.112   0.600   0.037   0.533   -0.019   0.500   0.075   0.567   -0.056   0.450   0.000   0.500 
 1029396   HLA-DRB1*03:01   17   5   binary   0.343   0.717   0.606   0.883   -   -   0.553   0.850   0.053   0.608   0.343   0.750 
 1029396   HLA-DRB1*04:01   17   8   binary   0.313   0.681   0.505   0.792   -   -   0.553   0.819   0.750   0.958   0.553   0.819 
 1029396   HLA-DRB1*07:01   17   11   binary   0.377   0.727   0.653   0.894   0.139   0.583   0.528   0.818   0.202   0.636   0.377   0.727 
 1029396   HLA-DRB1*11:01   17   14   binary   0.157   0.619   0.189   0.643   -   -   0.189   0.643   0.159   0.619   0.127   0.595 
 1029396   HLA-DRB1*15:01   17   11   binary   0.578   0.848   0.678   0.909   -   -   0.653   0.894   0.659   0.894   0.603   0.864 
 1030414   HLA-DQA1*01:03/DQB1*06:03   18   2   ic50   -   -   0.020   0.875   -   -   -   -   -   -   -   - 
 1030414   HLA-DQA1*03:01/DQB1*03:02   18   4   ic50   0.622   0.964   0.550   0.982   0.423   0.830   0.722   0.946   -   -   0.702   0.991 
 1030414   HLA-DRB1*01:01   18   13   ic50   0.691   0.862   0.629   0.785   0.062   0.400   0.577   0.738   0.302   0.715   0.577   0.738 
 1030414   HLA-DRB1*04:01   18   6   ic50   0.227   0.722   0.405   0.889   -   -   0.067   0.625   -0.266   0.542   0.136   0.681 
 1030414   HLA-DRB1*07:01   18   10   ic50   0.734   0.825   0.690   0.825   0.262   0.731   0.730   0.838   0.482   0.775   0.796   0.931 
 1030414   HLA-DRB1*09:01   18   4   ic50   0.341   1.000   0.518   0.946   -0.145   0.339   0.461   0.911   -   -   0.353   1.000 
 1030414   HLA-DRB1*11:01   17   3   ic50   0.543   0.929   0.647   1.000   -   -   0.633   1.000   0.581   0.786   0.561   0.869 
 1030414   HLA-DRB1*15:01   18   4   ic50   0.515   0.821   0.459   0.804   -   -   0.429   0.732   0.258   0.554   0.443   0.714 
 1030414   HLA-DRB1*15:02   18   3   ic50   -   -   0.409   0.667   -   -   -   -   0.387   0.556   0.384   0.556 
 1030865   HLA-DRB1*01:01   14   5   ic50   0.468   0.822   0.534   0.911   0.180   0.556   0.077   0.522   -0.062   0.589   0.512   0.822 
 1030032   HLA-DRB1*01:01   108   68   ic50   0.472   0.749   0.628   0.818   -0.239   0.416   0.222   0.594   -0.035   0.471   0.192   0.577 
 1030032   HLA-DRB1*03:01   124   104   ic50   0.316   0.697   0.338   0.744   -   -   -0.097   0.613   0.235   0.565   0.258   0.640 
 1030032   HLA-DRB1*04:01   132   109   ic50   0.413   0.803   0.549   0.830   -   -   0.209   0.590   0.041   0.444   0.206   0.603 
 1030032   HLA-DRB1*07:01   148   127   ic50   0.610   0.730   0.684   0.778   0.011   0.433   0.313   0.633   -0.368   0.158   0.380   0.550 
 1030032   HLA-DRB1*08:02   142   120   ic50   0.320   0.705   0.439   0.736   -   -   0.188   0.385   -0.411   0.279   -0.154   0.315 
 1030032   HLA-DRB1*11:01   121   108   ic50   0.688   0.931   0.657   0.945   -   -   0.516   0.866   -0.183   0.154   0.096   0.292 
 1030032   HLA-DRB1*13:02   134   127   ic50   0.606   0.910   0.620   0.903   -   -   0.422   0.756   -0.281   0.280   0.527   0.765 
 1030032   HLA-DRB1*15:01   120   75   ic50   0.586   0.757   0.541   0.770   -   -   0.009   0.471   -0.392   0.257   -0.101   0.385