Протодьяконов Алгоритмы Data Science и их практическая реализация на Python 2022
.pdf
ǼǽǼǾǻȉdz ǰdzǸȀǼǾȉ Ƕ ǸǼȋȂȂǶȄǶdzǻȀ ǿȃǼDzǿȀǰǮ
ɉɨɫɬɚɧɨɜɤɚ ɡɚɞɚɱɢ Ɂɚɝɪɭɡɢɦ ɩɨɞɝɨɬɨɜɥɟɧɧɵɟ ɞɚɧɧɵɟ ɢɡ +') Ɋɚɡɞɟɥɢɦ ɞɚɧɧɵɟ ɧɚ ɨɛɭɱɚɸ
ɳɢɟɢɩɪɨɜɟɪɨɱɧɵɟɢɩɨɫɬɪɨɢɦɦɨɞɟɥɶɨɩɨɪɧɵɯɜɟɤɬɨɪɨɜɞɥɹɬɢɩɚɨɛɥɚɤɚ)LVK ɉɪɨɜɟɞɟɦɨɰɟɧɤɭɤɚɱɟɫɬɜɚɩɪɟɞɫɤɚɡɚɧɢɹɩɨ) ɢɤɨɷɮɮɢɰɢɟɧɬɭɫɯɨɞɫɬɜɚ Ⱦɚɧɧɵɟ
KWWSV YLGHR LWWHQVLYH FRP PDFKLQH OHDUQLQJ FORXGV FORXGV GDWD KɆɛ
270
271
272
DzǰȁȃǿǹǼǷǻȉǷ ǽdzǾȄdzǽȀǾǼǻ
ɉɨɫɬɚɧɨɜɤɚ ɡɚɞɚɱɢ Ɂɚɝɪɭɡɢɦ ɩɨɞɝɨɬɨɜɥɟɧɧɵɟ ɞɚɧɧɵɟ ɢɡ +') Ɋɚɡɞɟɥɢɦ ɞɚɧɧɵɟ ɧɚ ɨɛɭɱɚ
ɸɳɢɟ ɢ ɩɪɨɜɟɪɨɱɧɵɟ ɢ ɩɨɫɬɪɨɢɦ ɞɜɭɯɫɥɨɣɧɵɣ ɩɟɪɰɟɩɬɪɨɧ ɞɥɹ ɬɢɩɚ ɨɛɥɚɤɚ )LVK
ɉɪɨɜɟɞɟɦ ɨɰɟɧɤɭ ɤɚɱɟɫɬɜɚ ɩɪɟɞɫɤɚɡɚɧɢɹ ɩɨ ɤɨɷɮɮɢɰɢɟɧɬɭ ɫɯɨɞɫɬɜɚ Ⱦɚɧɧɵɟ
KWWSV YLGHR LWWHQVLYH FRP PDFKLQH OHDUQLQJ FORXGV FORXGV GDWD KɆɛ
273
274
275
276
277
ȅȎȟȠȪ ǼǯȁȅdzǻǶdz ǻdzǷǾǼǿdzȀǶ
ȋǽǼȃǶ ǽǮǸdzȀȉ ǶȀdzǾǮȄǶǶ
ɇɚɱɢɧɚɹ ɪɚɡɝɨɜɨɪ ɩɪɨ ɨɛɭɱɟɧɢɟ ɧɟɣɪɨɧɧɨɣ ɫɟɬɢ ɩɟɪɜɨɧɚɱɚɥɶɧɨ ɢɡɭɱɢɦ ɧɟɤɨɬɨɪɵɟ ɨɫɨɛɟɧɧɨɫɬɢ ɷɬɨɝɨ ɨɛɭɱɟɧɢɹ
ɉɪɟɞɵɞɭɳɢɟ ɪɚɫɫɦɨɬɪɟɧɧɵɟ ɚɥɝɨɪɢɬɦɵ ɦɚɲɢɧɧɨɝɨ ɨɛɭɱɟɧɢɹ ɜ ɨɫɧɨɜ ɧɨɦ ɢɫɩɨɥɶɡɨɜɚɥɢ ɢɬɟɪɚɰɢɢ ɧɟɤɨɬɨɪɭɸ ɩɨɫɥɟɞɨɜɚɬɟɥɶɧɨɫɬɶ ɜ ɨɛɭɱɟɧɢɢ ɨɞ ɧɚɤɨ ɩɪɚɤɬɢɱɟɫɤɢ ɜɫɟɝɞɚ ɷɬɨ ɛɵɥɨ ɨɱɟɧɶ ɛɵɫɬɪɨ Ɇɨɞɟɥɶ ɨɛɭɱɚɥɚɫɶ ɡɚ ɤɪɚɬ ɱɚɣɲɟɟ ɜɪɟɦɹ ɫɟɤɭɧɞɵ ɦɢɧɭɬɵ ɦɚɤɫɢɦɭɦ – ɱɚɫɵ ɩɨɷɬɨɦɭ ɩɪɨ ɷɩɨɯɢ ɢɬɟ ɪɚɰɢɢ ɢ ɩɚɤɟɬɵ ɨɛɵɱɧɨ ɧɟ ɝɨɜɨɪɹɬ
ɇɟɣɪɨɧɧɚɹɫɟɬɶɤɚɤɦɨɞɟɥɶɦɚɲɢɧɧɨɝɨɨɛɭɱɟɧɢɹɨɛɵɱɧɨ ɫɥɨɠɧɚ ɢ ɨɞɧɚ ɟɞɢɧɫɬɜɟɧɧɚɹ ɷɩɨɯɚ ɨɛɭɱɟɧɢɹ ɨɛɭɱɟɧɢɟ ɜɫɟɯ ɧɟɣɪɨɧɨɜ ɧɚ ɬɵɫɹɱɟ ɷɤɡɟɦɩɥɹ ɪɨɜɦɨɠɟɬɡɚɧɢɦɚɬɶɫɭɳɟɫɬɜɟɧɧɨɟɜɪɟɦɹ ɦɢɧɭɬɵ ɞɟɫɹɬɤɢɦɢɧɭɬ ɢɧɨɝɞɚɞɚɠɟ ɱɚɫɵ ɜ ɬɨ ɜɪɟɦɹ ɤɚɤ ɧɚɦ ɦɨɠɟɬ ɩɨɬɪɟɛɨɜɚɬɶɫɹ ɬɵɫɹɱɚ ɬɚɤɢɯ ɷɩɨɯ ɨɛɭɱɟɧɢɹ
ɗɩɨɯɚ – ɷɬɨ ɩɪɨɯɨɠɞɟɧɢɟ ɫɢɝɧɚɥɚ ɜ ɧɟɣɪɨɧɧɨɣ ɫɟɬɢ ɞɥɹ ɜɫɟɯ ɞɚɧɧɵɯ
Ɂɚ ɨɞɧɭ ɷɩɨɯɭ ɜɫɟ ɢɫɯɨɞɧɵɟ ɞɚɧɧɵɟ ɤɨɬɨɪɵɟ ɨɛɵɱɧɨ ɞɪɨɛɹɬɫɹ ɧɚ ɩɚ ɤɟɬɵ ɩɪɨɯɨɞɹɬ ɧɟɛɨɥɶɲɢɦɢ ɩɚɤɟɬɚɦɢ ɱɟɪɟɡ ɨɛɭɱɟɧɢɟ ɢ ɞɚɸɬ ɧɚɦ ɧɟɤɨɬɨɪɭɸ ɨɲɢɛɤɭ Ɋɚɡɭɦɟɟɬɫɹ ɱɬɨ ɥɸɛɚɹ ɦɨɞɟɥɶ ɦɚɲɢɧɧɨɝɨ ɨɛɭɱɟɧɢɹ ɧɚ ɥɸɛɨɣ ɢɬɟɪɚ ɰɢɢ ɞɚɟɬ ɨɲɢɛɤɭ ɧɟɤɨɬɨɪɵɟ ɦɨɞɟɥɢ ɞɚɸɬ ɦɚɥɟɧɶɤɭɸ ɨɲɢɛɤɭ ɩɨɷɬɨɦɭ ɦɵ ɢɯ ɦɨɠɟɦ ɭɠɟ ɢɫɩɨɥɶɡɨɜɚɬɶ ɜ 3URGXFWLRQ ɞɥɹ ɩɪɟɞɫɤɚɡɚɧɢɣ
Ⱦɥɹ ɬɨɝɨ ɱɬɨɛɵ ɧɟɣɪɨɧɧɚɹ ɫɟɬɶ ɨɛɭɱɢɥɚɫɶ ɨɛɵɱɧɨ ɬɪɟɛɭɟɬɫɹ ɧɟ ɦɟɧɟɟɷɩɨɯ ɦɢɧɢɦɭɦ ɞɥɹ ɩɪɨɫɬɵɯ ɡɚɞɚɱ Ɉɞɧɚɤɨ ɷɬɨ ɱɢɫɥɨ ɪɚɡɭɦɧɨ ɬɨɥɶɤɨ ɞɥɹ ɬɟɯ ɫɥɭɱɚɟɜ ɤɨɝɞɚ ɭ ɧɚɫ ɜɫɟ ɨɱɟɜɢɞɧɨ ɫ ɩɚɪɚɦɟɬɪɚɦɢ ɚ ɧɚɲɚ ɡɚɞɚɱɚ – ɩɨɞɛɨɪ ɫɨɨɬɜɟɬɫɬɜɭɸɳɢɯ ɜɟɫɨɜ ɱɬɨɛɵ ɞɨɫɬɚɬɨɱɧɨ ɛɵɫɬɪɨ ɩɪɢɛɥɢɡɢɬɶɫɹ ɤ ɤɚɤɨɦɭ ɬɨ ɪɟɡɭɥɶɬɚɬɭ
ɑɢɫɥɨ ɷɩɨɯ ɦɨɠɟɬ ɞɨɫɬɢɝɚɬɶ ɢ ɞɟɫɹɬɤɢ ɬɵɫɹɱ ɜ ɫɥɨɠɧɵɯ ɡɚɞɚɱɚɯ ɇɚ ɩɪɚɤɬɢɤɟ ɨɛɨɡɧɚɱɟɧɵ ɞɜɚ ɨɫɧɨɜɧɵɯ ɩɨɞɯɨɞɚ ɤ ɨɛɭɱɟɧɢɸɆɟɧɟɟɪɚɫɩɪɨɫɬɪɚɧɟɧ ɉɨɨɞɧɨɦɭ ɷɤɡɟɦɩɥɹɪɭ ɧɚɲɢɯ ɞɚɧɧɵɯ ɩɪɨɜɨ
ɞɢɦ ɜ ɩɪɹɦɨɦ ɢ ɨɛɪɚɬɧɨɦ ɩɨɪɹɞɤɟ ɧɟɣɪɨɧɧɨɣ ɫɟɬɢ Ɂɚɬɟɦ ɫɱɢɬɚɟɦ ɨɲɢɛɤɢ ɨɛɧɨɜɥɹɟɦ ɜɟɫɚ ɂ ɬɚɤ ɞɟɥɚɟɦ ɫ ɤɚɠɞɵɦ ɷɤɡɟɦɩɥɹɪɨɦ ɞɚɧ ɧɵɯ ɉɨɧɹɬɧɨ ɱɬɨ ɬɚɤɨɣ ɩɨɞɯɨɞ ɧɟɦɧɨɝɨ ɭɜɟɥɢɱɢɜɚɟɬ ɢɬɨɝɨɜɭɸ ɨɲɢɛɤɭ ɬɚɤ ɤɚɤ ɩɪɨɢɫɯɨɞɢɬ ɢɞɟɚɥɶɧɵɣ ɩɨɞɝɨɧ ɬɨɱɧɨɫɬɢ ɩɨɞ ɤɚɠ ɞɵɣ ɪɟɡɭɥɶɬɚɬ
278
Ɍɚɤɠɟ ɫɭɳɟɫɬɜɭɟɬ ɩɚɤɟɬɧɨɟ ɨɛɭɱɟɧɢɟ ɤɨɝɞɚ ɩɨ ɫɟɬɢ ɩɪɨɯɨɞɢɬ ɩɨ N ɷɤɡɟɦɩɥɹɪɨɜ ɞɚɧɧɵɯ Ɉɞɧɚɤɨ ɫɥɟɞɭɟɬ ɩɨɦɧɢɬɶ ɱɬɨ ɬɚɤɨɟ ɨɛɭɱɟ ɧɢɟ ɨɝɪɚɧɢɱɟɧɨ ɪɚɡɦɟɪɨɦ ɨɩɟɪɚɬɢɜɧɨɣ ɩɚɦɹɬɢ ɩɨɷɬɨɦɭ ɜɫɺ ɨɱɟɧɶ ɛɵɫɬɪɨ ɭɩɢɪɚɟɬɫɹ ɜ ɚɩɩɚɪɚɬɧɭɸ ɫɨɫɬɚɜɥɹɸɳɭɸ
ɉɚɤɟɬ EDWFK – ɷɬɨ N ɷɤɡɟɦɩɥɹɪɨɜ ɢɡ ɞɚɧɧɵɯ ɇɚɩɪɢɦɟɪ ɟɫɥɢ ɭ ɧɚɫ ɟɫɬɶ ɬɵɫɹɱɚɷɤɡɟɦɩɥɹɪɨɜɞɚɧɧɵɯ ɬɨɦɵɦɨɠɟɦɪɚɡɛɢɬɶɢɯɧɚ ɩɚɤɟɬɨɜ ɜɤɚɠɞɨɦ ɢɡ ɤɨɬɨɪɵɯ ɛɭɞɟɬ ɩɨ ɷɤɡɟɦɩɥɹɪɨɜ
ɂɬɟɪɚɰɢɹ – ɷɬɨ ɨɬɧɨɫɢɬɟɥɶɧɵɣ ɫɢɧɨɧɢɦ ɩɚɤɟɬɚ ɂɬɟɪɚɰɢɢ ɪɚɜɧɵ ɱɢɫɥɭ ɩɚɤɟɬɨɜ ɞɚɧɧɵɯ Ɍɨ ɟɫɬɶ ɟɫɥɢ ɩɪɢɧɹɬɶ ɜɨ ɜɧɢɦɚɧɢɟ ɩɪɟɞɵɞɭɳɢɣ ɩɪɢɦɟɪ ɬɨ ɩɪɢ ɷɤɡɟɦɩɥɹɪɨɜ ɛɭɞɟɬ ɢɬɟɪɚɰɢɣ ɜ ɤɚɠɞɨɣ ɢɬɟɪɚɰɢɢ ɩɚɤɟɬ ɢɡ ɷɤ ɡɟɦɩɥɹɪɨɜ ɞɚɧɧɵɯ
ɂɬɟɪɚɰɢɸ ɦɨɠɧɨ ɜɵɱɢɫɥɢɬɶ ɩɨ ɫɥɟɞɭɸɳɟɣ ɮɨɪɦɭɥɟ
|
ɑɢɫɥɨ ɞɚɧɧɵɯ |
|
|
|
|
ɂɬɟɪɚɰɢɹ |
batch size |
|
ɗɬɨ ɬɪɢ ɨɫɧɨɜɧɵɯ ɬɟɪɦɢɧɚ ɤɨɬɨɪɵɟ ɢɫɩɨɥɶɡɭɸɬɫɹ ɜ ɨɛɭɱɟɧɢɟ ɧɟɣɪɨɧ ɧɵɯ ɫɟɬɟɣ
ǼǽȀǶǺǶǵǮȄǶȍ ǻdzǷǾǼǻǻǼǷ ǿdzȀǶ ǽǼ ǻdzǿȀdzǾǼǰȁ
ɉɨɫɤɨɥɶɤɭ ɞɚɠɟ ɩɪɨɫɬɵɟ ɛɚɡɨɜɵɟ ɚɪɯɢɬɟɤɬɭɪɵ ɧɟɣɪɨɫɟɬɢ ɫɨɫɬɨɹɬ ɢɡ ɛɨɥɶɲɨɝɨ ɱɢɫɥɚ ɩɚɪɚɦɟɬɪɨɜ ɨɛɵɱɧɨ ɷɬɨ ɬɵɫɹɱɢ – ɞɟɫɹɬɤɢ ɬɵɫɹɱ ɩɚɪɚɦɟɬ ɪɨɜ ɬɨ ɤɨɧɟɱɧɵɣ ɜɢɞ ɮɭɧɤɰɢɢ ɤɨɬɨɪɭɸ ɧɚɦ ɧɭɠɧɨ ɨɩɬɢɦɢɡɢɪɨɜɚɬɶ ɱɬɨɛɵ ɩɪɢɜɟɫɬɢ ɧɟɣɪɨɧɧɭɸ ɫɟɬɶ ɤ ɨɛɭɱɟɧɧɨɦɭ ɫɨɫɬɨɹɧɢɸ ɨɱɟɧɶ ɜɵɱɢɫɥɢɬɟɥɶɧɨ ɫɥɨɠɟɧ
Ɉɩɬɢɦɢɡɢɪɨɜɚɬɶ ɮɭɧɤɰɢɸɧɚɩɪɹɦɭɸɧɟɥɶɡɹ ɬɨ ɟɫɬɶɩɟɪɟɞ ɧɚɦɢɩɨɹɜɥɹ ɟɬɫɹ ɧɟɜɨɡɦɨɠɧɨɫɬɶ ɚɧɚɥɢɬɢɱɟɫɤɨɝɨ ɪɟɲɟɧɢɹ ɡɚɞɚɱɢ
Ɍɚɤɠɟ ɧɟɥɶɡɹ ɩɨɫɱɢɬɚɬɶ ɢ ɜɬɨɪɭɸ ɩɪɨɢɡɜɨɞɧɭɸ ɩɨ ɝɪɚɞɢɟɧɬɭ ɱɬɨɛɵ ɨɩɪɟɞɟɥɢɬɶ ɱɢɫɥɟɧɧɨ ɢɥɢ ɯɨɬɹ ɛɵ ɩɨɥɭ ɚɧɚɥɢɬɢɱɟɫɤɢ ɪɟɲɢɬɶ ɩɪɨɛɥɟɦɭ ɨɛɭ ɱɟɧɢɹ
Ɋɚɫɫɦɨɬɪɢɦɩɪɨɛɥɟɦɭɨɛɭɱɟɧɢɹɧɚɤɥɚɫɫɢɱɟɫɤɨɦɩɪɢɦɟɪɟ ɭɧɚɫɟɫɬɶɧɟ ɤɨɬɨɪɚɹ ɮɭɧɤɰɢɹ ɞɥɹ ɤɨɬɨɪɨɣ ɧɚɦ ɧɭɠɧɨ ɧɚɣɬɢ ɦɢɧɢɦɭɦ
279