{"id":7956,"date":"2020-05-02T15:19:45","date_gmt":"2020-05-02T10:19:45","guid":{"rendered":"http:\/\/business-inform.susu.ru\/pisb-lms\/?post_type=lesson&p=7956"},"modified":"2020-06-01T18:03:21","modified_gmt":"2020-06-01T15:03:21","slug":"entropiya-obedineniya-dvuh-istochnikov","status":"publish","type":"lesson","link":"https:\/\/is-master.susu.ru\/tutor\/lesson\/entropiya-obedineniya-dvuh-istochnikov\/","title":{"rendered":"\u042d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f \u0434\u0432\u0443\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432"},"content":{"rendered":"

\u042d\u043d\u0442\u0440\u043e\u043f\u0438\u044e H(X,Y)<\/span> \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f \u0434\u0432\u0443\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 X<\/span> \u0438 Y<\/span> \u043d\u0430\u0445\u043e\u0434\u044f\u0442 \u0447\u0435\u0440\u0435\u0437 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0438 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0433\u043e \u043f\u043e\u044f\u0432\u043b\u0435\u043d\u0438\u044f \u043f\u0430\u0440 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0439 x_i, y-j<\/span> \u0434\u043b\u044f \u0432\u0441\u0435\u0445 i = 1 \\dots k, j = 1 \\dots l<\/span>, \u043a\u043e\u0442\u043e\u0440\u044b\u0435 \u043e\u0431\u043e\u0437\u043d\u0430\u0447\u0430\u044e\u0442\u0441\u044f \u043a\u0430\u043a \u0438p(x_i, y_j)<\/span>. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e \u0441\u043e\u0441\u0442\u0430\u0432\u043b\u044f\u0435\u0442\u0441\u044f \u043c\u0430\u0442\u0440\u0438\u0446\u0430 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u044b\u0445 \u0431\u0435\u0437\u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0445 \u0432\u0435\u0440\u043e\u044f\u0442\u043d\u043e\u0441\u0442\u0435\u0439 \u0434\u0432\u0443\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432:<\/p>\n

p(x_i, y_j) = \\begin{bmatrix}p(x_1, y_1)&&p(x_1, y_2)&&p(x_1, y_3)&& \\dots &&p(x_1, y_k)\\\\p(x_2, y_1)&&p(x_2, y_2)&&p(x_2, y_3)&& \\dots &&p(x_2, y_k)\\\\ \\dots && \\dots && \\dots && \\dots && \\dots \\\\p(x_k, y_1)&&p(x_k, y_2)&&p(x_k, y_3)&& \\dots &&p(x_k, y_k)\\end{bmatrix} \\qquad(1.23)<\/span><\/p>\n

\u042d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u043e\u0431\u044a\u0435\u0434\u0438\u043d\u0435\u043d\u0438\u044f \u0434\u0432\u0443\u0445 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 H(X,Y)<\/span> (\u0438\u043b\u0438 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u0430\u044f \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f) \u2014 \u044d\u0442\u043e \u0441\u0440\u0435\u0434\u043d\u0435\u0435 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u043a\u043e\u0442\u043e\u0440\u043e\u0435 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u0442\u0441\u044f \u043d\u0430 \u0434\u0432\u0430 \u043b\u044e\u0431\u044b\u0445 \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u044f \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 X<\/span> \u0438 Y<\/span> \u0438 \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u043a\u0430\u043a<\/p>\n

H(X,Y) = \u2212\\sum_{ij}{p(x_i, y_j) \\log_2{p(x_i, y_j)}} \\qquad(1.24)<\/span><\/p>\n

\u0418\u0437 p(x_i, y_j) = p(y_j, x_i)<\/span> \u0441\u043b\u0435\u0434\u0443\u0435\u0442, \u0447\u0442\u043e H(X, Y) = H(Y, X)<\/span>.<\/p>\n

\u0418\u0441\u043f\u043e\u043b\u044c\u0437\u0443\u044f \u0444\u043e\u0440\u043c\u0443\u043b\u044b (1.7), (1.17), (1.9), (1.3), \u0440\u0430\u0441\u043f\u0438\u0448\u0435\u043c \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 (1.24) \u0441\u043b\u0435\u0434\u0443\u044e\u0449\u0438\u043c \u043e\u0431\u0440\u0430\u0437\u043e\u043c<\/p>\n

H(X\/Y) = \u2212\\sum_{ij}{p(x_i)p(y_j\/x_i) \\log_2 [p(x_i)p(y_j\/x_i)]} = \\\\ = \u2212 \\{\\sum_{ij}{p(x_i)p(y_j\/x_i) \\log_2{p(x_i)}} + \\sum_{ij}{p(x_i)p(y_j\/x_i) \\log_2{p(y_j\/x_i)}} \\} = \\\\ = \u2212 \\{ \\sum_i{p(x_i)log_2{p(x_i)}} \\sum_j{p(y_j\/x_i)} + \\sum_i{p(x_i) \\sum_j{p(y_j\/x_i)\\log_2{p(y_j\/x_i)}}} \\}<\/span>.<\/p>\n

\u041f\u0435\u0440\u0432\u043e\u0435 \u0441\u043b\u0430\u0433\u0430\u0435\u043c\u043e\u0435 \u044d\u0442\u043e\u0433\u043e \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u044f \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0431\u0435\u0437\u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0439 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 H(X)<\/span> (1.3), \u0430 \u0432\u0442\u043e\u0440\u043e\u0435 \u2014 \u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0439 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 H(Y\/X)<\/span> (1.19). \u041e\u0442\u043a\u0443\u0434\u0430 \u0441\u043b\u0435\u0434\u0443\u0435\u0442, \u0447\u0442\u043e <\/p>\n

H(X,Y) = H(X) + H(Y\/X) \\qquad(1.25)<\/span><\/p>\n

\u041d\u0430 \u043e\u0441\u043d\u043e\u0432\u0430\u043d\u0438\u0438 \u0441\u0438\u043c\u043c\u0435\u0442\u0440\u0438\u0447\u043d\u043e\u0441\u0442\u0438 \u0444\u043e\u0440\u043c\u0443\u043b \u0430\u043d\u0430\u043b\u043e\u0433\u0438\u0447\u043d\u043e\u0435 \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435 \u0434\u043b\u044f \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0439 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 H(X,Y)<\/span> \u0438\u043c\u0435\u0435\u0442 \u0432\u0438\u0434<\/p>\n

H(X,Y) = H(Y) + H(X\/Y) \\qquad(1.26)<\/span>.<\/p>\n

\u041e\u0442\u043a\u0443\u0434\u0430 \u0441\u043b\u0435\u0434\u0443\u0435\u0442, \u0447\u0442\u043e<\/p>\n

H(Y\/X) = H(X,Y) \u2212 H(X) \\qquad(1.27)<\/span>;<\/p>\n

H(X\/Y) = H(X,Y) \u2212 H(Y) \\qquad(1.28)<\/span>.<\/p>\n

\u041a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u043e \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438, \u043f\u0440\u0438\u0445\u043e\u0434\u044f\u0449\u0435\u0435\u0441\u044f \u043d\u0430 \u043e\u0434\u043d\u043e \u0441\u043e\u043e\u0431\u0449\u0435\u043d\u0438\u0435, \u043f\u0435\u0440\u0435\u0434\u0430\u043d\u043d\u043e\u0435 \u043f\u043e \u043a\u0430\u043d\u0430\u043b\u0443 \u0441\u0432\u044f\u0437\u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u043c X<\/span> \u043d\u0430\u0431\u043b\u044e\u0434\u0430\u0442\u0435\u043b\u044e Y<\/span> 1.3 \u043f\u0440\u0438 \u043d\u0430\u043b\u0438\u0447\u0438\u0438 \u043f\u043e\u043c\u0435\u0445 \u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0432\u0437\u0430\u0438\u043c\u043e\u0441\u0432\u044f\u0437\u0438 \u0430\u043d\u0441\u0430\u043c\u0431\u043b\u0435\u0439 X<\/span> \u0438 Y<\/span> \u043e\u043f\u0440\u0435\u0434\u0435\u043b\u044f\u0435\u0442\u0441\u044f \u0432\u044b\u0440\u0430\u0436\u0435\u043d\u0438\u0435\u043c<\/p>\n

I(X,Y) = H(X) \u2212 H(X\/Y) = H(Y) \u2212 H(Y\/X) = H(Y) + H(X) \u2212 H(X,Y) \\qquad(1.29)<\/span>,<\/p>\n

\u0447\u0442\u043e \u0441\u043e\u043e\u0442\u0432\u0435\u0442\u0441\u0442\u0432\u0443\u0435\u0442 \u0447\u0435\u0442\u0432\u0435\u0440\u0442\u043e\u043c\u0443 \u0441\u0432\u043e\u0439\u0441\u0442\u0432\u0443 \u043a\u043e\u043b\u0438\u0447\u0435\u0441\u0442\u0432\u0430 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u0438 \u0438 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438.<\/p>\n

\u0421\u0432\u043e\u0439\u0441\u0442\u0432\u0430 \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u043e\u0439 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438<\/strong>:
\n\u043f\u0440\u0438 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u043d\u0435\u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 X<\/span> \u0438 Y<\/span> \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u0430\u044f \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0440\u0430\u0432\u043d\u0430 \u0441\u0443\u043c\u043c\u0435 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u043d\u0438\u0445 H(X,Y) = H(X) + H(Y)<\/span>;<\/p>\n

\u043f\u0440\u0438 \u043f\u043e\u043b\u043d\u043e\u0439 \u0441\u0442\u0430\u0442\u0438\u0441\u0442\u0438\u0447\u0435\u0441\u043a\u043e\u0439 \u0437\u0430\u0432\u0438\u0441\u0438\u043c\u043e\u0441\u0442\u0438 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432 X<\/span> \u0438 Y<\/span> \u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u0430\u044f \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f \u0440\u0430\u0432\u043d\u0430 \u0431\u0435\u0437\u0443\u0441\u043b\u043e\u0432\u043d\u043e\u0439 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0438 \u043e\u0434\u043d\u043e\u0433\u043e \u0438\u0437 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432, \u0442.\u0435. H(X,Y) = H(X) = H(Y)<\/span>;<\/p>\n

\u0441\u043e\u0432\u043c\u0435\u0441\u0442\u043d\u0430\u044f \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u044f X<\/span> \u0438 Y<\/span> \u043c\u0435\u043d\u044c\u0448\u0435 \u0441\u0443\u043c\u043c\u044b \u0431\u0435\u0437\u0443\u0441\u043b\u043e\u0432\u043d\u044b\u0445 \u044d\u043d\u0442\u0440\u043e\u043f\u0438\u0439 \u043a\u0430\u0436\u0434\u043e\u0433\u043e \u0438\u0437 \u0438\u0441\u0442\u043e\u0447\u043d\u0438\u043a\u043e\u0432, \u0442.\u0435. H(X,Y) \\le H(X) + H(Y)<\/span>.<\/p>\n","protected":false},"excerpt":{"rendered":"","protected":false},"featured_media":8371,"comment_status":"open","ping_status":"closed","template":"","meta":[],"lesson-tag":[],"_links":{"self":[{"href":"https:\/\/is-master.susu.ru\/tutor\/wp-json\/wp\/v2\/lessons\/7956"}],"collection":[{"href":"https:\/\/is-master.susu.ru\/tutor\/wp-json\/wp\/v2\/lessons"}],"about":[{"href":"https:\/\/is-master.susu.ru\/tutor\/wp-json\/wp\/v2\/types\/lesson"}],"replies":[{"embeddable":true,"href":"https:\/\/is-master.susu.ru\/tutor\/wp-json\/wp\/v2\/comments?post=7956"}],"version-history":[{"count":1,"href":"https:\/\/is-master.susu.ru\/tutor\/wp-json\/wp\/v2\/lessons\/7956\/revisions"}],"predecessor-version":[{"id":8381,"href":"https:\/\/is-master.susu.ru\/tutor\/wp-json\/wp\/v2\/lessons\/7956\/revisions\/8381"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/is-master.susu.ru\/tutor\/wp-json\/wp\/v2\/media\/8371"}],"wp:attachment":[{"href":"https:\/\/is-master.susu.ru\/tutor\/wp-json\/wp\/v2\/media?parent=7956"}],"wp:term":[{"taxonomy":"lesson-tag","embeddable":true,"href":"https:\/\/is-master.susu.ru\/tutor\/wp-json\/wp\/v2\/lesson-tag?post=7956"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}