У чым розніца паміж укладаннем і схаваным пластом аўта-кадэры?


адказ 1:

Устаўка - гэта сапраўды матэматычны тэрмін. Я думаю, што гэта паходзіць з тапалогіі.

Асноўная ідэя складаецца ў тым, што ў вас ёсць нейкі складаны аб'ект (прастора), але нейкім чынам уставіць яго (альбо ўбудаваць яго) у эўклідавую прастору. На практыцы гэта азначае, што кожная кропка ў гэтай першапачатковай прасторы мае каардынаты ўнутры гэтай эўклідавай прасторы. Вы можаце сабе ўявіць, што вы літаральна прымаеце рэч у выглядзе зоркі і апускаеце яе на дэкартавы ўзровень. Цяпер кожная вяршыня зоркі мае каардынаты. Відавочна, што гэтыя каардынаты не ўласцівыя таму, што вы маглі б размясціць аб'ект у іншым месцы і паварочваць па-іншаму. Але ёсць нешта істотнае. Напрыклад, зараз можна разлічыць адлегласці паміж вяршынямі, выкарыстоўваючы гэтыя каардынаты, і яны не будуць мяняцца незалежна ад таго, як вы ўстаўляеце аб'ект. Такім чынам вы даведаецеся што-небудзь пра аб'ект.

Вы, напэўна, ведаеце знакамітую гісторыю Архімеда, які высветліў, што карона, якую ён павінен быў агледзець, не была з цвёрдага золата. Ён "убудаваў" яго ў вадкасць і прачытаў яе аб'ём. Аб'ём не змяніўся б, калі б ён уставіў іх па-іншаму. Мы выкарыстоўваем нашы ўбудовы сапраўды гэтак жа.

Гэта ўсё тэарэтычна, але як вы на самай справе ўстаўляць вылічальны аб'ект? Скажам, у нас ёсць фатаграфія, і мы хочам яе ўставіць. Гэта лёгка, бо малюнак - гэта проста шэраг лічбаў (у форме 3d, калі колер, 2d, калі шэры адценне), і мы можам проста ператварыць гэта ў адзіны вектар, і мы ўсё скончым. Малюнак цяпер з'яўляецца эўклідавым вектарам. Гэта ўкладанне, але не карысна, таму што, калі вы разлічваеце рэчы Эўкліда (адлегласці і куты) паміж выявамі, яны не азначаюць нічога карыснага. Калі мы робім машыннае навучанне, мы сапраўды хочам атрымаць убудаванне, у якім аб'екты, якія знаходзяцца побач, некалькі падобныя, а прадметы, якія знаходзяцца далёка, розныя. Калі ў вас ёсць такая ўбудаваная праграма, яе лёгка пераўтварыць у сістэму класіфікацыі, рэгрэсіі ці ранжыравання для любой задачы, якая ўлічвае падобнае падабенства. Сапраўды складана вызначыць, што азначае падабенства ў тым ці іншым выпадку.

(Звярніце ўвагу, што вы можаце таксама ўстаўляць асобныя прадметы, такія як словы, пачынаючы з гарачага кадавання.)

Адзін са спосабаў убудавання - гэта аўтаматычны кадэр.

Схаваны пласт аўтаматычнага кадара, відавочна, з'яўляецца вектарам, гэта значыць укладаннем. Акрамя таго, ён утрымлівае інфармацыю пра ўзнаўленне арыгінальнага аб'екта, які, аднак, захоўваецца кампактна. Звычайна аўта-кадавальнік аптымізуе памылку рэканструкцыі, таму можна спадзявацца, што гэты схаваны пласт адпавядае гэтай уласцівасці, калі невялікае змяненне пласта прывядзе да невялікага змене высновы і наадварот. Гэта лепшае ўкладанне, чым арыгінальны ўвод? Гэта суб'ектыўна, але, па меншай меры, гэта маштабнае ўкладанне, чым арыгінал, таму што ў гэтым выпадку вы звычайна выкарыстоўвалі схаваны пласт ніжэйшых памераў.

Ці сапраўды гэта добрае ўкладанне ў практыку? Я б не сказаў, што на самой справе. У некаторых выпадках гэта можа быць самае лепшае, што вы можаце зрабіць. Прычына, чаму гэта не так добра, проста ў тым, што два аб'екты падобныя, калі іх першапачатковае прадстаўленне блізкае адзін да аднаго па эўклідавай адлегласці. Іншымі словамі, ваша першапачатковая рэалізацыя мяркуецца як укладанне, і знойдзена толькі іншае нізкамернае ўкладанне, якое набліжае яго, і мы спадзяемся, што гэта дасць нам нешта карыснае. Можа, але гарантыі няма. Гэта моцна залежыць ад таго, ці адпавядала ваша першапачатковая выява для эўклідавых вымярэнняў адлегласці.

Як правіла, больш паспяховыя ўкладанні навучаюцца па дыскрымінацыйных задачах. Там можна сказаць, што два аб'екты падобныя, калі яны належаць да аднаго класа ў задачы класіфікацыі альбо даюць блізкія вынікі ў выпадку рэгрэсіі.

Такім чынам, схаваны ўзровень аўтаматычнага кадара - гэта тып ўбудавання, але звычайна гэта не самае лепшае, што можна зрабіць.


адказ 2:

Дзмітрый ужо дакладна растлумачыў розніцу ў сваім адказе. Мала што дадаць ...

  • Тэрмін "убудаванне", які выкарыстоўваецца ў гэтым кантэксце, звычайна ставіцца да вектара, які мае памяншанае размернае прадстаўленне некаторых зыходных дадзеных, з маніторыраванай / без увагі мадэллю, якая выконвае памяншэнне памеру. Зніжэнне памераў часта прыводзіць да вектара, які фіксуе некаторыя сэнсавыя ўласцівасці ў межах дыяпазону ўваходных дадзеных. Напрыклад, у мадэлі ўбудавання / вектараў word2vec, вектар для слоў "кошкі", хутчэй за ўсё, будзе бліжэй (напрыклад, косінус) да вектара для "сабак", чым да слова "самалёты" (мяркуючы) што ва ўступных трэніроўках трупы котак і сабак альбо непасрэдна / ускосна часцей узгадваюцца разам, чым «кошкі» і «самалёты». і г.д. мадэль паслядоўнасці, напрыклад, LSTM (скрыты стан - гэта прадстаўленне ўсіх уваходных дадзеных, якія бачылі да гэтага моманту, - таму можа служыць укладаннем прапаноў. Напрыклад, у выпадку машыннага перакладу яна можа служыць кадзіроўкай набору моў уводу, які затым пастаўляецца ў дэкадэр на іншай мове ).