У чым розніца паміж крывой ROC і крывой дакладнасці адклікання? Калі я павінен выкарыстоўваць усіх?


адказ 1:

Крывыя ROC і PR - важныя параметры прадукцыйнасці алгарытму. Значэнне крывой PR становіцца больш глыбокім, калі дадзеныя вельмі скажаюцца. Існуе глыбокая сувязь паміж ROC і PR SPACE, так што крывая дамінуе ў зоне ROC і толькі тады, калі яна дамінуе ў памяшканні PR.

Мы павінны быць асцярожнымі пры працы з алгарытмамі, распрацаванымі для скажоных дадзеных, бо крывая ROC не гарантуе аптымізацыю вобласці пад крывой PR.

Ключавы момант: простая лінейная інтэрпаляцыя паміж кропкамі ў PR-прасторы недастатковая


адказ 2:

Паколькі людзі ніжэй, асабліва Прэм. Я сказаў, што адрозненні заключаюцца ў тым, як вы падыходзіце да праблемы. З вельмі фармальнага пункту гледжання, крывыя PR надзвычай карысныя і значна больш пераважныя, калі вашы дадзеныя маюць моцны дысбаланс класа. Праверце гэты цудоўны дакумент, калі хочаце даведацца больш пра яго - http: //pages.cs.wisc.edu/~jdavis ...


адказ 3:

Давайце спачатку разгледзім некаторыя прыклады крывых.

Крывая ROC

Крывая дакладнасці нагадвання

Такім чынам, вы прымаеце ўсе вашыя прагнастычныя значэнні і:

  • Для ROC мы пабудуем сапраўдныя станоўчыя тарыфы (TPR) і ілжывыя станоўчыя тарыфы (FPR) для ўсіх парогаў для крывой дакладнасці нагадвання. Мы праводзім Precision (PPV) і Recall (гэта таксама TPR) для ўсіх магчымых парогаў.

Я думаю, што інтуітыўную розніцу паміж крывымі можна зразумець, паглядзеўшы на AUC (вобласць пад крывой) для абодвух.

Адрозненне і калі яго выкарыстоўваць:

Розніца заключаецца ў тым, што ROC-AUC лічыць сапраўдна-станоўчы паказчык TPR і ілжыва-станоўчы паказчык FPR, у той час як PR-AUC лічыць станоўчае прагнастычнае значэнне PPV і сапраўдна-станоўчы паказчык TPR для кожнага парога.

Калі вы больш зацікаўлены ў станоўчым класе, лепш скарыстацца PR AUC, які больш адчувальны да паляпшэння станоўчага класа. Распаўсюджаны сцэнар - гэта вельмі незбалансаваны набор дадзеных, дзе доля станоўчага класа, які мы хочам знайсці, невялікая. Памятаеце, што нас тут не хвалюе ілжывая станоўчая стаўка.

Калі вы аднолькава зацікаўлены ў станоўчым і адмоўным класе альбо ваш набор дадзеных дастаткова збалансаваны, добра выбраць ROC AUC. Калі ваш набор дадзеных не збалансаваны, але вы аднолькава зацікаўлены ў абодвух класах з ROC AUC, гэта, вядома, можа быць добра, але памятайце, што вы разлічваеце.

Даведайцеся больш пра паказчыкі:

  • Артыкул Takaya Saito і Marc Rehmsmeier з вычарпальным параўнаннем PR AUC і ROC AUC: Артыкулы з агульнымі "гэтымі супраць" рашэнняў, у тым ліку PR AUC супраць ROC AUCarticle з іншымі (24) метрыкамі ацэнкі для бінарнай класіфікацыі

адказ 4:

Давайце спачатку разгледзім некаторыя прыклады крывых.

Крывая ROC

Крывая дакладнасці нагадвання

Такім чынам, вы прымаеце ўсе вашыя прагнастычныя значэнні і:

  • Для ROC мы пабудуем сапраўдныя станоўчыя тарыфы (TPR) і ілжывыя станоўчыя тарыфы (FPR) для ўсіх парогаў для крывой дакладнасці нагадвання. Мы праводзім Precision (PPV) і Recall (гэта таксама TPR) для ўсіх магчымых парогаў.

Я думаю, што інтуітыўную розніцу паміж крывымі можна зразумець, паглядзеўшы на AUC (вобласць пад крывой) для абодвух.

Адрозненне і калі яго выкарыстоўваць:

Розніца заключаецца ў тым, што ROC-AUC лічыць сапраўдна-станоўчы паказчык TPR і ілжыва-станоўчы паказчык FPR, у той час як PR-AUC лічыць станоўчае прагнастычнае значэнне PPV і сапраўдна-станоўчы паказчык TPR для кожнага парога.

Калі вы больш зацікаўлены ў станоўчым класе, лепш скарыстацца PR AUC, які больш адчувальны да паляпшэння станоўчага класа. Распаўсюджаны сцэнар - гэта вельмі незбалансаваны набор дадзеных, дзе доля станоўчага класа, які мы хочам знайсці, невялікая. Памятаеце, што нас тут не хвалюе ілжывая станоўчая стаўка.

Калі вы аднолькава зацікаўлены ў станоўчым і адмоўным класе альбо ваш набор дадзеных дастаткова збалансаваны, добра выбраць ROC AUC. Калі ваш набор дадзеных не збалансаваны, але вы аднолькава зацікаўлены ў абодвух класах з ROC AUC, гэта, вядома, можа быць добра, але памятайце, што вы разлічваеце.

Даведайцеся больш пра паказчыкі:

  • Артыкул Takaya Saito і Marc Rehmsmeier з вычарпальным параўнаннем PR AUC і ROC AUC: Артыкулы з агульнымі "гэтымі супраць" рашэнняў, у тым ліку PR AUC супраць ROC AUCarticle з іншымі (24) метрыкамі ацэнкі для бінарнай класіфікацыі