Skip to content

Meaning of Precision / Recall in AI

系統檢測能力評估指標 #

  • NG產品 :

 

 

 

 

 

 

 

 

  • OK產品 :

 

  • Positive : 實際所關注的類別,本例為NG產品
  • Negative : 與關注類別相對的產品,本例為OK產品
  • True Positive(TP) = NG產品,且被系統正確判定為NG產品
  • True Negative(TN) = OK產品,且被系統正確判定為OK產品
  • False Positive(FP) = OK產品,但被系統判定為NG產品
  • False Negative(FN) = NG產品,但被系統判定為OK產品

當檢測系統輸出 = NG

當檢測系統輸出 = OK

召回率與精確率 #

  • 召回率 = TP/(TP+FN)
  • 精確率 = TP/(TP+FP)

當檢測條件 = 中等 #

  • 召回率 = TP/(TP+FN) = 8/9 = 0.89

=> 每100瑕疵品,會有11件流出

  • 精確率 = TP/(TP+FP) = 8/10 = 0.80

=> 每100件被系統判斷為瑕疵的產品,實際上其中只有80件為瑕疵品

當檢測條件 = 嚴格 (提高檢測條件,確保NG產品不外流) #

 

  • 召回率 = TP/(TP+FN) = 9/9 = 1.00

=> 瑕疵品都能100%檢出,不會流出

  • 精確率 = TP/(TP+FP) = 9/12 = 0.75

=> 每100件被系統判斷為瑕疵的產品,實際上其中只有75件為瑕疵品

 

情境 #

  • 一、假設工廠生產良率為80%,即每一百件有80件良品, 20件NG
    • 導入一召回率89%、精確率80%的檢測系統,當生產100件產品,20件NG品中會有 2.2( = 20*(1-0.89))件NG品流出,會有25 ( = 20/0.80)件被系統判為NG,需要人員複判

系統導入效益:

      1. 有11%的NG品會流出
      2. 人員檢測由百百檢,減少為100件檢須檢測25件,Workload減少至原本的 25%
  • 二、假設工廠生產良率為80%,即每一百件有80件良品, 20NG
    • 導入一召回率100%、精確率75%的檢測系統,當生產100件產品,不會有瑕疵品流出,會有26.67 ( = 20/0.75)件被系統判為NG,需要人員複判

系統導入效益:

      1. NG品不會流出
      2. 人員檢測由百百檢,減少為100件檢須檢測26.67件,Workload減少至原本的 26.67%
  • 三、假設工廠生產良率為99%,即每一百件有99件良品, 1NG
    • 導入一召回率100%、精確率75%的檢測系統,當生產100件產品,不會有瑕疵品流出,會有1.33 ( = 1/0.75)件被系統判為NG,需要人員複判

系統導入效益:

      1.  NG品不會流出
      2. 人員檢測由百百檢,減少為100件檢須檢測1.33件,Workload減少至原本的 1.33%

 

 

Powered by BetterDocs