Categorical crossentropy የኪሳራ ተግባር ሲሆን በባለብዙ ክፍል ምደባ ስራዎች ላይ ጥቅም ላይ ይውላል። እነዚህ ምሳሌዎች ከብዙ ምድቦች ውስጥ የአንዱ ብቻ ሊሆኑ የሚችሉባቸው ተግባራት ናቸው, እና ሞዴሉ የትኛውን መወሰን አለበት. በመደበኛነት፣ በሁለት የይሆናልነት ስርጭቶች መካከል ያለውን ልዩነት ለመለካት የተነደፈ ነው።
ከMSE ይልቅ መስቀል ኢንትሮፒ ለምን ይጠቀማሉ?
መጀመሪያ፣ ክሮስ-ኤንትሮፒ (ወይም Softmax loss፣ ግን ክሮስ-ኤንትሮፒ በተሻለ ሁኔታ ይሰራል) ለምድብ ከMSE የተሻለ መለኪያ ነው፣ በምደባ ተግባር ውስጥ ያለው የውሳኔ ወሰን ትልቅ ስለሆነ(ከዳግም ተሃድሶ ጋር ሲነጻጸር)። … ለማገገም ችግሮች ሁል ጊዜ MSE ን መጠቀም ይችላሉ።
በተጠባባቂ መስቀል ኢንትሮፒ እና በምድብ መስቀል ኢንትሮፒ መካከል ያለው ልዩነት ምንድን ነው?
በምድብ ምድብ መስቀል ኢንትሮፒ እና በምድብ መስቀል ኢንትሮፒ መካከል ያለው ብቸኛው ልዩነት የእውነተኛ መለያዎች ቅርጸት ነው። ባለአንድ መለያ ባለብዙ ክፍል ምደባ ችግር ሲኖረን መለያዎቹ ለእያንዳንዱ ውሂብ እርስ በርስ የሚጋጩ ናቸው ይህም ማለት እያንዳንዱ የውሂብ ግቤት የአንድ ክፍል ብቻ ሊሆን ይችላል።
የምድብ ኢንትሮፒ ኪሳራን እንዴት ይተረጉማሉ?
ክሮስ ኢንትሮፒ ይጨምራል ተብሎ የሚጠበቀው የናሙና የመገመት እድሉ ከትክክለኛው ዋጋ ሲለያይ። ስለዚህ ትክክለኛ መለያው 1 ዋጋ ሲኖረው የ0.05 ዕድል መተንበይ የክሮስ ኢንትሮፒ ኪሳራ ይጨምራል። ለዚያ ናሙና በ0 እና 1 መካከል ያለውን የተተነበየ እድል ያመለክታል።
ለምንድነው መስቀል ኢንትሮፒ ጥሩ የሆነው?
በአጠቃላይ፣ እንደምናየው መስቀል-ኢንትሮፒ የአንድን ሞዴል ዕድል የሚለካበት መንገድ ነው። መስቀለኛ መንገድ አንድ ሞዴል ምን ያህል ሊሆን እንደሚችል እና የእያንዳንዱን የውሂብ ነጥብ የስህተት ተግባር መግለጽ ስለሚችል ጠቃሚ ነው። እንዲሁም የተተነበየውን ውጤት ከእውነተኛው ውጤት ጋር በማነፃፀር ለመግለፅ ጥቅም ላይ ሊውል ይችላል።
