న్యూరల్ నెట్‌వర్క్‌లలో దాచిన పొర మరియు ప్రొజెక్షన్ మధ్య తేడా ఏమిటి?                    https://arxiv.org/pdf/1301.3781.pdf


సమాధానం 1:
ప్రొజెక్షన్ పొర ఒక n- గ్రామ్ సందర్భం యొక్క వివిక్త పద సూచికలను నిరంతర వెక్టర్ స్థలానికి మ్యాప్ చేస్తుంది.

ఈ థీసిస్‌లో వివరించినట్లు

ప్రొజెక్షన్ పొరను పంచుకుంటారు, అదే పదాన్ని ఒకేసారి కలిగి ఉన్న సందర్భాలకు, ప్రొజెక్షన్ వెక్టర్ యొక్క ప్రతి భాగాన్ని రూపొందించడానికి ఒకే బరువులు వర్తించబడతాయి. ప్రతి సందర్భ శిక్షణా నమూనా యొక్క ప్రతి పదం వ్యక్తిగతంగా బరువు విలువలకు మార్పులను దోహదం చేస్తుంది కాబట్టి ఈ సంస్థ ప్రొజెక్షన్ లేయర్ బరువులు శిక్షణ కోసం అందుబాటులో ఉన్న డేటాను సమర్థవంతంగా పెంచుతుంది.

ప్రొజెక్షన్ లేయర్ బరువులు మాతృక నుండి నిలువు వరుసలను కాపీ చేయడం ద్వారా ప్రొజెక్షన్ పొర యొక్క అవుట్పుట్ ఎలా సమర్ధవంతంగా సమీకరించబడుతుందో ఈ సంఖ్య చూపిస్తుంది. ప్రొజెక్షన్ లేయర్‌లోని ప్రతి న్యూరాన్ పదజాలం పరిమాణానికి సమానమైన అనేక బరువులతో ప్రాతినిధ్యం వహిస్తుంది. నాన్-లీనియర్ యాక్టివేషన్ ఫంక్షన్‌ను ఉపయోగించకుండా ప్రొజెక్షన్ లేయర్ దాచిన మరియు అవుట్పుట్ లేయర్‌లకు భిన్నంగా ఉంటుంది. అటువంటి వెక్టర్లను వర్గీకరించడానికి శిక్షణ పొందిన దాచిన మరియు అవుట్పుట్ పొరల ద్వారా తదుపరి ప్రాసెసింగ్ కోసం ఇచ్చిన n- గ్రామ్ సందర్భాన్ని తక్కువ నిరంతర వెక్టర్ స్థలానికి ప్రొజెక్ట్ చేయడానికి సమర్థవంతమైన మార్గాలను అందించడం దీని ఉద్దేశ్యం. ఇన్పుట్ వెక్టర్ మూలకాల యొక్క ఒకటి లేదా సున్నా స్వభావాన్ని బట్టి, ఇండెక్స్ i తో ఒక నిర్దిష్ట పదం యొక్క అవుట్పుట్ కేవలం ప్రొజెక్షన్ లేయర్ బరువులు యొక్క శిక్షణ పొందిన మాతృక యొక్క ith కాలమ్ (ఇక్కడ మాతృక యొక్క ప్రతి అడ్డు వరుస ఒకే న్యూరాన్ యొక్క బరువులను సూచిస్తుంది ).

ఇప్పుడు, దాచిన పొర:

దాచిన పొర ప్రొజెక్షన్ పొర యొక్క అవుట్‌పుట్‌ను ప్రాసెస్ చేస్తుంది మరియు టోపోలాజీ కాన్ఫిగరేషన్ ఫైల్‌లో పేర్కొన్న అనేక న్యూరాన్‌లతో కూడా సృష్టించబడుతుంది.