๐ ๋ ผ๋ฌธ ๋ฆฌ๋ทฐ
-
Word2Vec์ Skip-gram ๋ชจ๋ธ Distributed Representations of Words and Phrases and their Compositionality ๐ก๋ค์ด๊ฐ๊ธฐ ์ ๊ฐ๋ ์ ๋ฆฌ Distributed Representation(๋ถํฌ ๊ธฐ๋ฐ์ ๋จ์ด ํํ) '๋น์ทํ ์์น์์ ๋ฑ์ฅํ๋ ๋จ์ด๋ค์ ๋น์ทํ ์๋ฏธ๋ฅผ ๊ฐ์ง๋ค'๋ผ๋ ๋ถํฌ ๊ฐ์ค์ ๊ธฐ๋ฐํด ์ฃผ๋ณ ๋จ์ด ๋ถํฌ๋ฅผ ๊ธฐ์ค์ผ๋ก ๋จ์ด์ ๋ฒกํฐ ํํ์ด ๊ฒฐ์ ๋๊ธฐ ๋๋ฌธ์ ๋ถ์ฐ ํํ(Distributed representation)์ด๋ผ๊ณ ๋ถ๋ฆ cf) ์-ํซ ์ธ์ฝ๋ฉ(One-hot Encoding) ๋ฒ์ฃผํ(categorical) ๋ณ์๋ฅผ ๋ฒกํฐํ ex) [1 0 0 0], [0 1 0 0], [0 0 1 0], [0 0 0 1] ๋จ์ : ์ฝ์ฌ์ธ ์ ์ฌ๋ ๊ฐ์ด 0 => ๋จ..
[Word2Vec] Distributed Representations of Words and Phrases and their CompositionalityWord2Vec์ Skip-gram ๋ชจ๋ธ Distributed Representations of Words and Phrases and their Compositionality ๐ก๋ค์ด๊ฐ๊ธฐ ์ ๊ฐ๋ ์ ๋ฆฌ Distributed Representation(๋ถํฌ ๊ธฐ๋ฐ์ ๋จ์ด ํํ) '๋น์ทํ ์์น์์ ๋ฑ์ฅํ๋ ๋จ์ด๋ค์ ๋น์ทํ ์๋ฏธ๋ฅผ ๊ฐ์ง๋ค'๋ผ๋ ๋ถํฌ ๊ฐ์ค์ ๊ธฐ๋ฐํด ์ฃผ๋ณ ๋จ์ด ๋ถํฌ๋ฅผ ๊ธฐ์ค์ผ๋ก ๋จ์ด์ ๋ฒกํฐ ํํ์ด ๊ฒฐ์ ๋๊ธฐ ๋๋ฌธ์ ๋ถ์ฐ ํํ(Distributed representation)์ด๋ผ๊ณ ๋ถ๋ฆ cf) ์-ํซ ์ธ์ฝ๋ฉ(One-hot Encoding) ๋ฒ์ฃผํ(categorical) ๋ณ์๋ฅผ ๋ฒกํฐํ ex) [1 0 0 0], [0 1 0 0], [0 0 1 0], [0 0 0 1] ๋จ์ : ์ฝ์ฌ์ธ ์ ์ฌ๋ ๊ฐ์ด 0 => ๋จ..
2022.08.11 -
Joint Learning of Words and Meaning Representations for Open-Text Semantic Parsing ๐ก๋ค์ด๊ฐ๊ธฐ ์ ๊ฐ๋ ์ ๋ฆฌ Semantic parsing ์์ฐ์ด ๋ฐํ(NLU)๋ฅผ ๊ธฐ๊ณ๊ฐ ์ดํดํ ์ ์๋ formal meaning representation(MR)๋ก ๋ณํํ๋ ๊ฒ -> a~c: NLU, d: MR MR(meaning representation) ์ธ์ด์ input์ ์๋ฏธ๋ฅผ ํฌ์ฐฉํ๋ ํ์์ ๊ตฌ์กฐ(formal structure) ๋ฏธ๋ฌํ ์ธ์ด์ ๋์์ค์ ์ธ์์ ๋ํ ๋น์ธ์ด์ ์์ ์ฌ์ด์ ๋ค๋ฆฌ(bridge)๋ผ๊ณ ํ ์ ์์ ex) ์๋๋ฐฉ์ด ๋๋ฅผ ์นญ์ฐฌํ ๊ฑด์ง ์ํ ๊ฑด์ง ์๋ ๋ฐฉ๋ฒ -> ์ธ์ด์ input(์๋๋ฐฉ์ ๋ง)์ meaningful structure..
Joint Learning of Words and Meaning Representations for Open-Text Semantic ParsingJoint Learning of Words and Meaning Representations for Open-Text Semantic Parsing ๐ก๋ค์ด๊ฐ๊ธฐ ์ ๊ฐ๋ ์ ๋ฆฌ Semantic parsing ์์ฐ์ด ๋ฐํ(NLU)๋ฅผ ๊ธฐ๊ณ๊ฐ ์ดํดํ ์ ์๋ formal meaning representation(MR)๋ก ๋ณํํ๋ ๊ฒ -> a~c: NLU, d: MR MR(meaning representation) ์ธ์ด์ input์ ์๋ฏธ๋ฅผ ํฌ์ฐฉํ๋ ํ์์ ๊ตฌ์กฐ(formal structure) ๋ฏธ๋ฌํ ์ธ์ด์ ๋์์ค์ ์ธ์์ ๋ํ ๋น์ธ์ด์ ์์ ์ฌ์ด์ ๋ค๋ฆฌ(bridge)๋ผ๊ณ ํ ์ ์์ ex) ์๋๋ฐฉ์ด ๋๋ฅผ ์นญ์ฐฌํ ๊ฑด์ง ์ํ ๊ฑด์ง ์๋ ๋ฐฉ๋ฒ -> ์ธ์ด์ input(์๋๋ฐฉ์ ๋ง)์ meaningful structure..
2022.07.23 -
CNN์ ์์์ธ AlexNet ImageNet Classification with Deep Convolutional Neural Networks Abstract ImageNet LSVRC-2010์ test ๋ฐ์ดํฐ์ ์์ top-1 error rate: 37.5%, top-5 error rate: 17.0% ๋ฌ์ฑ ILSVRC-2012์์๋ top-5 test error rate 15.3% ๋ฌ์ฑ ์ ๊ฒฝ๋ง์ 6์ฒ๋ง ๊ฐ์ ํ๋ผ๋ฏธํฐ์ 65๋ง ๊ฐ์ ๋ด๋ฐ์ ๊ฐ์ง๊ณ ์๊ณ , max-pooling layer๋ฅผ ์ฌ์ฉํ 5๊ฐ์ convolutional layer์ final 1000-way softmax๋ฅผ ์ฌ์ฉํ 3๊ฐ์ fully-connected layer๋ก ๊ตฌ์ฑ ํ์ต์ ๋น ๋ฅด๊ฒ ์งํ์ํค๊ธฐ ์ํด non-saturating ๋ด๋ฐ..
[AlexNet] ImageNet Classification with Deep Convolutional Neural NetworksCNN์ ์์์ธ AlexNet ImageNet Classification with Deep Convolutional Neural Networks Abstract ImageNet LSVRC-2010์ test ๋ฐ์ดํฐ์ ์์ top-1 error rate: 37.5%, top-5 error rate: 17.0% ๋ฌ์ฑ ILSVRC-2012์์๋ top-5 test error rate 15.3% ๋ฌ์ฑ ์ ๊ฒฝ๋ง์ 6์ฒ๋ง ๊ฐ์ ํ๋ผ๋ฏธํฐ์ 65๋ง ๊ฐ์ ๋ด๋ฐ์ ๊ฐ์ง๊ณ ์๊ณ , max-pooling layer๋ฅผ ์ฌ์ฉํ 5๊ฐ์ convolutional layer์ final 1000-way softmax๋ฅผ ์ฌ์ฉํ 3๊ฐ์ fully-connected layer๋ก ๊ตฌ์ฑ ํ์ต์ ๋น ๋ฅด๊ฒ ์งํ์ํค๊ธฐ ์ํด non-saturating ๋ด๋ฐ..
2022.07.13