๐ ๋ ผ๋ฌธ ๋ฆฌ๋ทฐ/NLP
-
Word2Vec์ Skip-gram ๋ชจ๋ธ Distributed Representations of Words and Phrases and their Compositionality ๐ก๋ค์ด๊ฐ๊ธฐ ์ ๊ฐ๋ ์ ๋ฆฌ Distributed Representation(๋ถํฌ ๊ธฐ๋ฐ์ ๋จ์ด ํํ) '๋น์ทํ ์์น์์ ๋ฑ์ฅํ๋ ๋จ์ด๋ค์ ๋น์ทํ ์๋ฏธ๋ฅผ ๊ฐ์ง๋ค'๋ผ๋ ๋ถํฌ ๊ฐ์ค์ ๊ธฐ๋ฐํด ์ฃผ๋ณ ๋จ์ด ๋ถํฌ๋ฅผ ๊ธฐ์ค์ผ๋ก ๋จ์ด์ ๋ฒกํฐ ํํ์ด ๊ฒฐ์ ๋๊ธฐ ๋๋ฌธ์ ๋ถ์ฐ ํํ(Distributed representation)์ด๋ผ๊ณ ๋ถ๋ฆ cf) ์-ํซ ์ธ์ฝ๋ฉ(One-hot Encoding) ๋ฒ์ฃผํ(categorical) ๋ณ์๋ฅผ ๋ฒกํฐํ ex) [1 0 0 0], [0 1 0 0], [0 0 1 0], [0 0 0 1] ๋จ์ : ์ฝ์ฌ์ธ ์ ์ฌ๋ ๊ฐ์ด 0 => ๋จ..
[Word2Vec] Distributed Representations of Words and Phrases and their CompositionalityWord2Vec์ Skip-gram ๋ชจ๋ธ Distributed Representations of Words and Phrases and their Compositionality ๐ก๋ค์ด๊ฐ๊ธฐ ์ ๊ฐ๋ ์ ๋ฆฌ Distributed Representation(๋ถํฌ ๊ธฐ๋ฐ์ ๋จ์ด ํํ) '๋น์ทํ ์์น์์ ๋ฑ์ฅํ๋ ๋จ์ด๋ค์ ๋น์ทํ ์๋ฏธ๋ฅผ ๊ฐ์ง๋ค'๋ผ๋ ๋ถํฌ ๊ฐ์ค์ ๊ธฐ๋ฐํด ์ฃผ๋ณ ๋จ์ด ๋ถํฌ๋ฅผ ๊ธฐ์ค์ผ๋ก ๋จ์ด์ ๋ฒกํฐ ํํ์ด ๊ฒฐ์ ๋๊ธฐ ๋๋ฌธ์ ๋ถ์ฐ ํํ(Distributed representation)์ด๋ผ๊ณ ๋ถ๋ฆ cf) ์-ํซ ์ธ์ฝ๋ฉ(One-hot Encoding) ๋ฒ์ฃผํ(categorical) ๋ณ์๋ฅผ ๋ฒกํฐํ ex) [1 0 0 0], [0 1 0 0], [0 0 1 0], [0 0 0 1] ๋จ์ : ์ฝ์ฌ์ธ ์ ์ฌ๋ ๊ฐ์ด 0 => ๋จ..
2022.08.11 -
Joint Learning of Words and Meaning Representations for Open-Text Semantic Parsing ๐ก๋ค์ด๊ฐ๊ธฐ ์ ๊ฐ๋ ์ ๋ฆฌ Semantic parsing ์์ฐ์ด ๋ฐํ(NLU)๋ฅผ ๊ธฐ๊ณ๊ฐ ์ดํดํ ์ ์๋ formal meaning representation(MR)๋ก ๋ณํํ๋ ๊ฒ -> a~c: NLU, d: MR MR(meaning representation) ์ธ์ด์ input์ ์๋ฏธ๋ฅผ ํฌ์ฐฉํ๋ ํ์์ ๊ตฌ์กฐ(formal structure) ๋ฏธ๋ฌํ ์ธ์ด์ ๋์์ค์ ์ธ์์ ๋ํ ๋น์ธ์ด์ ์์ ์ฌ์ด์ ๋ค๋ฆฌ(bridge)๋ผ๊ณ ํ ์ ์์ ex) ์๋๋ฐฉ์ด ๋๋ฅผ ์นญ์ฐฌํ ๊ฑด์ง ์ํ ๊ฑด์ง ์๋ ๋ฐฉ๋ฒ -> ์ธ์ด์ input(์๋๋ฐฉ์ ๋ง)์ meaningful structure..
Joint Learning of Words and Meaning Representations for Open-Text Semantic ParsingJoint Learning of Words and Meaning Representations for Open-Text Semantic Parsing ๐ก๋ค์ด๊ฐ๊ธฐ ์ ๊ฐ๋ ์ ๋ฆฌ Semantic parsing ์์ฐ์ด ๋ฐํ(NLU)๋ฅผ ๊ธฐ๊ณ๊ฐ ์ดํดํ ์ ์๋ formal meaning representation(MR)๋ก ๋ณํํ๋ ๊ฒ -> a~c: NLU, d: MR MR(meaning representation) ์ธ์ด์ input์ ์๋ฏธ๋ฅผ ํฌ์ฐฉํ๋ ํ์์ ๊ตฌ์กฐ(formal structure) ๋ฏธ๋ฌํ ์ธ์ด์ ๋์์ค์ ์ธ์์ ๋ํ ๋น์ธ์ด์ ์์ ์ฌ์ด์ ๋ค๋ฆฌ(bridge)๋ผ๊ณ ํ ์ ์์ ex) ์๋๋ฐฉ์ด ๋๋ฅผ ์นญ์ฐฌํ ๊ฑด์ง ์ํ ๊ฑด์ง ์๋ ๋ฐฉ๋ฒ -> ์ธ์ด์ input(์๋๋ฐฉ์ ๋ง)์ meaningful structure..
2022.07.23