AI Embedding (데이터 특징 추출 방법) - Word2Vec

단어들의 비밀 친구 지도! 🗺️

우리 학교 운동장에 커다란 지도가 펼쳐져 있어요. 이 지도에는 우리 반 친구들의 이름이 적힌 깃발들이 꽂혀 있어요. 그런데 이 지도는 그냥 지도가 아니에요! 친구들의 성격과 친밀도를 나타내는 신기한 지도랍니다.

 

비밀 친구 지도의 규칙

• 비슷한 성격의 친구들은 가까이: 만약 영희와 철수가 둘 다 축구를 좋아하고 활발한 성격이라면, 영희와 철수의 깃발은 지도에서 가까운 곳에 꽂혀 있을 거예요.
• 친한 친구들도 가까이: 만약 민수와 수지가 단짝 친구라면, 민수와 수지의 깃발도 지도에서 아주 가까운 곳에 꽂혀 있겠죠?

 

Word2Vec, 단어들의 비밀 친구 지도!

Word2Vec은 바로 이런 '단어들의 비밀 친구 지도'를 만드는 마법과 같아요! 🪄

• 컴퓨터는 수많은 글을 읽고, 어떤 단어들이 함께 자주 등장하는지, 어떤 단어들이 비슷한 문맥에서 사용되는지를 배워요.
• 그리고 배운 내용을 바탕으로 각 단어를 '벡터'라는 특별한 숫자로 표현해요.
• 이 벡터들은 단어들의 '위치'를 나타내는데, 비슷한 의미를 가진 단어들은 벡터 공간에서 가까운 곳에 위치하게 돼요.

예를 들어:

• '강아지', '고양이', '동물' 같은 단어들은 비슷한 위치에 놓여요.
• '왕', '여왕', '공주' 같은 단어들도 비슷한 위치에 놓여요.

 

Word2Vec의 놀라운 능력

• 단어 사이의 관계 파악: Word2Vec은 단어들 사이의 숨겨진 관계를 찾아낼 수 있어요. 예를 들어, "한국 - 서울 + 도쿄 = 일본" 과 같은 연산도 가능하답니다!
• 컴퓨터의 이해력 향상: Word2Vec 덕분에 컴퓨터는 텍스트를 더 잘 이해하고, 번역이나 검색 같은 작업을 훨씬 똑똑하게 해낼 수 있게 되었어요.

 

Word2Vec, 왜 쓸까요?

• 인공지능이 우리처럼 단어의 뜻과 관계를 이해하고 더 똑똑하게 일을 처리할 수 있어요.
• 번역기를 돌릴 때 더욱 자연스러운 번역이 가능하게 해줘요.
• 검색 엔진이 내가 원하는 것을 더욱 정확하게 찾을 수 있게 도와줘요.

 

 

용어의 설명

• "Word":
  • 이 부분은 이 기술이 단어(word)를 다룬다는 것을 나타냅니다. Word2Vec은 텍스트에 나타나는 단어들을 분석하고 그 의미를 파악하는 데 중점을 둡니다.
• "to Vec":
  • 이 부분은 "vector(벡터)로 변환한다"는 의미를 담고 있습니다. Word2Vec의 핵심은 단어를 컴퓨터가 이해할 수 있는 숫자 형태의 벡터로 변환하는 것입니다. 이 벡터는 단어의 의미와 문맥 정보를 담고 있습니다.
• 즉, Word2Vec 이란 말은 "단어를 Vector화 한다" 라는 의미로 만들어 졌습니다.

따라서 "Word2Vec"은 단어를 벡터로 변환하여 그 의미를 컴퓨터가 이해할 수 있도록 하는 기술을 간결하게 설명하는 용어입니다.

 

NLP(자연어처리)를 위한 자연어의 수치 표현: 벡터 공간 모델

• NLP( Natural Language Processing) 를 하기위해 텍스트를 컴퓨터가 이해할 수 있도록 숫자로 바꾸는 작업이 필요함
• 사람의 경우는 문맥을 통해 문장 및 의미를 구별하는 것이 가능함
• 즉 자연어를 수치화 한 것으로 벡터로 표현해 컴퓨터가 알 수 있도록 만듬

 

Vector Database

• Vector Database는 인덱스들의 벡터의 거리로 판단함
• 임베딩 값을 저장하므로 빠르게 검색할 수 있지만 데이터 수가 많아 질 수록 어려움
• 기존의 임베딩만으로 저장하는 방법은 느림 따라서 index를 부여해 사용함