AI Embedding (데이터 특징 추출 방법) - TF-IDF

우리 반 친구들 이야기

우리 반에는 친구들이 아주 많아요. 선생님께서 친구들에게 재미있는 이야기를 들려주셨는데, 어떤 친구는 "사과"를 좋아하고, 어떤 친구는 "바나나"를 좋아하고, 또 어떤 친구는 "축구"를 좋아해요.

 

특별한 단어 찾기 게임!

선생님께서 이야기를 듣고 나서 "어떤 단어가 우리 반 친구들에게 가장 중요할까?" 궁금해졌어요. 그래서 우리 반 친구들이 어떤 단어를 얼마나 많이 이야기했는지 세어보기로 했어요.

 

TF (단어 빈도): 얼마나 자주 나왔니?

• 먼저, 각 친구들이 이야기 속에서 어떤 단어를 얼마나 많이 말했는지 세어봤어요. 예를 들어, "사과"를 좋아하는 친구는 "사과"라는 단어를 많이 말했겠죠? 이걸 TF (단어 빈도) 라고 해요.
• 중요한 것은, 만약 "친구"나 "그리고" 와 같은 흔한 단어는 어떤 친구의 이야기에도 자주 등장하겠죠? 이런 흔한 단어는 덜 중요하다고 생각할 수 있을 것 같아요.

 

IDF (역 문서 빈도): 얼마나 특별하니?

• 다음으로, 우리 반 전체 친구들이 이야기 속에서 어떤 단어를 얼마나 자주 말했는지도 세어봤어요. 만약 "사과"라는 단어가 몇몇 친구들에게서만 나오고, 다른 친구들에게서는 거의 나오지 않았다면, "사과"는 우리 반에서 아주 특별한 단어라고 할 수 있겠죠? 이걸 IDF (역 문서 빈도) 라고 해요.
• 만약 "친구"나 "그리고" 와 같은 흔한 단어는 대부분의 친구들 이야기 속에 들어있겠죠? 이런 흔한 단어는 특별하지 않을 거예요.

 

TF-IDF 점수 계산하기: 특별함 점수!

• 이제 TF와 IDF를 곱해서 각 단어의 TF-IDF 점수를 계산해요. TF-IDF 점수가 높은 단어일수록 우리 반 친구들에게 더 중요하고 특별한 단어라고 할 수 있어요!

 

TF-IDF, 왜 쓸까요?

• TF-IDF는 컴퓨터가 많은 글 중에서 중요한 단어를 찾아낼 때 사용해요. 예를 들어, 뉴스 기사나 책에서 어떤 단어가 중요한지를 알아낼 수 있죠.
• 또한, 검색 엔진에서 우리가 원하는 정보를 더 정확하게 찾아주는 데에도 사용된답니다!

 

 

IDF 공식:

• IDF(t) = log(전체 문서 수 / 단어 t가 등장한 문서 수)

여기서:

• t는 특정 단어를 나타냅니다.
• log는 로그 함수를 나타냅니다. (일반적으로 밑이 10인 상용로그나 자연로그를 사용합니다.)
• 전체 문서 수는 분석하려는 전체 문서의 개수입니다.
• 단어 t가 등장한 문서 수는 단어 t가 적어도 한 번 이상 나타난 문서의 개수입니다.

IDF의 의미:

• IDF 값은 단어가 전체 문서 집합에서 얼마나 흔하게 나타나는지를 나타냅니다.
• 단어가 많은 문서에 나타나면 IDF 값은 낮아지고, 드물게 나타나면 IDF 값은 높아집니다.
• 즉, IDF는 단어의 희귀성을 측정하여 문서 내에서 해당 단어의 중요도를 평가하는 데 도움을 줍니다.

 

용어의 설명

Term : 가장 흔하게 사용되는 의미로, 특정 분야나 주제에서 사용되는 단어나 구절을 의미합니다. 예를 들어, "컴퓨터 과학 용어", "의학 용어"와 같이 사용될 수 있습니다. 이러한 의미에서의 "term"은 특정 개념이나 사물을 지칭하는 전문적인 단어를 의미하며, 일반적인 단어보다 더 구체적이고 명확한 의미를 갖습니다.