바라보기, 언어, Perplexity, 퍼플렉서티

 

 

 

embarrassment, upset, dismay, puzzlement, confusion, bewilderment

perplexity, bafflement

進退兩難

dilemma, either-or, perplex, perplexity, quagmire

困惑

bewilderment, muddle, nonplus, obfuscation, perplex, perplexity

塽然

confusion, embarrassment, perplex, perplexity

 

per·plex·ity

 [ pər|pleksəti 

1.

당혹감

2.

당혹스러운 것

he state of being very confused because something is difficult to understand

something that is confusing and difficult to understand

 

Language Model

언어모델을 평가하기 위한 척도, Perplexity, 내부적 평가

Language Model, 실제 관측되는 값, 얼마나 잘 예측 가능한지를 평가할때

Perplexity가 낮을 수록 좋은 모델

model.log_perplexity(test_corpus)

 

 

Perplexity

Topic Coherence

Topic diversity

 

 

딥러닝을 이용한 자연어 처리 입문

 

 

03-05 펄플렉서티(Perplexity, PPL)

 

 

Perplexity, 개념을 찾다가...결국은 이런 의미이다.

두 개의 모델이  A, B가 있을 때 이 모델의 성능은 어떻게 비교할 수 있을까요? 

두 개의 모델의 성능을 일일이 비교하여 정확도 비교 가능하나, 시간, 비용 증가

두 개의 모델 내에서 자신의 성능을 수치화, 결과를 내는 퍼플렉서티(perplexity)

perplexity, PPL, 언어 모델을 평가하기 위한 평가 지표

Perplexity가 낮을 수록 좋은 모델