단어 빈도 카운터

Unicode 문자와 숫자 토큰의 빈도를 세고 빈도순으로 표시합니다.

텍스트에서 Unicode 문자와 숫자로 이루어진 토큰을 추출해 등장 횟수를 빈도 내림차순으로 보여 줍니다.

사용 순서

분석할 글을 입력하거나 샘플을 불러옵니다.
대소문자를 구분할지 체크박스로 정합니다.
빈도 표를 보고 100개 단위 페이지를 넘기며 필요한 토큰을 찾습니다.

예시

Hello hello 안녕 안녕 123을 입력하고 대소문자 구분을 끄면 hello 2회, 안녕 2회, 123 1회로 집계됩니다. 빈도가 같으면 문자열 순서로 정렬됩니다.

한계

문자와 숫자가 아닌 글자, 공백, 문장 부호는 모두 토큰을 나누는 기준입니다. 영어 축약형은 아포스트로피 앞뒤로 나뉘어 don과 t가 각각 한 토큰이 됩니다. 형태소 분석이나 어간 추출을 하지 않으므로 조사가 붙은 한국어 단어는 따로 셉니다.

보안 주의

개인 메모나 고객 문의 원문을 넣으면 자주 나온 이름과 전화번호 같은 식별 정보가 표에 그대로 드러납니다. 화면을 공유하는 중이라면 결과 표를 띄우기 전에 민감한 입력을 지우세요.

배경 지식

토큰화는 긴 문자열을 의미 단위인 조각으로 나누는 과정입니다. 가장 단순한 방법은 공백으로 나누는 것이지만, 문장 부호나 하이픈이 붙은 단어를 제대로 나누지 못합니다. 이 도구는 Unicode의 문자(L) 범주와 숫자(N) 범주를 정규식으로 골라내어 토큰을 만듭니다. 그래서 언어가 달라도 글자와 숫자로 이어진 덩어리를 같은 기준으로 셀 수 있습니다.

빈도 분석은 로그 메시지에서 가장 자주 나온 에러 코드를 찾거나, 고객 리뷰에서 반복되는 표현을 파악할 때 쓰입니다. 자연어 처리에서는 이 결과를 바탕으로 불용어를 걸러내거나 단어 가중치를 계산합니다. 다만 한국어는 조사와 어미가 붙어 단어 원형으로 묶기 어려워서 같은 단어가 여러 토큰으로 흩어집니다.

빈도를 셀 때는 대소문자 처리 기준을 먼저 정해야 합니다. Error와 error를 같은 토큰으로 볼지 다른 토큰으로 볼지에 따라 결과가 크게 달라집니다. 이 도구는 기본값으로 소문자로 바꿔 세며, 원문 그대로 세려면 체크박스를 켜면 됩니다. 같은 단어가 대소문자만 달라 두 줄로 나뉘는지 보면 이 설정이 필요한지 판단할 수 있습니다.

자주 묻는 질문

the, is 같은 불용어를 자동으로 제외할 수 있나요?

아니요. 이 도구는 불용어 목록을 가지고 있지 않아서 모든 토큰을 같은 기준으로 셉니다. 제외할 단어가 많다면 결과를 복사해 별도 도구에서 걸러내는 편이 낫습니다.

이모지나 기호는 토큰으로 세지나요?

이모지와 대부분의 기호는 문자나 숫자 범주가 아니므로 토큰에 포함되지 않습니다. 대신 이모지 사이에 끼어 있는 글자나 숫자는 각각 독립된 토큰으로 셉니다.

숫자만 있는 토큰도 집계되나요?

네. 123처럼 숫자로만 된 토큰도 문자와 똑같이 빈도에 포함됩니다. 숫자를 빼고 보려면 결과 표에서 해당 행을 무시하거나 입력 전에 숫자를 지우세요.