경치가 좋은 지점에서 키워드를 더 잘 추출하기 위해 Jieba Word 세분화의 효과를 향상시키는 방법은 무엇입니까?

Jieba 단어 세분화 및 경치 스팟 주석 키워드 추출 개선 전략

많은 사람들이 중국어 단어 세분화에 jieba를 사용하고 LDA 모델을 결합하여 경치 스팟 주석의 키워드를 추출하지만 단어 세분화는 종종 최종 결과의 정확도에 영향을 미칩니다. 예를 들어, jieba 워드 세분화를 직접 사용한 다음 LDA 모델링을 수행하면 추출 된 주제 키워드에는 워드 세분화 오류가있을 수 있습니다.

다음 코드 예제는이 문제를 보여줍니다.

 # 중국어로드 Word stop_words = set (stopwords.words ( 'Chinese'))
broadcastvar = spark.sparkcontext.broadcast (stop_words)

# 중국어 텍스트 분사 Def Tokenize (텍스트) :
    반환 목록 (jieba.cut (텍스트))

# 중국어 중지 단어 삭제 Word def delete_stopwords (토큰, stop_words) :
    filterd_words = [stop_words에 단어가 아닌 경우 토큰의 단어 단어]
    filterd_text = ''.join (필터링 _words)
    필터링 _text를 반환합니다

# 구두점 및 특정 문자 제거 def remove_punctuation (input_string) :
    구두점 = string.punctuation "!?｡｡##·%&＇() ＊＋, －/:; ＜＝＞＿｜｝］＿｟｠ｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏ ＜＝＞＿｜｝］＿｟｠ｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏｏ
    번역기 = str.maketrans ( '', '', 구두점)
    no_punct = input_string.translate (번역기)
    No_Punct를 반환하십시오

def ymatic_focus (텍스트) :
    Gensim import Corpora, Models에서
    num_words = min (len (텍스트) // 50 3, 10) # 주제 수를 동적으로 조정하십시오.
    stop_words = broadcastVar.Value
    text = delete_stopwords (토큰, stop_words)
    text = remove_punctuation (텍스트)
    토큰 = 토큰 화 (텍스트)

    사전 = Corporate.Dictionary ([토큰])
    코퍼스 = [dictionary.doc2bow (토큰)]
    lda_model = models.ldamodel (corpus, num_topics = 1, id2word = 사전, Passes = 50)
    주제 = lda_model.show_topics (num_words = num_words)
    주제의 주제 :
        return str (주제)

단어 세분화 효과 및 키워드 추출을 향상시키기 위해 다음 전략을 권장합니다.

1. 맞춤형 어휘 구축 : 관광과 관련된 전문 어휘를 수집하고, 맞춤 어휘를 구축하여 Jieba에로드하고, 관광 분야에서 용어 인식의 정확성을 향상시킵니다. 이것은 일반적인 시소러스에 의존하는 것보다 더 효과적입니다.

2. 중지 단어의 어휘 데이터베이스 최적화 : 보다 포괄적 인 어휘 데이터베이스를 사용하거나 간섭 단어를 제거하고 LDA 모델의 정확도를 향상시키기 위해 경치 스팟 주석의 특성을 기반으로 사용자 정의 어휘 데이터베이스를 구축하십시오. GitHub에 게시 된 중단 어휘를 기본으로 사용하고 실제 상황에 따라 추가하거나 삭제하십시오.

위의 방법을 통해 Jieba Word 세분화의 정확도를 크게 향상시켜 경치 좋은 지점 주석에서 키워드를보다 효과적으로 추출하고 궁극적으로보다 정확한 테마 모델 및 Word Cloud Map을 얻습니다. 주제 단어의 수는 코드에서 동적으로 조정되어 결과에 영향을 미치는 주제 단어가 너무 적거나 너무 많지 않습니다.

위 내용은 경치가 좋은 지점에서 키워드를 더 잘 추출하기 위해 Jieba Word 세분화의 효과를 향상시키는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!