xunsearch自定义词库的TF、IDF作用?
最近在弄xunsearch全文检索技术,被他的自定义词库给搞晕了,碰到了几点疑惑,望有大神能给解答一下,感激不尽!!!
1.增加自定义词库后的奇怪现象.
我在数据库中有两条化合物名称的记录,分别是丁二酸和α酮戊二酸二甲酯。在没有加自定义词库的时候,我搜索丁二酸,两个化合物都会被搜出来,搜索α酮戊二酸二甲酯的时候,也会搜索出来两个化合物。然后我在自定义词库中添加了α酮戊二酸二甲酯,再搜索后,只会出现α酮戊二酸二甲酯这一个结果。但是,再往自定义词库中添加丁二酸后,进行搜索,结果两个化合物还是会出来。为什么会这样呢?为此,我还使用getQuery语句获取了查询词,结果是α酮戊二酸二甲酯的返回值是Xapain::Query(Zα酮戊二酸二甲酯:(pos=1))
,丁二酸的返回值是Xapian::Query((丁二酸:(pos=1) SYNONYM(丁二:(pos=89) OR 二酸:(pos=90))))
。最初我以为是同义词的问题,但是为什么α酮戊二酸二甲酯没有同义词,而丁二酸会产生同义词呢?最重要的是,当我用getAllSynonyms获取同义词列表时,显示的是空!!!求大神解答!
2.自定义词库中的TF、IDF值的作用
DF、IDF只影响最后的相关度评分,而xunsearch底层用的是Xapian,Xapian使用的是BM25算法计算相关度。式子中的IDF和TF是算法根据当前文档计算出来的,为什么还需要我们自定义。有人解释说是为了提高最后搜索的排名,能不能具体举例说明一下为什么会提高了(难道我们自定义TF和IDF之后,xunsearch会直接用我们自定义的TF、IDF计算相关度评分而不是自动从文档中计算?)
回复内容:
最近在弄xunsearch全文检索技术,被他的自定义词库给搞晕了,碰到了几点疑惑,望有大神能给解答一下,感激不尽!!!
1.增加自定义词库后的奇怪现象.
我在数据库中有两条化合物名称的记录,分别是丁二酸和α酮戊二酸二甲酯。在没有加自定义词库的时候,我搜索丁二酸,两个化合物都会被搜出来,搜索α酮戊二酸二甲酯的时候,也会搜索出来两个化合物。然后我在自定义词库中添加了α酮戊二酸二甲酯,再搜索后,只会出现α酮戊二酸二甲酯这一个结果。但是,再往自定义词库中添加丁二酸后,进行搜索,结果两个化合物还是会出来。为什么会这样呢?为此,我还使用getQuery语句获取了查询词,结果是α酮戊二酸二甲酯的返回值是Xapain::Query(Zα酮戊二酸二甲酯:(pos=1))
,丁二酸的返回值是Xapian::Query((丁二酸:(pos=1) SYNONYM(丁二:(pos=89) OR 二酸:(pos=90))))
。最初我以为是同义词的问题,但是为什么α酮戊二酸二甲酯没有同义词,而丁二酸会产生同义词呢?最重要的是,当我用getAllSynonyms获取同义词列表时,显示的是空!!!求大神解答!
2.自定义词库中的TF、IDF值的作用
DF、IDF只影响最后的相关度评分,而xunsearch底层用的是Xapian,Xapian使用的是BM25算法计算相关度。式子中的IDF和TF是算法根据当前文档计算出来的,为什么还需要我们自定义。有人解释说是为了提高最后搜索的排名,能不能具体举例说明一下为什么会提高了(难道我们自定义TF和IDF之后,xunsearch会直接用我们自定义的TF、IDF计算相关度评分而不是自动从文档中计算?)

핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

Video Face Swap
완전히 무료인 AI 얼굴 교환 도구를 사용하여 모든 비디오의 얼굴을 쉽게 바꾸세요!

인기 기사

뜨거운 도구

메모장++7.3.1
사용하기 쉬운 무료 코드 편집기

SublimeText3 중국어 버전
중국어 버전, 사용하기 매우 쉽습니다.

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

드림위버 CS6
시각적 웹 개발 도구

SublimeText3 Mac 버전
신 수준의 코드 편집 소프트웨어(SublimeText3)

PHP와 Python은 각각 고유 한 장점이 있으며 프로젝트 요구 사항에 따라 선택합니다. 1.PHP는 웹 개발, 특히 웹 사이트의 빠른 개발 및 유지 보수에 적합합니다. 2. Python은 간결한 구문을 가진 데이터 과학, 기계 학습 및 인공 지능에 적합하며 초보자에게 적합합니다.

PHP는 전자 상거래, 컨텐츠 관리 시스템 및 API 개발에 널리 사용됩니다. 1) 전자 상거래 : 쇼핑 카트 기능 및 지불 처리에 사용됩니다. 2) 컨텐츠 관리 시스템 : 동적 컨텐츠 생성 및 사용자 관리에 사용됩니다. 3) API 개발 : 편안한 API 개발 및 API 보안에 사용됩니다. 성능 최적화 및 모범 사례를 통해 PHP 애플리케이션의 효율성과 유지 보수 성이 향상됩니다.

PHP는 주로 절차 적 프로그래밍이지만 객체 지향 프로그래밍 (OOP)도 지원합니다. Python은 OOP, 기능 및 절차 프로그래밍을 포함한 다양한 패러다임을 지원합니다. PHP는 웹 개발에 적합하며 Python은 데이터 분석 및 기계 학습과 같은 다양한 응용 프로그램에 적합합니다.

PHP와 Python은 고유 한 장점과 단점이 있으며 선택은 프로젝트 요구와 개인 선호도에 달려 있습니다. 1.PHP는 대규모 웹 애플리케이션의 빠른 개발 및 유지 보수에 적합합니다. 2. Python은 데이터 과학 및 기계 학습 분야를 지배합니다.

PHP는 MySQLI 및 PDO 확장 기능을 사용하여 데이터베이스 작업 및 서버 측 로직 프로세싱에서 상호 작용하고 세션 관리와 같은 기능을 통해 서버 측로 로직을 처리합니다. 1) MySQLI 또는 PDO를 사용하여 데이터베이스에 연결하고 SQL 쿼리를 실행하십시오. 2) 세션 관리 및 기타 기능을 통해 HTTP 요청 및 사용자 상태를 처리합니다. 3) 트랜잭션을 사용하여 데이터베이스 작업의 원자력을 보장하십시오. 4) SQL 주입 방지, 디버깅을 위해 예외 처리 및 폐쇄 연결을 사용하십시오. 5) 인덱싱 및 캐시를 통해 성능을 최적화하고, 읽을 수있는 코드를 작성하고, 오류 처리를 수행하십시오.

PHP는 동적 웹 사이트를 구축하는 데 사용되며 해당 핵심 기능에는 다음이 포함됩니다. 1. 데이터베이스와 연결하여 동적 컨텐츠를 생성하고 웹 페이지를 실시간으로 생성합니다. 2. 사용자 상호 작용 및 양식 제출을 처리하고 입력을 확인하고 작업에 응답합니다. 3. 개인화 된 경험을 제공하기 위해 세션 및 사용자 인증을 관리합니다. 4. 성능을 최적화하고 모범 사례를 따라 웹 사이트 효율성 및 보안을 개선하십시오.

PHP는 웹 개발 및 빠른 프로토 타이핑에 적합하며 Python은 데이터 과학 및 기계 학습에 적합합니다. 1.PHP는 간단한 구문과 함께 동적 웹 개발에 사용되며 빠른 개발에 적합합니다. 2. Python은 간결한 구문을 가지고 있으며 여러 분야에 적합하며 강력한 라이브러리 생태계가 있습니다.

PHP는 1994 년에 시작되었으며 Rasmuslerdorf에 의해 개발되었습니다. 원래 웹 사이트 방문자를 추적하는 데 사용되었으며 점차 서버 측 스크립팅 언어로 진화했으며 웹 개발에 널리 사용되었습니다. Python은 1980 년대 후반 Guidovan Rossum에 의해 개발되었으며 1991 년에 처음 출시되었습니다. 코드 가독성과 단순성을 강조하며 과학 컴퓨팅, 데이터 분석 및 기타 분야에 적합합니다.
