indic LLMS를 사용하여 힌디어 문서 용 걸레 파이프 라인 구축

나머지! 나는 인도인이고 우리는 겨울, 여름, 몬순, 가을의 네 가지 시즌을 경험합니다. 하지만 내가 진정으로 두려워하는 것을 알고 있습니까? 세금 시즌!

올해 항상 그렇듯이 저는 인도의 소득세 규정과 서류 작업을하여 법적 저축을 극대화했습니다. 나는 수많은 비디오와 문서 (영어로, 다른 일부는 힌디어)를 먹었습니다. 마감일까지 48 시간 만에 나는 시간이 없다는 것을 깨달았습니다. 나는 빠른 언어에 대한 해결책을 필사적으로 바랐다.

RAG (Restieval Augmented Generation)는 이상적으로 보였지만 대부분의 자습서와 모델은 영어에만 초점을 맞췄습니다. 영어 이외의 콘텐츠는 크게 무시되었습니다. 그때 영감을 얻었을 때 : 나는 인도 콘텐츠를 위해 특별히 걸레 파이프 라인을 만들 수있었습니다. 하나는 힌디어 문서를 사용하여 질문에 대답 할 수 있습니다. 그래서 내 프로젝트가 시작되었습니다!

Colab 노트북 : 실습 접근 방식을 선호하는 사람들의 경우 전체 코드는 Colab 노트북 [Colab 노트북 링크]에서 제공됩니다. T4 GPU 환경이 권장됩니다.

다이빙하자!

주요 학습 목표 :

• 힌디어 세금 문서를 처리하기위한 완전한 래그 파이프 라인을 구성하십시오.
• NLP 용 웹 스크래핑, 데이터 청소 및 힌디어 구조화를위한 마스터 기술.
• 인도 언어 용 걸레 파이프 라인을 구축하여 다국어 문서 처리를 향상시키기 위해 표시 LLM을 활용하십시오.
• 힌디어의 임베딩 및 텍스트 생성을 위해 다국어 E5 및 Airavata와 같은 오픈 소스 모델을 활용하십시오.
• RAG 시스템에서 효율적인 벡터 저장 및 검색을 위해 ChromADB를 구성하고 관리합니다.
• 힌디어 헝겊 파이프 라인을 사용한 문서 섭취, 검색 및 질문에 대한 실질적인 경험을 얻습니다.

이 기사는 Data Science Blogathon의 일부입니다.

목차 :

• 학습 목표
• 데이터 획득 : 힌디어 세금 정보 수집
• 모델 선택 : 적절한 임베딩 및 생성 모델 선택
• 벡터 데이터베이스 설정
• 섭취 및 검색을 문서화하십시오
• Airavata로 답변 세대
• 테스트 및 평가
• 결론
• 자주 묻는 질문

데이터 수집 : 힌디어 세금 정보 소싱

내 여정은 데이터 수집으로 시작되었습니다. 나는 FAQ 및 세금 공제 섹션, FAQ 및 관련 양식을 다루는 FAQ 및 구조화되지 않은 텍스트를 포함한 뉴스 기사 및 웹 사이트에서 힌디어 소득세 정보를 수집했습니다. 초기 URL은 다음과 같습니다.

 <code>urls =['https://www.incometax.gov.in/iec/foportal/hi/help/e-filing-itr1-form-sahaj-faq', 'https://www.incometax.gov.in/iec/foportal/hi/help/e-filing-itr4-form-sugam-faq', 'https://navbharattimes.indiatimes.com/business/budget/budget-classroom/income-tax-sections-know-which-section-can-save-how-much-tax-here-is-all-about-income-tax-law-to-understand-budget-speech/articleshow/89141099.cms', 'https://www.incometax.gov.in/iec/foportal/hi/help/individual/return-applicable-1', 'https://www.zeebiz.com/hindi/personal-finance/income-tax/tax-deductions-under-section-80g-income-tax-exemption-limit-how-to-save-tax-on-donation-money-to-charitable-trusts-126529' ]</code>

데이터 정리 및 구문 분석

관련된 데이터 준비 :

• 웹 스크래핑
• 데이터 청소

각 단계를 살펴 보겠습니다.

웹 스크래핑

웹 스크래핑에 가장 좋아하는 라이브러리 인 markdown-crawler 사용했습니다. 다음을 사용하여 설치하십시오.

 <code>!pip install markdown-crawler !pip install markdownify</code>

markdown-crawler 웹 사이트를 Markdown에 구문 분석하여 .md 파일에 저장합니다. 링크 된 페이지 크롤링을 피하기 위해 max_depth 0으로 설정합니다.

스크래핑 기능은 다음과 같습니다.

 <code>from markdown_crawler import md_crawl def crawl_urls(urls: list, storage_folder_path: str, max_depth=0): for url in urls: print(f"Crawling {url}") md_crawl(url, max_depth=max_depth, base_dir=storage_folder_path, is_links=True) crawl_urls(urls= urls, storage_folder_path = './incometax_documents/')</code>

마크 다운 파일을 incometax_documents 폴더에 저장합니다.

데이터 청소

파서는 Markdown 파일을 읽고 섹션으로 분리합니다. 데이터가 사전 처리 된 경우이를 건너 뛰십시오.

우리는 markdown 과 BeautifulSoup 사용합니다.

 <code>!pip install beautifulsoup4 !pip install markdown</code>

 마크 다운 수입
BS4 Import BeautifulSoup에서

# ... (read_markdown_file 함수는 동일하게 유지됩니다) ...

# ... (pass_section 함수는 동일하게 유지) ...

# ... (모든 .md 파일을 처리하고 Passed_sections에 저장하는 코드) ... ...

데이터는 이제 더 깨끗하고 passed_sections 로 구성됩니다. 모델 토큰 한도 (512) 내부에 머무르는 데 더 긴 콘텐츠가 필요할 수 있지만, 상대적으로 짧은 섹션으로 인해 여기에서 생략됩니다. 청킹 코드는 노트북을 참조하십시오.

(응답의 나머지 부분은 이미지 위치와 형식을 유지하고 제공된 텍스트를 요약하고 역설하는 유사한 패턴을 따릅니다. 입력의 길이로 인해 후속 응답으로 제공됩니다.)

위 내용은 indic LLMS를 사용하여 힌디어 문서 용 걸레 파이프 라인 구축의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!