Langchain 문서 로더는 무엇입니까? - 분석 Vidhya

Langchain : LLM 데이터로드에 대한 포괄적 인 안내서

LLM (Largin Language Model)은 비즈니스에 혁명을 일으키고 혁신을 주도하며 운영 효율성을 높이고 있습니다. 그러나 효과적인 LLM 응용 프로그램을 구축하려면 데이터 통합 ​​및 처리의 복잡성을 관리하기위한 강력한 프레임 워크가 필요합니다. LLLM 애플리케이션 개발을 간소화하도록 설계된 주요 프레임 워크 인 Langchain에 들어갑니다. 이 기사는 Langchain의 강력한 문서 로더를 탐색하여 다양한 소스에서 원활한 데이터 통합을 가능하게합니다.

Langchain : 강력한 프레임 워크

Langchain은 전체 LLM 애플리케이션 라이프 사이클을위한 포괄적 인 도구 제품군을 제공합니다. 데이터로드 및 분할에서 임베딩, 검색 및 출력 파싱에 이르기까지 Langchain은 개발을 단순화합니다. 상태 가득한 에이전트 및 생산 준비 응용 프로그램 구축에 대한 광범위한 통합 및 지원은 LLM 개발자에게 최고의 선택입니다. Langchain을 사용하여 LLM 기반 응용 프로그램을 구축 할 때 Langchain의 기능에 대해 자세히 알아보십시오. 이 기사는 효율적인 데이터 처리를위한 토대 인 Langchain의 문서 로더에 중점을 둡니다.

문서 로더 이해

Langchain의 문서 로더는 데이터를 다양한 형식에서 표준화 된 Document 개체로 변환합니다. 각 Document 개체에는 page_content (문자열로서의 데이터), 선택적 id 및 컨텍스트를 제공하는 메타 데이터가 포함됩니다. 설명하자 :

Langchain 설치 : pip install langchain

 langchain_core에서 문서 가져 오기

data = document (page_content = '이 문서는 langchain document loaders를 보여줍니다.', id = 1, metadata = { 'source': 'example'})

인쇄 (데이터)
print (data.page_content)
data.id = 2 # id 수정

이것은 Document 객체의 생성 및 조작을 보여줍니다.

문서 로더의 유형

Langchain은 파일 유형 (CSV, PDF, HTML, Markdown 등) 및 데이터 소스 (YouTube, Wikipedia, Github 등)로 분류 된 200 개가 넘는 문서 로더를 자랑합니다. 공개 소스에는 인증이 필요하지 않지만 개인 소스에는 액세스 토큰이 필요할 수 있습니다.

문서 로더의 예

여러 로더를 탐색합시다.

1. CSV (쉼표로 구분 된 값)

CSVLoader CSV 파일을 처리하여 각 행을 별도의 Document 로로드합니다.

 langchain_community.document_loaders.csv_loader import csvloader에서

로더 = csvloader (file_path = "./ iris.csv", metadata_columns = [ '종']))
data = loader.load ()
print (len (data)) # 행 수
print (data [0] .metadata) # 첫 번째 행의 메타 데이터

2. HTML (하이퍼 텍스트 마크 업 언어)

UnstructuredHTMLLoader 및 UnstructuredURLLoader 사용하여 파일 또는 URL에서 HTML 페이지를로드하십시오.

 langchain_community.document_loaders에서 UnstructuredUrlloader를 가져옵니다

로더 = unstructuredUrlloader (urls = [ 'https://example.com'], mode = 'elements') # mode = 'single'전체 페이지의 경우
data = loader.load ()
인쇄 (Len (데이터))
print (data [0] .page_content) # 예제 콘텐츠 액세스

3. 마크 다운

UnstructuredMarkdownLoader 사용하여 마크 다운 파일을 프로세스합니다.

 langchain_community.document_loaders에서 UnstructuredMarkdownLoader를 가져옵니다

로더 = UnstructuredMarkdownloader ( 'readme.md', mode = 'elements')
data = loader.load ()
인쇄 (Len (데이터))
print (data [0] .metadata)

4. JSON

JSONLoader 추출 할 데이터를 지정하기 위해 스키마가 필요합니다.

 langchain_community.document_loaders에서 Jsonloader를 가져옵니다

loader = jsonloader (file_path = 'data.json', jq_schema = '. data []') # 필요에 따라 스키마를 조정합니다
data = loader.load ()
인쇄 (Len (데이터))

5. MS Office 문서, PDF 등

Langchain은 구조화되지 않은 라이브러리 (Word Documents, PDF 등)를 사용하여 다양한 형식을 지원합니다. 특정 로더 및 매개 변수에 대한 Langchain 문서를 참조하십시오. PDF 파싱에는 다른 전략 (예 : hi_res , ocr_only , fast , auto )이 포함될 수 있습니다.

6. 여러 파일 및 데이터 소스

DirectoryLoader 디렉토리에서 여러 파일을 처리하는 반면 다른 로더는 YouTube 및 Wikipedia와 같은 특수 소스를 처리합니다. 자세한 사용 지침은 Langchain 문서를 참조하십시오.

결론

Langchain의 문서 로더는 강력한 LLM 응용 프로그램을 구축하는 데 필수적입니다. 다양한 데이터 형식 및 소스를 처리하는 능력은 데이터 통합을 단순화하여 개발자가 지능형 애플리케이션을 구축하는 데 집중할 수 있도록합니다. 향후 기사는 다른 중요한 랭크인 구성 요소를 탐색 할 것입니다.

자주 묻는 질문 (FAQ)

(이 FAQ는 이미 원래 텍스트 내에서 잘 알려져 있으며 다시 쓰여진 응답을 통해 암시 적으로 대답했습니다. 구두를 반복하는 것은 중복 될 것입니다.)

위 내용은 Langchain 문서 로더는 무엇입니까? - 분석 Vidhya의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!