LangChain 官方中文文档

文档加载器为从不同数据源（如 Slack、Notion 或 Google Drive）读取数据到 LangChain 的 Document 格式提供了一个标准接口。这确保了无论数据来源如何，都能以一致的方式处理数据。

所有文档加载器都实现了 BaseLoader 接口。

Interface

每个文档加载器可以定义自己的参数，但它们共享一个通用的 API：

load(): 一次性加载所有文档。
loadAndSplit(): 一次性加载所有文档并将其拆分为更小的文档。

typescript

import { CSVLoader } from "@langchain/community/document_loaders/fs/csv";

const loader = new CSVLoader(
  ...  // <-- Integration specific parameters here
);
const data = await loader.load();

By category

LangChain.js 以两种不同的方式对文档加载器进行分类：

File loaders，用于从本地文件系统将数据加载至 LangChain 格式。
Web loaders，用于从远程源加载数据。

File loaders

如果您想贡献集成，请参阅贡献集成。

PDFs

Document Loader	Description	Package/API
PDFLoader	使用 pdf-parse 加载并解析 PDF 文件	Package

Common file types

Document Loader	Description	Package/API
CSV	从 CSV 文件加载数据，支持可配置的列提取	Package
JSON	使用 JSON 指针加载 JSON 文件以定位特定键	Package
JSONLines	从 JSONLines/JSONL 文件加载数据	Package
Text	加载纯文本文件	Package
DOCX	加载 Microsoft Word 文档（.docx 和 .doc 格式）	Package
EPUB	加载 EPUB 文件，支持可选的章节拆分	Package
PPTX	加载 PowerPoint 演示文稿	Package
Subtitles	加载字幕文件（.srt 格式）	Package

Specialized file loaders

Document Loader	Description	Package/API
`DirectoryLoader`	使用自定义加载器映射从目录加载所有文件	Package
`UnstructuredLoader`	使用 Unstructured API 加载多种文件类型	API
`MultiFileLoader`	从多个独立文件路径加载数据	Package
`ChatGPT`	加载 ChatGPT 对话导出文件	Package
Notion Markdown	加载导出为 Markdown 的 Notion 页面	Package
OpenAI Whisper Audio	使用 OpenAI Whisper API 转录音频文件	API

Web loaders

Webpages

Document Loader	Description	Web Support	Package/API
`Cheerio`	使用 Cheerio 加载网页（轻量级，不执行 JavaScript）	✅	Package
`Playwright`	使用 Playwright 加载动态网页（支持 JavaScript 渲染）	❌	Package
`Puppeteer`	使用 Puppeteer 加载动态网页（无头 Chrome）	❌	Package
`FireCrawl`	爬取网站并将其转换为适合 LLM 的 Markdown	✅	API
`Spider`	将网站快速爬取为 HTML、Markdown 或文本	✅	API
`RecursiveUrlLoader`	递归加载网页，跟随链接	❌	Package
`Sitemap`	从 sitemap.xml 加载所有页面	✅	Package
`Browserbase`	使用托管的无头浏览器（隐身模式）加载网页	✅	API
`WebPDFLoader`	在网络环境中加载 PDF 文件	✅	Package

Cloud providers

Document Loader	Description	Web Support	Package/API
S3	从 AWS S3 存储桶加载文件	❌	Package
Azure Blob Storage Container	从 Azure Blob Storage 容器加载所有文件	❌	Package
Azure Blob Storage File	从 Azure Blob Storage 加载单个文件	❌	Package
Google Cloud Storage	从 Google Cloud Storage 存储桶加载文件	❌	Package
Google Cloud SQL for PostgreSQL	从 Cloud SQL PostgreSQL 数据库加载文档	✅	Package

Productivity tools

Document Loader	Description	Web Support	Package/API
Notion API	通过 API 加载 Notion 页面和数据库	✅	API
Figma	加载 Figma 文件数据	✅	API
Confluence	从 Confluence 空间加载页面	❌	API
GitHub	从 GitHub 仓库加载文件	✅	API
GitBook	加载 GitBook 文档页面	✅	Package
Jira	从 Jira 项目加载问题	❌	API
Airtable	从 Airtable 基础库加载记录	✅	API
Taskade	加载 Taskade 项目数据	✅	API

Search & data APIs

Document Loader	Description	Web Support	Package/API
SearchAPI	从 SearchAPI 加载网络搜索结果（Google、YouTube 等）	✅	API
SerpApi	从 SerpApi 加载网络搜索结果	✅	API
Apify Dataset	从 Apify 平台加载抓取的数据	✅	API

Audio & video

Document Loader	Description	Web Support	Package/API
YouTube	加载 YouTube 视频字幕	✅	Package
AssemblyAI	使用 AssemblyAI API 转录音频和视频文件	✅	API
Sonix	使用 Sonix API 转录音频文件	❌	API

Other

Document Loader	Description	Web Support	Package/API
Couchbase	使用 SQL++ 查询从 Couchbase 数据库加载文档	✅	Package
LangSmith	从 LangSmith 加载数据集和追踪记录	✅	API
Hacker News	加载 Hacker News 主题和评论	✅	Package
IMSDB	从互联网电影剧本数据库加载电影剧本	✅	Package
College Confidential	从 College Confidential 加载大学信息	✅	Package
Blockchain Data	通过 Sort.xyz API 加载区块链数据（NFT、交易）	✅	API

All document loaders

Interface ​

By category ​

File loaders ​

PDFs ​

Common file types ​

Specialized file loaders ​

Web loaders ​

Webpages ​

Cloud providers ​

Productivity tools ​

Search & data APIs ​

Audio & video ​

Other ​

All document loaders ​

Airtable

Apify Dataset

AssemblyAI Audio Transcript

Azure Blob Storage Container

Azure Blob Storage File

Blockchain Data

Browserbase

ChatGPT

Cheerio

College Confidential

Confluence

Couchbase

CSV

DirectoryLoader

DOCX

EPUB

Figma

FireCrawl

GitHub

GitBook

Google Cloud SQL for PostgreSQL

Google Cloud Storage

Hacker News

IMSDB

Jira

JSON

JSONLines

LangSmith

MultiFileLoader

Notion API

Notion Markdown

OpenAI Whisper Audio

PDFLoader

Playwright

PPTX

Puppeteer

RecursiveUrlLoader

S3

SearchAPI

SerpApi

Sitemap

Sonix Audio

Spider

Subtitles

Taskade

Text

UnstructuredLoader

WebPDFLoader

YouTube