❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
功能：Jina Reader 能够将网页内容转换为适合 LLM 处理的纯文本格式，支持多种输出格式。
技术：基于网页抓取、内容清洗、自然语言处理等技术，确保提取内容的准确性和结构化。
应用：适用于内容聚合、SEO 优化、学术研究、客户服务等多种场景。
正文（附运行示例）
Jina Reader 是什么
Jina Reader 是 Jina AI 推出的开源工具，旨在将互联网上的 HTML 网页内容转换为适合大型语言模型（LLMs）处理的纯文本格式。用户只需在网址前添加特定前缀，即可快速提取网页的主要内容，并用结构化文本形式输出，去除不必要的 HTML 标签和脚本。
该工具支持多种内容格式，包括 Markdown、HTML、Text 等，并具备流模式、JSON 模式和自动为图片生成描述的 Alt 生成模式，能够增强 LLMs 对网页内容的理解。
Jina Reader 的主要功能
网页内容提取：将 HTML 网页转换为纯文本格式，去除不必要的标签和脚本。
格式选择：支持将网页内容输出为 Markdown、HTML、Text、Screenshot、Pageshot 等多种格式。
流模式：适用于大型和动态网页，支持更长时间的页面渲染，确保内容的完整性。
JSON模式：输出包含 URL、标题和内容的结构化 JSON 数据，便于后续处理。
Alt生成模式：为缺少 alt 标签的图片自动生成描述，帮助 LLMs 更好地理解网页中的图像内容。
目标选择器和等待选择器：用 CSS 选择器指定页面中特定部分的内容提取，或等待特定元素出现后再提取内容。
Jina Reader 的技术原理
网页抓取与解析：使用网络爬虫技术抓取网页内容，基于 HTML 解析器解析网页的 DOM 树结构，提取出网页的文本内容。
内容清洗与结构化：清洗 HTML 标签、JavaScript 代码和 CSS 样式，只保留纯文本内容，并识别和提取网页中的标题、段落、链接、图片等结构化元素。
自然语言处理（NLP）：对提取的文本进行自然语言处理，提高文本的质量，例如去除停用词、词干提取等，并生成图像的替代文本（alt text）。
动态内容处理：对于单页应用程序（SPA）和动态加载的内容，使用如 Puppeteer 这样的无头浏览器模拟用户交互，等待 JavaScript 执行完成，捕获最终的页面内容。
流式处理与实时解析：支持流式解析网页内容，对于大型和动态网页尤为重要，能实时处理网页内容。
如何运行 Jina Reader
1. 使用 r.jina.ai 提取单个网页内容
只需在目标 URL 前添加 https://r.jina.ai/ 前缀即可。例如，提取维基百科关于人工智能的页面内容：
curl https://r.jina.ai/https://en.wikipedia.org/wiki/Artificial_intelligence
2. 使用 s.jina.ai 进行网页搜索
在搜索查询前添加 https://s.jina.ai/ 前缀。例如，搜索“2024 年美国总统大选谁会赢？”：
curl https://s.jina.ai/Who%20will%20win%202024%20US%20presidential%20election%3F
3. 使用流模式处理动态网页
对于动态加载的网页，可以使用流模式确保内容的完整性：
curl -H "Accept: text/event-stream" https://r.jina.ai/https://en.m.wikipedia.org/wiki/Main_Page
资源
项目官网：https://jina.ai/reader
GitHub 仓库：https://github.com/jina-ai/reader
技术文档：https://jina.ai/reader#apiform
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦