unstructured
LLM開発ツールあらゆる文書をLLM用データに変換
Unstructuredは、PDFやWord、HTML、画像など多様な形式の文書をLLMで扱いやすい構造化データに変換するオープンソースのETLライブラリです。文書のレイアウト解析により本文・表・タイトルなどの要素を自動で抽出し、RAGに適したチャンク分割や埋め込み処理までのパイプラインを構築できます。OCR機能を備えているためスキャン文書にも対応し、LangChainやLlamaIndexとの連携も容易です。社内に蓄積された雑多なドキュメントをAIで活用できる形に整えたいデータエンジニアや、RAGシステムの前処理を効率化したい企業に向いています。文書処理はRAGの精度を左右する重要な工程であり、その基盤を担うツールとして広く使われています。Apache-2.0ライセンスです。
関連トピック
コメント（0）
コメントするにはログインしてください。
同じカテゴリのOSS
rea
Reverse engineer anything with agents, from app behavior down to native binaries.
hermes-agent
ユーザーと共に成長するAIエージェント（Nous Research製）
OpenCode
The open source coding agent.
firecrawl
WebをLLM向けに検索・スクレイピングするAPI
ponytail
Makes your AI agent think like the laziest senior dev in the room. The best code is the code you never wrote.
transformers
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models in text, vision, audio, and multimodal models, for both inference and training.