웹사이트·문서를 LLM용 클린 마크다운·구조화 JSON으로 변환하는 오픈소스 스크레이퍼. 동적 렌더링·크롤링·추출을 단일 API로 제공합니다.
주요 기능
- ✓ 단일 URL → 클린 마크다운 변환
- ✓ 전체 사이트 크롤링 + sitemap 추종
- ✓ LLM 기반 구조화 데이터 추출
- ✓ 동적 페이지(JS 렌더링) 지원
- ✓ MCP 서버·LangChain 통합 제공
Topics
web-scraping crawling llm markdown data-extraction rag