Scraping para IA

Qué incluye este pack

Las cinco herramientas convergen en el mismo insight: alimentar HTML crudo a un LLM es un impuesto de tokens. Cuando ya quitaste navbars, ads, scripts y estilos inline, has quemado miles de tokens en nada. Los scrapers AI-native hacen esa conversión en el borde del crawler para que tu capa de retrieval vea markdown limpio.

Por qué el scraping cambió en 2026

Tres cambios jubilaron el playbook clásico.

Primero, el render JavaScript es base. SPAs y sitios edge-rendered esconden contenido tras hydration. El stack de 2018 (requests + BeautifulSoup) devuelve cáscaras. Los motores modernos envuelven Chromium headless y esperan al evento network-idle correcto antes de extraer.

Segundo, el destino es retrieval, no display. La salida no va a un índice de búsqueda — va a una vector database para RAG. Eso cambia el target de optimización de "renderiza en navegador" a "cabe limpio en 8k tokens".

Tercero, el anti-bot escaló. Cloudflare, DataDome y PerimeterX bloquean scrapers naïve en segundos. Firecrawl y Crawlee resuelven esto con proxies residenciales rotantes, randomización de fingerprint y lógica de retry — features que de otro modo improvisas durante semanas.

Instala en un comando

# Instala el pack completo
tokrepo install pack/ai-web-scraping

# O elige el motor que encaja en tu stack
tokrepo install firecrawl
tokrepo install crawl4ai
tokrepo install scrapegraphai

La página TokRepo de cada recurso incluye comandos de instalación, configuración recomendada, y los adaptadores de salida más comunes (markdown, JSONL, insert directo a vector-db).

Trampas comunes

• Robots.txt y rate limits: respétalos. La mayoría de motores tienen respect_robots_txt activado por defecto; apagarlo invita bans de IP y problemas legales. Define delays educados.
• Páginas JavaScript sin render JS: si Firecrawl/Crawl4AI devuelve vacío, estás golpeando un sitio con hydration sin habilitar render. Activa la opción JS.
• Drift de markdown: diferentes motores emiten variantes ligeramente distintas (tablas, code blocks, notas). Normaliza post-crawl si mezclas motores para el mismo corpus RAG.
• PDFs/Office disfrazados de páginas web: scrapers web no los extraen. Pásalo al pack Document AI Pipeline.
• Contenido tras login: scraping detrás de auth es frágil y a menudo viola ToS. Usa la API oficial donde exista.

Cuando este pack solo no basta

Este pack es la capa de extracción. Para completar un pipeline RAG también necesitas:

• Una vector database — ver pack Vector DB Showdown (Chroma, Weaviate, Qdrant)
• Paso de chunking + embedding — usualmente con LangChain o LlamaIndex
• Loop de eval — pack LLM Eval & Guardrails para puntuar relevancia

Para PDFs y Office, cambia al pack Document AI Pipeline. Para scraping interactivo (rellenar formularios, navegar wizards), el pack Browser Automation es la herramienta — esos sitios necesitan interacción estilo Playwright, no crawl.

Cómo elegir el motor

• Quieres una API hosted y no te molesta pagar la infra gestionada: Firecrawl. Mejor dev-ex de los cinco, render JS y rotación de proxies built-in.
• Necesitas scrapear millones de páginas en hardware propio: Crawlee. El framework de crawler más maduro, con persistencia de cola y runs reanudables.
• Construyes ingesta RAG con Python: Crawl4AI. Diseño async-first alcanza 3-5x throughput vs crawlers síncronos en la misma máquina.
• Exportación one-time de knowledge-base para un chatbot: GPT Crawler. Un solo config.ts apunta a un dominio y sale un JSONL listo para subir a OpenAI.
• Páginas con schema irregular donde quieres extraer por intención: ScrapeGraphAI. Le pasas un modelo Pydantic y un prompt; descubre los selectores por página.