Desarrollo y DevOps

Extraer Datos Web y Almacenarlos en MongoDB

23 nodos 217 118 Automatic trigger
Descargar

Descripción del flujo de trabajo

Automatización que obtiene contenido HTML de páginas web, lo procesa en lotes y almacena los datos extraídos en MongoDB. Incluye manejo de archivos binarios, lógica condicional y ejecución de comandos del sistema para flujos de datos flexible.

Cómo funciona

  1. 1.Activar manualmente o mediante solicitud HTTP con URL destino y parámetros
  2. 2.Obtener y analizar contenido HTML de la página web especificada
  3. 3.Dividir datos en lotes para procesamiento concurrente eficiente
  4. 4.Aplicar lógica condicional y transformaciones personalizadas a cada lote
  5. 5.Escribir registros validados directamente en colecciones de MongoDB
  6. 6.Gestionar archivos binarios y ejecutar comandos del sistema según sea necesario

Casos de uso

  • Raspar catálogos de productos y precios de sitios de comercio electrónico en MongoDB
  • Monitorear cambios en sitios web y extraer información actualizada automáticamente
  • Construir canalizaciones de datos que combinen web scraping con reglas de procesamiento personalizadas

Requisitos

  • Cuenta de MongoDB activa con credenciales de conexión y acceso adecuado a base de datos
  • URLs válidas de páginas web que contengan datos para extraer
  • Permisos del sistema para operaciones de archivos binarios y ejecución de comandos si es necesario

Valor del servicio

Ideal como servicio de automatización operativa para conectar sistemas, reducir tareas manuales y acelerar la entrega de resultados a clientes o equipos internos.

Aplicaciones utilizadas

HTML Split In Batches MongoDB Uproc

Detalles

Disparador Automatic trigger
Nodos 23
Aplicaciones 4
Vistas 217
Descargas 118

Cómo usar

  1. 1.Haz clic en "Descargar plantilla"
  2. 2.Abre tu panel de n8n
  3. 3.Ve a Workflows > Import from File
  4. 4.Selecciona el archivo descargado y configura las credenciales

Nodos utilizados (23)

/

On clicking 'execute'

Manual Trigger

#1

HTTP Request

HTTP Request

#2

HTML Extract

HTML Page

#3

SplitInBatches

Split In Batches

#4

HTTP Request1

HTTP Request

#5

HTML Extract1

HTML Page

#6

MongoDB1

Mongo Db

#7

uProc

Uproc

#8

Prepare Documents

Function

#9

More Countries

If

#10

Set Page to Scrape

Function Item

#11

More Pages

If

#12

Set More Pages

Function

#13

Set

Set

#14

Generate filename

Function Item

#15

Read Binary File

Read Binary File

#16

File exists?

If

#17

Write Binary File

Write Binary File

#18

Read Binary File1

Read Binary File

#19

Wait

Function

#20

Prepare countries

Function

#21

Create Directory

Execute Command

#22

MongoDB

Mongo Db

#23

Plantillas similares

Monitorear posts de X y enviar alertas por correo automáticamente

22 nodos

Flujo de trabajo manual para actualizaciones en Contentful

2 nodos

Flujo de trabajo automatizado

4 nodos

Extraer y procesar datos de Baserow según programación

10 nodos

Procesar Datos Entrantes y Eliminar Duplicados Automáticamente

10 nodos

Extraer datos de clientes Shopify e insertar en Google Sheets

8 nodos