Protocolo
HTTP: páginas webs estáticas y dinámicas pueden ser obtenidas
haciendo peticiones HTTP al servidor remoto utilizando sockets, etc.
Algoritmos
de minería de datos: muchos sitios webs tienen grandes
colecciones de páginas generadas dinámicamente a partir de una base
de datos. Datos de la misma categoría aparecen usualmente en páginas
similares mediante un script o una plantilla. En la minería de
datos, un programa detecta estas plantillas en un contexto específico
y extrae su contenido.
Aplicaciones
para web scraping: existen muchas aplicaciones disponibles que
pueden ser utilizadas para personalizar soluciones de Web Scraping.
Estas aplicaciones pudieran reconocer automáticamente la estructura
de cierta página o brindar una interfaz al usuario donde este
pudiera seleccionar los campos que son de interés dentro del
documento. De esta forma no es necesario escribir manualmente código
para realizar estas tareas.
«Copiar
y pegar» : algunas veces incluso las mejores técnicas de web
scraping no pueden reemplazar la examinación manual de un humano, y
a veces esta puede ser la única vía de solución cuando el sitio
que tenemos en mente pone ciertas barreras para prevenir que se creen
softwares para realizar tareas automáticas en este.
