Descarga local de un servidor web
Descarga local de un servidor web
Se atrevió también la princesa, sin saber a quién montaba, a sentarse sobre el lomo del toro; entonces el dios, apartándose poco a poco de la tierra y de la arena seca […] Se asusta Europa y vuelve su mirada a la costa que, raptada, va dejando atrás, y con la diestra agarra un cuerno, apoya la otra sobre el lomo; tremolantes, sus ropas se ondulan con el viento. – Ovidio, Metamorfosis II, 838-875.
Una forma sencilla de obtener una copia local de un servidor web consiste en utilizar wget.
Instalación
Instalamos el programa wget en el ordenador.
sudo apt install wget
Copia local de un servidor web
El programa wget cuenta con numerosas opciones. En el supuesto de descargar un servidor web, las opciones preferentes se centran en r, para rastrear toda la web, y k, para transformar los enlaces originales en enlaces válidos para la copia local.
wget -k -r https://torres.epv.uniovi.es/
Verificación de enlaces rotos o redirecciones
La opción spider localiza enlaces rotos o redirecciones. El siguiente ejemplo detecta los enlaces rotos y las redirecciones.ejemplo.
rm wget.log wget --spider -r https://torres.epv.uniovi.es -o wget.log grep "broken link" -B 3 wget.log # enlaces rotos grep "301" wget.log # redirecciones
-- --2020-07-08 19:26:54-- https://torres.epv.uniovi.es/images/favicon.ico Connecting to torres.epv.uniovi.es (torres.epv.uniovi.es)|156.35.173.56|:443... connected. HTTP request sent, awaiting response... 404 Not Found Remote file does not exist -- broken link!!! --
Obtención de un rango de páginas
Si desea obtener un rango de páginas, el siguiente ejemplo descarga las páginas 1 a 47.
wget https://es.overleaf.com/gallery/tagged/tikz/page/{1..47}
Una reflexión sobre descargas de páginas web
No abuse de la creación de copias locales, pues por una parte, satura con peticiones al servidor web que accede, y por otra parte, tal vez conculque los derechos de autor. Aunque si el dios Zeus, prendado de la princesa Europa, se transforma en toro blanco para raptarla, ¡qué no haremos los simples mortales!