El hilo del laberinto (Publicaciones sobre Scraping web)

Feed Slashdot: Modo "verboso" y peticiones HTTP incondicionales

Jesús Cea Avión — Fri, 26 Jul 2024 23:49:00 GMT

Artículos previos sobre este proyecto para enviar por email las novedades diarias de un feed RSS:

Aunque el código va necesitando una refactorización y limpieza, sigo haciendo pequeñas modificaciones y mejoras:

Modo verboso: Normalmente cuando se invoca el programa hace su trabajo sin más. Pero a veces nos interesa saber qué ha hecho, si ha enviado un correo electrónico o no, por ejemplo, cuántas entradas nuevas hay en el feed RSS, etc.

Peticiones HTTP incondicionales: De vez en cuando el feed RSS de Slashdot da un error HTTP 50x, indicando un error interno. Cuando esto ocurre, el Sistema Operativo de mi servidor me envía un email indicando que el proceso ha fallado. Ejecutándolo manualmente compruebo que cuando ocurren esos errores el feed RSS de Slashdot no ha cambiado desde la petición anterior y que, de hecho, el problema se resuelve solo cuando aparece una entrada nueva.

Esto tiene toda la pinta de ser un bug en el código de Slashdot y en realidad solo me afecta de forma cosmética (los correos electrónicos de errores que me llegan por ser administrador de la máquina que ejecuta este servicio), pero durante las pruebas comprobé que hacer una petición HTTP incondicional [1] no produce un error, así que añadí esa funcionalidad al programa.

[1]

Cuando mi programa detecta una actualización del feed RSS se queda con sus entradas y las siguientes peticiones no vuelven a pedir el feed RSS sin más, sino que envía al servidor HTTP de Slashdot lo que se llama una petición condicional que básicamente dice: "envíame el feed RSS solo si ha habido algún cambio desde la versión anterior. Si no no me mandes nada". Esto es ventajoso para todo el mundo, pero parece que Slashdot falla de vez en cuando cuando en realidad no ha habido un cambio en el feed RSS y simplemente tendría que haberme respondido con un código HTTP 304. Es así cómo debería ser y, de hecho, es lo que hace el 99.99% del tiempo. Pero falla ese 0.01%...

El parche es largo, pero fácil de entender:

Leer más… (quedan 3 minutos de lectura)

Mejoras a la hora de generar un email diario a partir de un feed RSS (Slashdot)

Jesús Cea Avión — Mon, 30 Mar 2020 16:52:00 GMT

En Generar un email diario a partir de un feed RSS (Slashdot) publico un pequeño programa en Python para enviarme un correo electrónico diario con los artículos publicados en Slashdot desde la última notificación.

Este programa me ha servido bien durante años, pero había un problema desconcertante: El programa se ejecuta por cron una vez por hora y se supone que tendría que enviarme el resumen diario entre las cuatro y cinco de la tarde. Normalmente era así, pero no siempre. A veces el email se enviaba horas más tarde.

La cosa no era grave, solo molesta, y nunca tenía tiempo para investigarla. Cuando por fin me metí en harina, tardé un buen ratillo en localizar el problema:

El programa hace una petición HTTP condicional al feed RSS de Slashdot para no machacar el servidor y no trabajar nosotros tampoco en vano si no ha habido cambios. La cuestión es que, si no hay nada nuevo que procesar, el programa termina inmediatamente. Es decir, no llega a la parte de "es hora de mandar el email". En resumen, el correo electrónico se enviaba solo cuando era más tarde de las 16:00 y, además, había entrado algún artículo nuevo en el feed RSS.

Una vez determinada la causa última, la solución es simple: procesar el feed RSS aunque no haya novedades. La cosa parecía sencilla, pero al final no lo fue tanto. No guardo el feed RSS original así que tengo que hacer chanchullos para que mi programa no considere que ha perdido datos. La lógica es innecesariamente compleja, el programa exige una refactorización urgente. Durante el proceso detecté otro problema: si en un momento dado el programa detecta que se han perdido datos, pero no ha llegado aún el momento de enviar el correo electrónico, no nos enteramos. Compliqué el código una vez más para que el estado "pérdida de datos" sea persistente y solo se limpie cuando se ha enviado el correo electrónico notificándolo.

El resultado es un programa que funciona correctamente, pero innecesariamente complejo y bastante frágil. Cuando se llega a este estado urge refactorizar o, con un programa tan corto, directamente reescribirlo por completo.

Las diferencias respecto a la versión anterior son:

slashdot-20181015-ddeb027b3f1c.diff (Código fuente)

--- slashdot-20181015.py        2019-10-12 02:28:46.020075954 +0200
+++ slashdot-ddeb027b3f1c.py    2021-02-11 20:18:38.341490217 +0100
@@ -1,7 +1,7 @@
 #!/usr/bin/env python3


-# (c) 2018 Jesús Cea Avión - jcea@jcea.es - https://www.jcea.es/
+# (c) 2018-2020 Jesús Cea Avión - jcea@jcea.es - https://www.jcea.es/
 # This code is licensed under AGPLv3.


@@ -28,6 +28,7 @@

         self._procesados = data['procesados']
         self._buckets = data['buckets']
+        self._solapamiento = data.get('solapamiento', True)
         self._procesados_nuevos = set()
         self.etag = data['etag']
         self.modified = data['modified']
@@ -41,10 +42,14 @@
             v['modified'] = self.modified
         return v

+    def notificado(self):
+        self._solapamiento = True
+        self.cambiado = True
+
     def solapamiento(self):
         if self.saved:
             return self._solapamiento
-        return not self._procesados.isdisjoint(self._procesados_nuevos)
+        return self._solapamiento and not self._procesados.isdisjoint(self._procesados_nuevos)

     def update(self, guid, ts, title, link, summary):
         self._procesados_nuevos.add(guid)
@@ -65,6 +70,10 @@

         return self.update(guid, ts, title, link, summary)

+    def feed304(self):
+        self._procesados_nuevos.update(self._procesados)
+        return self.etag, self.modified
+
     def itera_antiguos(self, horas=16):
         ts_antiguo = datetime.datetime.now()
         ts_antiguo -= datetime.timedelta(seconds=horas * 60 * 60)
@@ -99,6 +108,8 @@
         if not self.cambiado:
             return

+        self._solapamiento = self.solapamiento()
+
         procesados = self._procesados_nuevos
         if not purga:
             procesados.update(self._procesados)
@@ -106,6 +117,7 @@
         with open(path + '.NEW', 'wb') as f:
             data = {'procesados': procesados,
                     'buckets': self._buckets,
+                    'solapamiento': self._solapamiento,
                     'etag': etag, 'modified': modified,
                     }
             pickle.dump(data, f, pickle.HIGHEST_PROTOCOL)
@@ -115,7 +127,6 @@
         self.cambiado = False

         # Tras el save no deberíamos usar más este objeto
-        self._solapamiento = self.solapamiento()
         self.saved = True
         del self._procesados
         del self._procesados_nuevos
@@ -136,20 +147,21 @@
     finally:
         socket.setdefaulttimeout(timeout)

-    if feed.status == 304:
-        # print("Sin cambios")
-        return
-
-    for entry in feed.entries:
-        summary = BeautifulSoup(entry["summary"], 'html.parser')
-        summary = list(summary.children)[0]
-        entradas.new(entry['id'], entry.updated_parsed,
-                     entry['title'], entry['link'], summary)
-
-    no_solapamiento = ''
-    if not entradas.solapamiento():
-        no_solapamiento = '<font size=+2><b>HEMOS PERDIDO ENTRADAS</b></font>'
-        no_solapamiento += '<br/><br/>\n'
+    if feed.status == 200:
+        etag, modified = feed.get('etag'), feed.get('modified')
+        for entry in feed.entries:
+            summary = BeautifulSoup(entry["summary"], 'html.parser')
+            summary = list(summary.children)[0]
+            entradas.new(entry['id'], entry.updated_parsed,
+                         entry['title'], entry['link'], summary)
+    elif feed.status == 304:
+        # En el 304 no se manda ETAG ni Modified, así que coge los que comprobamos
+        # en la petición condicional.
+        etag, modified = entradas.feed304()
+    else:
+        raise RuntimeError(f'Estado: {feed.status}')
+
+    # Si es 304, procesamos lo viejo por si tiene que salir el email.

     html_desc = html_links = ''
     entradas_a_borrar = []
@@ -164,9 +176,14 @@
     # lo cierto es que queremos actualizar el etag y el modified AUNQUE
     # no haya habido cambios en el feed. Esto es algo a mejorar en el futuro.

-    entradas.save(feed.get('etag'), feed.get('modified'))
+    entradas.save(etag, modified)

     if html_desc:
+        no_solapamiento = ''
+        if not entradas.solapamiento():
+            no_solapamiento = '<font size=+2><b>HEMOS PERDIDO ENTRADAS</b></font>'
+            no_solapamiento += '<br/><br/>\n'
+
         html_links = f'<ul>\n{html_links}\n</ul>\n'
         html = f'''<html>
 <head>
@@ -196,14 +213,17 @@
                        stdout=subprocess.PIPE,
                        stderr=subprocess.PIPE)

+        entradas.notificado()
+
     # XXX: Lo suyo sería grabar solo si hay cambios de verdad, pero
     # lo cierto es que queremos actualizar el etag y el modified AUNQUE
     # no haya habido cambios en el feed. Esto es algo a mejorar en el futuro.
     entradas = items()
+    etag, modified = entradas.feed304()  # XXX: Para evitar "no solapamiento"
     for guid, ts in entradas_a_borrar:
         entradas.borrar(guid, ts)

-    entradas.save(feed.get('etag'), feed.get('modified'), purga=False)
+    entradas.save(etag, modified, purga=False)


 if __name__ == '__main__':

El código completo es el siguiente:

Leer más… (quedan 5 minutos de lectura)

Generar un email diario a partir de un feed RSS (Slashdot)

Jesús Cea Avión — Thu, 10 Oct 2019 23:43:00 GMT

Llevo décadas, literalmente, siguiendo Slashdot. Es una de mis fuentes de noticias de revisión diaria obligada. Se puede seguir a través del feed RSS, pero el tráfico diario es alto y es fácil perder noticias si pasas un par de días desconectado, porque, por ejemplo, estás de vacaciones o de viaje. Afortunadamente, Slashdot proporciona la opción de recibir un único mensaje diario con la recopilación de noticias del día anterior. Esto es muy conveniente para leerlas cuando te va bien, no preocuparte de perder noticias y, además, poder archivarlas en tu sistema de correo para futuras búsquedas o referencias.

Todo fue bien hasta el 23 de septiembre de 2018. Ese día me dejaron de llegar los mensajes diarios de noticias sin ningún motivo aparente [1]. Curiosamente, sí me llegaban los emails de Slashdot sobre promociones y publicidad.

Revisé mi configuración antispam, por si acaso mi servidor de correo electrónico se estaba comiendo los mensajes, los logs del servidor, etc., sin éxito. Preguntar online y revisar foros para ver si alguien más tenía problemas fue infructuoso. Intentar ponerme en contacto con la gente de Slashdot fue imposible.

Slashdot, sencillamente, ya no me enviaba los mensajes.

Durante un tiempo aguanté leyendo el feed RSS de forma diaria, pero los fines de semana eran problemáticos porque tenía apagado el ordenador un par de días y algunas noticias ya no entraban en el último feed RSS. Los lunes tocaba revisar noticias a mano.

Tras pensarlo un poco y evaluar el coste/beneficio, decidí crear un programa simple y mínimo para reemplazar el email de noticias que me enviaba Slashdot a diario. El programa me costó una tarde de trabajo y ha estado funcionando desde entonces sin ningún tipo de problema.

[1]

Slashdot empezó a enviarme las noticias diarias de nuevo el 6 de abril de 2019. Así, sin más. ¿Qué ocurrió? Imagino que nunca lo sabré. La cuestión es que ya tenía este reemplazo funcionando durante meses, sin publicidad, sin depender de terceros, sin comprometer mi privacidad...

Sigo suscrito a las notificaciones diarias de Slashdot, pero ya ni siquiera abro esos emails. Tengo las mías y son mejores.

El código completo es el siguiente:

Leer más… (quedan 17 minutos de lectura)