Feed Slashdot: Modo "verboso" y peticiones HTTP incondicionales

Artículos previos sobre este proyecto para enviar por email las novedades diarias de un feed RSS:

Aunque el código va necesitando una refactorización y limpieza, sigo haciendo pequeñas modificaciones y mejoras:

  • Modo verboso: Normalmente cuando se invoca el programa hace su trabajo sin más. Pero a veces nos interesa saber qué ha hecho, si ha enviado un correo electrónico o no, por ejemplo, cuántas entradas nuevas hay en el feed RSS, etc.

  • Peticiones HTTP incondicionales: De vez en cuando el feed RSS de Slashdot da un error HTTP 50x, indicando un error interno. Cuando esto ocurre, el Sistema Operativo de mi servidor me envía un email indicando que el proceso ha fallado. Ejecutándolo manualmente compruebo que cuando ocurren esos errores el feed RSS de Slashdot no ha cambiado desde la petición anterior y que, de hecho, el problema se resuelve solo cuando aparece una entrada nueva.

    Esto tiene toda la pinta de ser un bug en el código de Slashdot y en realidad solo me afecta de forma cosmética (los correos electrónicos de errores que me llegan por ser administrador de la máquina que ejecuta este servicio), pero durante las pruebas comprobé que hacer una petición HTTP incondicional [1] no produce un error, así que añadí esa funcionalidad al programa.

    [1]

    Cuando mi programa detecta una actualización del feed RSS se queda con sus entradas y las siguientes peticiones no vuelven a pedir el feed RSS sin más, sino que envía al servidor HTTP de Slashdot lo que se llama una petición condicional que básicamente dice: "envíame el feed RSS solo si ha habido algún cambio desde la versión anterior. Si no no me mandes nada". Esto es ventajoso para todo el mundo, pero parece que Slashdot falla de vez en cuando cuando en realidad no ha habido un cambio en el feed RSS y simplemente tendría que haberme respondido con un código HTTP 304. Es así cómo debería ser y, de hecho, es lo que hace el 99.99% del tiempo. Pero falla ese 0.01%...

El parche es largo, pero fácil de entender:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
 
@@ -13,6 +13,7 @@
 import email.utils
 import datetime
 import socket
+import argparse

 from bs4 import BeautifulSoup
 import feedparser
@@ -34,12 +35,13 @@
         self.modified = data['modified']
         self.saved = False

-    def condicional(self):
+    def condicional(self, inconditional):
         v = {}
-        if self.etag:
-            v['etag'] = self.etag
-        if self.modified:
-            v['modified'] = self.modified
+        if not inconditional:
+          if self.etag:
+              v['etag'] = self.etag
+          if self.modified:
+              v['modified'] = self.modified
         return v

     def notificado(self):
@@ -64,11 +66,12 @@
     def new(self, guid, ts, title, link, summary):
         if guid in self._procesados:
             self._procesados_nuevos.add(guid)
-            return
+            return False
         if guid in self._procesados_nuevos:
-            return
+            return False

-        return self.update(guid, ts, title, link, summary)
+        self.update(guid, ts, title, link, summary)
+        return True

     def feed304(self):
         self._procesados_nuevos.update(self._procesados)
@@ -132,10 +135,10 @@
         del self._procesados_nuevos


-def main():
+def main(verbose, inconditional):
     entradas = items()

-    condicional = entradas.condicional()
+    condicional = entradas.condicional(inconditional)

     # XXX: Este timeout no es problema porque no tenemos múltiples hilos.
     # Habría que usar mejor "request" o similar.
@@ -149,17 +152,23 @@

     if feed.status == 200:
         etag, modified = feed.get('etag'), feed.get('modified')
+        num_nuevos = 0
         for entry in feed.entries:
             summary = BeautifulSoup(entry["summary"], 'html.parser')
             summary = list(summary.children)[0]
             # Para que sea una cadena normal y no un bs4.NavigableString
             summary = str(summary)
-            entradas.new(entry['id'], entry.updated_parsed,
-                         entry['title'], entry['link'], summary)
+            if entradas.new(entry['id'], entry.updated_parsed,
+                            entry['title'], entry['link'], summary):
+                num_nuevos += 1
+        if verbose:
+            print(f'Total: {len(feed.entries)}, Nuevos: {num_nuevos} - ETAG: {etag}, Modified: {modified}')
     elif feed.status == 304:
         # En el 304 no se manda ETAG ni Modified, así que coge los que comprobamos
         # en la petición condicional.
         etag, modified = entradas.feed304()
+        if verbose:
+            print('Sin novedades')
     else:
         raise RuntimeError(f'Estado: {feed.status}')

@@ -238,4 +247,11 @@


 if __name__ == '__main__':
-    main()
+    parser = argparse.ArgumentParser(
+                    prog='Slashdot',
+                    description='Descarga el feed RSS de Slashdot y manda un resumen al día por email.')
+    parser.add_argument('-v', '--verbose', action='store_true', help='Muestra más información')
+    parser.add_argument('--inconditional', action='store_true', help='Haz una petición incondicional')
+    args = parser.parse_args()
+
+    main(verbose=args.verbose, inconditional=args.inconditional)

Las líneas 5 y 87-95 añaden la funcionalidad de especificar parámetros a la ejecución del programa. Los cambios en las líneas 13-25 definen los parámetros HTTP de petición condicional o incondicional. Por defecto la petición es condicional (pedimos a Slashdot que nos mande el feed RSS solo si ha habido cambios), pero podemos forzar peticiones incondicionales desde la línea de comandos (es decir, pedimos a Slashdot que nos envíe el feed RSS actual, sin más).

Las líneas 32-33, 35-36 y 38-40 añaden la indicación de si la entrada que estamos evaluando del feed RSS es una entrada nueva o no. Eso se utilizará en la línea 71, más abajo.

El cambio en 52-53 implementa la posibilidad de hacer peticiones HTTP incondicionales, como se ha explicado más arriba. En la línea 61 y las líneas 67-71 contamos cuántas entradas nuevas tenemos en el feed RSS.

En las líneas 72-73 y 78-79 se nos dice qué ha pasado, si hemos activado el modo verboso.