Autor Tema: ¿Base de datos en perpetuo día de la marmota?  (Leído 12950 veces)

0 Usuarios y 1 Visitante están viendo este tema.

Desconectado jmsolher

  • Full Member
  • ***
  • Mensajes: 105
    • Ver Perfil
    • meteoBezana
  • Estación: ESCTB3900000039108A
¿Base de datos en perpetuo día de la marmota?
« en: 18 de Junio del 2019, 09:45:52 am »
buenas
Quizás sea un tema que nos ocurre a los novatos ( o a mí especialmente  ;D ) pero el caso es que tengo la sensación de que mi base de datos se ha instalado en un perpetuo día de la marmota. Voy a ver si soy capaz de explicarme correctamente.

Como ya sabéis, he tenido algún que otro problemilla con la estación nueva y tras reclamar la garantía parece que todo vuelve a la normalidad. El caso es que durante los primeros 15 días la estación funcionó correctamente tras lo cual comenzó a dar fallos hasta que la desinstalé para su envío al servicio técnico. Pues bien, ahora que ya la tengo de nuevo (desde el 12 junio) he visto que la base de datos en su backup diario está continuamente en el intervalo 25 abril - 10 mayo (15 días de marras), sin embargo, los informes NOAA los elabora con los datos del día a día sin problemas y se actualizan correctamente, es decir, si consulto la BBDD (con DB Browser for SQLite) sólo veo en la tabla 'archive' los datos del 25 abril al 10 de mayo pero no los registros desde el 12 junio a hoy.

Probé a borrar la base de datos y comenzar 'de cero' pero siguió igual, tras lo cual me decidí a borrar todo lo que el datalogger pudiera tener guardado desde WeeWX (uso raspberry por lo que el weatherlink sólo lo he usado una vez desde mi portátil y únicamente por  trastear) pero tampoco tuve éxito. Todo seguía igual.

Ahora mismo si se consulta el histórico desde la web de la estación sí se ven los cambios ( archivo únicamente del actual mes de junio desde la fecha de ayer que fue cuando borré todo y comencé de nuevo), los informes NOAA también están limpios, etc resultado del 'reseteo total ;D ' pero la base de datos tras su backup de la pasada madrugada sigue en el mismo punto, es decir, los registros son los mismos hoy que los últimos que se grabaron el día 10 de mayo.

¿alguna idea?

saludos.
« Última modificación: 18 de Junio del 2019, 09:50:12 am por JosMar »

Desconectado jmviper

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 4.403
  • "Vortex Complex"
    • Ver Perfil
    • www.meteoarchena.es
  • Estación: Archena - ESMUR3000000030600B
Re:¿Base de datos en perpetuo día de la marmota?
« Respuesta #1 en: 18 de Junio del 2019, 10:32:59 am »
Hola JosMar

Atendiendo a que hiciste lo que puse en este hilo donde creamos ese script lo que no se actualiza es en local (/home/pi/weewxbackup/weewxbackup.tar.gz) ?? o en tu FTP ??

comprueba cuál es la última hora de modificación de la copia en local con ls -l /home/pi/weewxbackup


Archena, Valle de Ricote (Murcia). 120 msnm. 19.622 hab.
Davis Vantage Pro2 Plus

www.meteoarchena.es

Desconectado jmsolher

  • Full Member
  • ***
  • Mensajes: 105
    • Ver Perfil
    • meteoBezana
  • Estación: ESCTB3900000039108A
Re:¿Base de datos en perpetuo día de la marmota?
« Respuesta #2 en: 18 de Junio del 2019, 10:46:57 am »
veo que es en local donde no se actualiza. Esta es la respuesta

Código: [Seleccionar]
may 10 08:34

Desconectado jmviper

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 4.403
  • "Vortex Complex"
    • Ver Perfil
    • www.meteoarchena.es
  • Estación: Archena - ESMUR3000000030600B
Re:¿Base de datos en perpetuo día de la marmota?
« Respuesta #3 en: 18 de Junio del 2019, 11:00:55 am »
Pon el contenido del script que hace la copia y la sube al FTP quitando la información personal del FTP.

También comprueba el crontab y si el script tiene permisos de ejecución

Lo más seguro es que o no se esté ejecutando el script o encuentre un fallo y no lo ejecute. Podrías ejecutarlo manualmente con ./home/pi/weewxbackup.sh si lo tienes en esa ruta y ver si crea la copia o si sale algún fallo.


Archena, Valle de Ricote (Murcia). 120 msnm. 19.622 hab.
Davis Vantage Pro2 Plus

www.meteoarchena.es

Desconectado jmsolher

  • Full Member
  • ***
  • Mensajes: 105
    • Ver Perfil
    • meteoBezana
  • Estación: ESCTB3900000039108A
Re:¿Base de datos en perpetuo día de la marmota?
« Respuesta #4 en: 18 de Junio del 2019, 13:07:53 pm »
el script era éste
Código: [Seleccionar]
#!/bin/bash

SERVIDOR=''
USUARIO=''
PASS=''
RUTA='/www/'  #Raíz del FTP. Ponerla siempre entre las comillas

/etc/init.d/weewx stop

tar -czf /home/pi/weewxbackup/weewxbackup.tar.gz -C /etc/weewx weewx.conf  -C skins/neowx skin.conf -C /var/lib/weewx weewx.sdb

/etc/init.d/weewx start

ftp -n $SERVIDOR<<FINAL
quote USER $USUARIO
quote PASS $PASS
binary
prompt
put /home/pi/weewxbackup/weewxbackup.tar.gz $RUTA/weewxbackup/weewxbackup.tar.gz
quit
FINAL
exit 0
si lo intento en 'manual' no funciona, es decir, no sube por FTP pero sí realiza la copia de seguriad; el cronjob trabaja sin problemas y hace la copia todos los días a la hora estipulada y, además, la sube por FTP al servidor .
en cuanto a los permisos del sript están en: -rwxr-xr-x-
« Última modificación: 18 de Junio del 2019, 13:10:24 pm por JosMar »

Desconectado jmviper

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 4.403
  • "Vortex Complex"
    • Ver Perfil
    • www.meteoarchena.es
  • Estación: Archena - ESMUR3000000030600B
Re:¿Base de datos en perpetuo día de la marmota?
« Respuesta #5 en: 18 de Junio del 2019, 13:24:24 pm »

el cronjob trabaja sin problemas y hace la copia todos los días a la hora estipulada y, además, la sube por FTP al servidor .


Me he perdido... no dices que no te lo actualizaba ? Según la copia de seguridad local de la que has puesto la captura es del 10 de mayo... atendiendo al hilo en el que se hizo lo del script fue el 8 de mayo cuando lo dimos por cerrado por conseguir que funcionase... sólo 2 días después ha dejado de actualizártelo.

En manual ejecuta el script con sudo delante. Se me ha olvidado ponerlo antes... olvidos que tiene uno al hacer las cosas como root...


Archena, Valle de Ricote (Murcia). 120 msnm. 19.622 hab.
Davis Vantage Pro2 Plus

www.meteoarchena.es

Desconectado jmsolher

  • Full Member
  • ***
  • Mensajes: 105
    • Ver Perfil
    • meteoBezana
  • Estación: ESCTB3900000039108A
Re:¿Base de datos en perpetuo día de la marmota?
« Respuesta #6 en: 18 de Junio del 2019, 14:49:18 pm »

el cronjob trabaja sin problemas y hace la copia todos los días a la hora estipulada y, además, la sube por FTP al servidor .

Me he perdido... no dices que no te lo actualizaba ? Según la copia de seguridad local de la que has puesto la captura es del 10 de mayo... atendiendo al hilo en el que se hizo lo del script fue el 8 de mayo cuando lo dimos por cerrado por conseguir que funcionase... sólo 2 días después ha dejado de actualizártelo.

el cron hace su tarea. crea la copia de seguridad y la sube vía FTP pero esa copia de seguridad es la misma día tras día, es decir, cuando la reviso veo que es la misma hoy, mañana y pasado con los mismos registros entre abril y el 10 de mayo.
Cierto es que no la había revisado tras el 8 de mayo puesto que di por sentado que al hacer las copias de seguridad día a día, éstas estaban OK en cuanto a sus registros (quizás debí hacerlo, mea culpa). Ha sido a raíz de la 'avería' de la estación y vuelta otra vez a su funcionamiento y puesta online cuando me ha dado por revisar las copias de seguridad con el fin de editar la BBDD y quitar los registros 'null' o registros de días en los que estuvo offline, cuando me he dado cuenta de este problema.

Citar
En manual ejecuta el script con sudo delante. Se me ha olvidado ponerlo antes... olvidos que tiene uno al hacer las cosas como root...
sí, lo he ejecutado con sudo sh /home/pi/weewxbackup.sh y certifico que me hace la copia de seguridad en local pero no me la sube vía FTP (en modo manual, es decir, con el comando sudo sh.... esa copia de seguridad manual SÍ tiene los registros correctos desde ayer por la tarde que fue cuando 'resetee' todo, sin embargo la copia  que el cron me ha subido esta madrugada vía FTP sigue con los registros mal, es decir, sigue con los registros de abril y mayo)

Viendo estos detalles, lo que saco en conclusión es que es el cron el que está haciendo su trabajo de forma un poco 'extraña' porque los datos y registros que está asegurando vía backup no son los actuales. Es como si estuvieran 'ocultos'  esos datos por algún lado y se hubiera quedado en bucle realizando la misma operación desde el día 10 de mayo
« Última modificación: 18 de Junio del 2019, 15:17:51 pm por JosMar »

Desconectado jmviper

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 4.403
  • "Vortex Complex"
    • Ver Perfil
    • www.meteoarchena.es
  • Estación: Archena - ESMUR3000000030600B
Re:¿Base de datos en perpetuo día de la marmota?
« Respuesta #7 en: 18 de Junio del 2019, 16:06:22 pm »
Veamos... no hagas mucho caso en las actualizaciones a los contenidos sino a las fechas de los archivos en sí. Con FileZilla mismo puedes ver qué fecha tiene la copia de seguridad que tienes en tu FTP.

veo que es en local donde no se actualiza. Esta es la respuesta

Código: [Seleccionar]
may 10 08:34

Según esto que has puesto antes y que corresponde con el resultado de ejecutar ls -l /home/pi/weewxbackup la copia de seguridad no está siendo actualizada por el cron localmente.

Descartemos cosas y veamos si lo que pasa es que ni crea ni sube con el cron. Si manualmente se genera es o porque no está el cron funcionando o encuentra algún error. Pon el resultado de crontab -l y también en el script en $RUTA="/www/" no pongas la última barra, déjalo así: $RUTA="/www" (si es esa la verdadera raíz del FTP)

A ver si damos con el problema


Archena, Valle de Ricote (Murcia). 120 msnm. 19.622 hab.
Davis Vantage Pro2 Plus

www.meteoarchena.es

Desconectado jmsolher

  • Full Member
  • ***
  • Mensajes: 105
    • Ver Perfil
    • meteoBezana
  • Estación: ESCTB3900000039108A
Re:¿Base de datos en perpetuo día de la marmota?
« Respuesta #8 en: 18 de Junio del 2019, 18:04:36 pm »
Citar
Descartemos cosas y veamos si lo que pasa es que ni crea ni sube con el cron. Si manualmente se genera es o porque no está el cron funcionando o encuentra algún error. Pon el resultado de crontab -l
el resultado es:  2 0 * * * /home/pi/weewxbackup.sh

realiza la copia y sube por FTP a las 00.02 (los datos de mi estación se acutalizan cada 5 mins y suele ser a las 00.01 cuando salen las actualizaciones (páginas web, etc) de las 00.00 de ahí que para que no haya interferencias u otros problemas se haga la subida a las 00.02. He revisado por FileZilla y, efectivamente, la subida la hace a las 00.02. Cuando haga la nueva subida esta madrugada me fijaré si hay algún cambio tras modificar como me has indicado $RUTA='/www'


Desconectado jmviper

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 4.403
  • "Vortex Complex"
    • Ver Perfil
    • www.meteoarchena.es
  • Estación: Archena - ESMUR3000000030600B
Re:¿Base de datos en perpetuo día de la marmota?
« Respuesta #9 en: 18 de Junio del 2019, 20:42:26 pm »
El problema es que no se va a ejecutar en el crontab del usuario pi. Borra esa línea y ponla en el crontab de root con sudo crontab -e



Archena, Valle de Ricote (Murcia). 120 msnm. 19.622 hab.
Davis Vantage Pro2 Plus

www.meteoarchena.es

Desconectado jmsolher

  • Full Member
  • ***
  • Mensajes: 105
    • Ver Perfil
    • meteoBezana
  • Estación: ESCTB3900000039108A
Re:¿Base de datos en perpetuo día de la marmota?
« Respuesta #10 en: 19 de Junio del 2019, 01:09:01 am »
hola,
parece ir bien ahora, es decir, me hace el backup en local y lo sube vía FTP pero desde el usuario 'pi' no como 'root' (lo he intentado y no me resulta) El backup me lo hace con la BBDD actual y sin errores, sin embargo, me he dado cuenta de otra cosa: tengo instalado un firewall y aparentemente  no envía el backup correctamente al servidor, en cambio si desactivo el firewall sí lo envía....tendré que investigar un poquito este tema....supongo sea algún tema de puertos,  pero por lo demás todo OK




Desconectado jmviper

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 4.403
  • "Vortex Complex"
    • Ver Perfil
    • www.meteoarchena.es
  • Estación: Archena - ESMUR3000000030600B
Re:¿Base de datos en perpetuo día de la marmota?
« Respuesta #11 en: 19 de Junio del 2019, 08:29:51 am »
Puede efectivamente que el firewall te esté dando problemas. Se ve que entre el sudo (que es necesario para parar e iniciar weewx en el script) y el firewall hacen los síntomas que estás teniendo...

Prueba a poner en pasivo el  FTP a ver si mejora la situación. Justo después de la primera línea en la que se inicia el FTP en el script ftp -n $SERVIDOR<<FINAL crea después una nueva línea y pon passive

Prueba a ver si va bien. También supongo que el firewall tendrá un log en el que ponga los posibles bloqueos que hace. Lo creará en algún archivo que lleve su nombre o algo parecido a firewall en /var/log


Archena, Valle de Ricote (Murcia). 120 msnm. 19.622 hab.
Davis Vantage Pro2 Plus

www.meteoarchena.es

Desconectado jmsolher

  • Full Member
  • ***
  • Mensajes: 105
    • Ver Perfil
    • meteoBezana
  • Estación: ESCTB3900000039108A
Re:¿Base de datos en perpetuo día de la marmota?
« Respuesta #12 en: 19 de Junio del 2019, 10:14:14 am »
hola
en modo passive consigue enviar vía FTP.  plau2 . El backup es correcto y completo.  apla3 A partir de ahora seguiré más de cerca las 'andanzas' de mi BBDD y los backup para comprobar la exactitud de los registros y evitar sorpresas (en la medida de lo posible  :) )
saludos.



Desconectado jmviper

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 4.403
  • "Vortex Complex"
    • Ver Perfil
    • www.meteoarchena.es
  • Estación: Archena - ESMUR3000000030600B
Re:¿Base de datos en perpetuo día de la marmota?
« Respuesta #13 en: 19 de Junio del 2019, 10:24:48 am »
Ok perfecto  :)

Una puntualización... después de mi anterior sugerencia de poner el passive puede que el sitio donde ponerlo no fuera el adecuado ya que conecta al FTP y seguidamente hay que autenticarse por lo que quizás lo más apropiado sería ponerlo antes de binary pero según dices lo ha aceptado como puse antes.

Ve vigilando el funcionamiento y que vaya bien.

saludos


Archena, Valle de Ricote (Murcia). 120 msnm. 19.622 hab.
Davis Vantage Pro2 Plus

www.meteoarchena.es

Desconectado jmsolher

  • Full Member
  • ***
  • Mensajes: 105
    • Ver Perfil
    • meteoBezana
  • Estación: ESCTB3900000039108A
Re:¿Base de datos en perpetuo día de la marmota?
« Respuesta #14 en: 19 de Junio del 2019, 10:47:36 am »
qué diferencia hay entre ponerlo en un lugar o en otro?