Autor Tema: Minimizar la pérdida de datos del último cuarto de hora del día  (Leído 49235 veces)

0 Usuarios y 1 Visitante están viendo este tema.

Desconectado jmviper

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 4.576
  • "Vortex Complex"
    • Ver Perfil
    • www.meteoarchena.es
  • Estación: Archena - ESMUR3000000030600B
Re:Minimizar la pérdida de datos del último cuarto de hora del día
« Respuesta #30 en: 07 de Septiembre del 2016, 22:20:33 pm »

En la página Meteoclimatic de la Estación tomé la siguiente imagen:



Aquí se puede ver que ya la temperatura máxima se ha actualizado a los valores del nuevo día. La temperatura máxima es ahora de 28,7ºC y la actual es de 27,6ºC.

Yo creo y espero que todo esto quiera decir que lo lógico es lo que realmente sucede, y por tanto esta configuración de etc/crontab es la que permita no perder ningún dato.

Espero que los expertos me den su opinión sobre todo esto. Yo por mi parte mantendré esta configuración para comprobar que el día que llueva en los últimos minutos del día no se produce ninguna inconsistencia.

Saludos.

  ::) ::) :o :o


Archena, Valle de Ricote (Murcia). 120 msnm. 19.622 hab.
Davis Vantage Pro2 Plus

www.meteoarchena.es

Desconectado Amon-K

  • Full Member
  • ***
  • Mensajes: 209
    • Ver Perfil
    • MeteoPG
  • Estación: Puente Genil - ESAND1400000014500A
Re:Minimizar la pérdida de datos del último cuarto de hora del día
« Respuesta #31 en: 08 de Septiembre del 2016, 01:24:25 am »
Buenas noches jmviper.

Gracias por tu respuesta pero no entiendo que me quieres decir y me interesa mucho saberlo. Quisiera saber tu opinión y de las personas como tú que llevais muchos años trabajando en este tema (yo solo llevo algunos meses) y que me podeis decir con perspectiva si mis conclusiones son erradas o por el contrario van por buen camino. En todo momento he expuesto con detalle los pasos que he dado, mi argumentacion y mis conclusiones para recibir las opiniones de las personas que seguian el hilo.

Saludos.
  ESAND1400000014500A http://meteopg.ddns.net Davis VP2 + Raspberry Pi 2 + Weewx 3.7.1

Desconectado jantoni

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 5.794
    • Ver Perfil
  • Estación: ESMAD2800000028522A
Re:Minimizar la pérdida de datos del último cuarto de hora del día
« Respuesta #32 en: 08 de Septiembre del 2016, 07:01:30 am »
No se si a jmviper le pasaría ayer como a mi.

Pero en lugar de las gráficas,  a mi,  en mi tableta me salia la fotografía de un anciano.

Ahora,  sin embargo,  veo las gráficas perfectamente

Davis Vantage Vue (sin datalogger) + Orange Pi PC + Weewx

GW2000 + WS90 con Weewx (https://www.ecowitt.net/home/index?id=199315)
WH2650 con WH65 con Home Assistant y Weewx (https://www.ecowitt.net/home/index?id=40387)
GW1000 con WH32 y Home Assistant (https://www.ecowitt.net/home/index?id=17080)
Sensores adicionales: WH31 (3) + WH41

Desconectado jmviper

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 4.576
  • "Vortex Complex"
    • Ver Perfil
    • www.meteoarchena.es
  • Estación: Archena - ESMUR3000000030600B
Re:Minimizar la pérdida de datos del último cuarto de hora del día
« Respuesta #33 en: 08 de Septiembre del 2016, 09:15:57 am »
No se si a jmviper le pasaría ayer como a mi.

Pero en lugar de las gráficas,  a mi,  en mi tableta me salia la fotografía de un anciano.

Ahora,  sin embargo,  veo las gráficas perfectamente

Menos mal que no fuí yo solo... en vez de citar pensé en hacer captura de pantalla y adjuntarla y al ver el gráfico de nuevo pensé que era una jugarreta de urls de tinypic y luego pensé lo peor... pensé en que IE del que debo de ser de los pocos que aún lo use me puso alguna imagen de su caché... ::)

En fin Amon-K veo que te has puesto manos a la obra para no perder datos del día con weewx por lo que a más de uno que lo use le vendrán muy bien las pruebas que estás haciendo.

Saludos


Archena, Valle de Ricote (Murcia). 120 msnm. 19.622 hab.
Davis Vantage Pro2 Plus

www.meteoarchena.es

Desconectado Amon-K

  • Full Member
  • ***
  • Mensajes: 209
    • Ver Perfil
    • MeteoPG
  • Estación: Puente Genil - ESAND1400000014500A
Re:Minimizar la pérdida de datos del último cuarto de hora del día
« Respuesta #34 en: 08 de Septiembre del 2016, 09:47:21 am »
Gracias jmviper y jantoni por responder.
Ah!. Puede ser un problema de tinypic, el servidor de imagenes gratuito que he utilizado. Lo iré comprobando por si volviera a suceder.
Como ahora se ven bien las imágenes me gustaria saber si mis últimas conclusiones son correctas. Creo que podrían ser importantes.
Sin fueran correctas se pueden aplicar a todo el software de gestion de Estaciones.

Saludos.
  ESAND1400000014500A http://meteopg.ddns.net Davis VP2 + Raspberry Pi 2 + Weewx 3.7.1

Desconectado jantoni

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 5.794
    • Ver Perfil
  • Estación: ESMAD2800000028522A
Re:Minimizar la pérdida de datos del último cuarto de hora del día
« Respuesta #35 en: 08 de Septiembre del 2016, 15:58:19 pm »
Solo lo podrás saber con tiempo, anotando los datos y viendo como responde Meteoclimatic.

Es una antigua guerra......lástima que de tus conclusiones, solo se podrán beneficiar los usuarios que se pasen al "lado oscuro" de Linux....bueno en Windows se podría hacer.....pero como el envio coincida con un episodio de rascarascarascarasca del proceso svchost....pues apaga y vámonos, ja ja

Davis Vantage Vue (sin datalogger) + Orange Pi PC + Weewx

GW2000 + WS90 con Weewx (https://www.ecowitt.net/home/index?id=199315)
WH2650 con WH65 con Home Assistant y Weewx (https://www.ecowitt.net/home/index?id=40387)
GW1000 con WH32 y Home Assistant (https://www.ecowitt.net/home/index?id=17080)
Sensores adicionales: WH31 (3) + WH41

Desconectado jantoni

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 5.794
    • Ver Perfil
  • Estación: ESMAD2800000028522A
Re:Minimizar la pérdida de datos del último cuarto de hora del día
« Respuesta #36 en: 08 de Septiembre del 2016, 15:59:00 pm »
Y sobre todo, las conclusiones vendrán con un episodio majo de lluvias.

Davis Vantage Vue (sin datalogger) + Orange Pi PC + Weewx

GW2000 + WS90 con Weewx (https://www.ecowitt.net/home/index?id=199315)
WH2650 con WH65 con Home Assistant y Weewx (https://www.ecowitt.net/home/index?id=40387)
GW1000 con WH32 y Home Assistant (https://www.ecowitt.net/home/index?id=17080)
Sensores adicionales: WH31 (3) + WH41

Desconectado Amon-K

  • Full Member
  • ***
  • Mensajes: 209
    • Ver Perfil
    • MeteoPG
  • Estación: Puente Genil - ESAND1400000014500A
Re:Minimizar la pérdida de datos del último cuarto de hora del día
« Respuesta #37 en: 09 de Septiembre del 2016, 03:39:39 am »
Gracias jantoni por tus respuestas. Es decepcionante pensar que estas escribiendo y nadie  te está leyendo.

Sigo pensando la manera de comprobar qué consideración hace Meteoclimatic del registro de las 00:00 enviado a las 00:00:21 y notificada su aceptación a las 00:00:26, que son los tres momentos recogidos en meteoclimatic.log, para la configuración que tengo actualmente.

Aún no he dado con ella, con la lluvia natural podría ser pero con lo poco que llueve va a ser una lotería. Estoy dándole vueltas a una lluvia artificial. Ya veremos.

Saludos.
  ESAND1400000014500A http://meteopg.ddns.net Davis VP2 + Raspberry Pi 2 + Weewx 3.7.1

Desconectado jantoni

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 5.794
    • Ver Perfil
  • Estación: ESMAD2800000028522A
Re:Minimizar la pérdida de datos del último cuarto de hora del día
« Respuesta #38 en: 09 de Septiembre del 2016, 07:24:56 am »
No, no.

conectado a meteoclimatic no uses la manguera ;D

Davis Vantage Vue (sin datalogger) + Orange Pi PC + Weewx

GW2000 + WS90 con Weewx (https://www.ecowitt.net/home/index?id=199315)
WH2650 con WH65 con Home Assistant y Weewx (https://www.ecowitt.net/home/index?id=40387)
GW1000 con WH32 y Home Assistant (https://www.ecowitt.net/home/index?id=17080)
Sensores adicionales: WH31 (3) + WH41

Desconectado Amon-K

  • Full Member
  • ***
  • Mensajes: 209
    • Ver Perfil
    • MeteoPG
  • Estación: Puente Genil - ESAND1400000014500A
Re:Minimizar la pérdida de datos del último cuarto de hora del día
« Respuesta #39 en: 10 de Septiembre del 2016, 03:30:21 am »
Bueno esta noche a las 00:00 UTC he podido comprobar que (por la presión atmosférica que estaba subiendo por encima de cualquier valor del día, y sin embargo Meteoclimatic no lo ha considerado como máximo del día que termina) que los datos del registro de las 00:00h Meteoclimatic no los tiene en cuenta para el día que termina, los pasa como datos del día que comienza, supongo que es porque considera la hora de esos datos la de envío, las 00:00:21. De hecho esa es la que utiliza como hora  de la actualización (cuando el registro de las 00:00 se envía a las 00:01:21, Meteoclimatic informa que la última actualización es de las 00:01)

Weewx, sin embargo, considera que los datos del registro de las 00:00 pertenecen al día que termina y al día que empieza. A esta conclusión se llega del análisis de este registro, del anterior y del siguiente. El máximo de una medida del día que termina está también como máximo en el registro de las 00:00. Cuando una medida está subiendo, el valor del registro de las 00:00 aparece en el siguiente registro como mínimo de esa medida.

Yo creo que Meteoclimatic debería tener las mismas consideraciones que Weewx y además tomar como hora de actualización la hora de cada registro leído, no la hora de envío.

Tal y como está la situación, el problema no es resoluble al 100% sin modificar las consideraciones de Meteoclimatic. Los datos de los últimos 5 minutos del día se perderán irremediablemente (en el supuesto de registros cada 5 minutos).

Saludos.

« Última modificación: 10 de Septiembre del 2016, 03:52:15 am por Amon-K »
  ESAND1400000014500A http://meteopg.ddns.net Davis VP2 + Raspberry Pi 2 + Weewx 3.7.1

Desconectado jantoni

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 5.794
    • Ver Perfil
  • Estación: ESMAD2800000028522A
Re:Minimizar la pérdida de datos del último cuarto de hora del día
« Respuesta #40 en: 10 de Septiembre del 2016, 09:03:56 am »
Efectivamente, esa es la conclusión a la que hemos llegado hace tiempo.

El problema es irresoluble y es común a la mayoría de plataformas.

La única solución es que Meteoclimatic estuviera sincronizado con nuestras estaciones en tiempo real. Pero eso, hoy por hoy, es totalmente irrealizable.

Hacerlo "en diferido" implicaría una cantidad de código no justificable para una plataforma no profesional, teniendo en cuenta que con 1.600 estaciones no todas están transmitiendo datos en la franja de 5 minutos.....

Así que siempre queda la solución del ajuste manual. Así nos entretenemos ;D ;D ;D ;D ;D ;D ;D

Davis Vantage Vue (sin datalogger) + Orange Pi PC + Weewx

GW2000 + WS90 con Weewx (https://www.ecowitt.net/home/index?id=199315)
WH2650 con WH65 con Home Assistant y Weewx (https://www.ecowitt.net/home/index?id=40387)
GW1000 con WH32 y Home Assistant (https://www.ecowitt.net/home/index?id=17080)
Sensores adicionales: WH31 (3) + WH41

Desconectado B.Santiago

  • Moderador Global
  • Hero Member
  • ******
  • Mensajes: 2.087
    • Ver Perfil
  • Estación: Ávila- La Colilla AV39. Anteriormente ESCYL0500000005192A
Re:Minimizar la pérdida de datos del último cuarto de hora del día
« Respuesta #41 en: 10 de Septiembre del 2016, 09:30:06 am »
Como mi especialidad son las simplezas, me permito intervenir para aclarar alguna cuestión de base. Y exclusivamente con ánimo de no liar más las cosas.
 El tiempo no se superpone, ni "coexiste", como se dijo más atrás.
Como todos sabemos, es una magnitud física sin solución de continuidad.
Cuando termina y se cumple por completo la hora 23:59  comienza la siguiente 00:00
 Se acabó un día de 24 horas y comenzó otro que durará lo mismo
Dejémonos de hora 24:00:00, de hora 24:59:60 (intercalar) o de hora 00:00:00, que -si bien pueden formularse teóricamente- no responden a ninguna realidad ni necesidad práctica.

Dice Amon- K "Si yo utilizo 24:00 me parece que gráficamente y sutilmente me estoy refiriendo al final de un día y si utilizo 00:00 me estoy refiriendo de la misma manera al comienzo de otro. Pero estoy hablando del mismo punto en el tiempo"

No hay tales puntos más que "gráfica y sutilmente". Y en la  norma ISO y en los calendarios, todos imperfectos.
La unidad de medida del tiempo es el segundo, s
Cumplido uno ocurre el siguiente, y así. Dada la incompetencia humana para según qué cosas hemos inventado además el segundo intercalar, etc.
Si Meteoclimatic, Weex o cualquier otro ente interpreta de un modo u otro esta simpleza, que el tiempo es un  continuo sin interrupciones,  y recopila, o envía, o apunta datos de una u otra manera, es asunto particular de cada uno.
Habrá que adaptar nuestros intereses al formato que cada sistema utilice o establezca.
Muy encomiable tu  interés,  Amón -K,  por el rigor y la perfecta exactitud cronométrica.
Te animo a perseverar en la consecución de tus fines para minimizar la pérdida de datos, y a ser posible eliminarla por completo.

 


« Última modificación: 10 de Septiembre del 2016, 09:40:45 am por B.Santiago »

Desconectado B.Santiago

  • Moderador Global
  • Hero Member
  • ******
  • Mensajes: 2.087
    • Ver Perfil
  • Estación: Ávila- La Colilla AV39. Anteriormente ESCYL0500000005192A
Re:Minimizar la pérdida de datos del último cuarto de hora del día
« Respuesta #42 en: 10 de Septiembre del 2016, 09:43:40 am »
En cuanto al retraso en la actualización de los mapas (que es algo que particularmente me incomoda mucho, pero que tampoco me causa mayor trastorno) animo al lector a calcular el número de mapas que genera Meteoclimatic cada quince minutos, cada hora, cada día...

Desconectado Amon-K

  • Full Member
  • ***
  • Mensajes: 209
    • Ver Perfil
    • MeteoPG
  • Estación: Puente Genil - ESAND1400000014500A
Re:Minimizar la pérdida de datos del último cuarto de hora del día
« Respuesta #43 en: 11 de Septiembre del 2016, 10:30:00 am »
Efectivamente, esa es la conclusión a la que hemos llegado hace tiempo.

Se ve que nadie escarmienta en cabeza ajena.

El problema es irresoluble y es común a la mayoría de plataformas.

La única solución es que Meteoclimatic estuviera sincronizado con nuestras estaciones en tiempo real. Pero eso, hoy por hoy, es totalmente irrealizable.

Hacerlo "en diferido" implicaría una cantidad de código no justificable para una plataforma no profesional, teniendo en cuenta que con 1.600 estaciones no todas están transmitiendo datos en la franja de 5 minutos.....

Ne es necesario, solo con que Meteoclimatic tenga una consideración especial con el registro de las 00:00. Las datos necesarios estan en ese registro. En ese registro están los acumulados, máximos y mínimos del día que termina sin perder ni un segundo. Es responsabilidad de cada Estación con su configuración enviarselos a Meteoclimatic.

Entiendaseme que todo ello es una sugerencia y no espero nada más porque sé que no es fácil revisar todo el software de Meteoclimatic para tener en cuenta estas consideraciones.

Así que siempre queda la solución del ajuste manual. Así nos entretenemos ;D ;D ;D ;D ;D ;D ;D

Es el remedio que nos queda, y tiene la ventaja de recibir muy de vez en cuando una sorpresita que nos engrasa las neuronas.

Saludos jantoni.
« Última modificación: 11 de Septiembre del 2016, 10:31:40 am por Amon-K »
  ESAND1400000014500A http://meteopg.ddns.net Davis VP2 + Raspberry Pi 2 + Weewx 3.7.1

Desconectado Amon-K

  • Full Member
  • ***
  • Mensajes: 209
    • Ver Perfil
    • MeteoPG
  • Estación: Puente Genil - ESAND1400000014500A
Re:Minimizar la pérdida de datos del último cuarto de hora del día
« Respuesta #44 en: 11 de Septiembre del 2016, 12:12:54 pm »

Como mi especialidad son las simplezas, me permito intervenir para aclarar alguna cuestión de base. Y exclusivamente con ánimo de no liar más las cosas.
 El tiempo no se superpone, ni "coexiste", como se dijo más atrás.
Como todos sabemos, es una magnitud física sin solución de continuidad.
Cuando termina y se cumple por completo la hora 23:59  comienza la siguiente 00:00
 Se acabó un día de 24 horas y comenzó otro que durará lo mismo


Estoy de acuerdo, solamente precisar que el tiempo es una dimensión, una de sus características es ser un flujo continuo. Por ser una dimensión es medible y para ello los humanos hemos tomado inicialmente una escala cuya unidad es el dia, posteriormente el día lo dividimos en horas, subdivididas en minutos y estos últimos a su vez divididos en segundos. Todos lo sabemos, pero lo expreso aquí para mostrar que las divisiones están en la escala, no en el tiempo.


Dejémonos de hora 24:00:00, de hora 24:59:60 (intercalar) o de hora 00:00:00, que -si bien pueden formularse teóricamente- no responden a ninguna realidad ni necesidad práctica.


Supongo que se refiere a la expresion:

0d 23:59:59 + 1segundo = 0d 23:59:60 = 0d 23:60:00 = 0d 24:00:00 = 1d 00:00:00.

Quiero expresar que a 23:59:59 le falta un segundo para ser un dia completo y ese segundo no es intercalar.

Por otro lado, lo demás sencillamente es como decir que 60 segundos equivalen a un minuto y que 60 minutos equivalen a una hora. Todo ello efectivamente es una obviedad pero me parece que la expresión nos muestra algo que era oportuno en su momento.



Dice Amon- K "Si yo utilizo 24:00 me parece que gráficamente y sutilmente me estoy refiriendo al final de un día y si utilizo 00:00 me estoy refiriendo de la misma manera al comienzo de otro. Pero estoy hablando del mismo punto en el tiempo"

No hay tales puntos más que "gráfica y sutilmente". Y en la  norma ISO y en los calendarios, todos imperfectos.


Seguramente no he sabido expresarme, pero para aclarar lo que quiero decir voy a poner un ejemplo:

José tiene un hijo llamado Manuel, quien a su vez tiene un hijo llamado Pedro (no le pongo a cada hijo el mismo nombre que al padre para hacerlo más real, porque en ese caso no nos aclararíamos  :) :) :) ).

Cuando José ve a Manuel piensa "Es mi hijo".
Cuando Pedro ve a Manuel piensa: "Qué peñazo, es mi padre". (Pedro tiene 16 años ??? ???)

Pero no cabe duda, ambos están viendo a Manuel, lo mires por donde lo mires y lo mire quien lo mire.


Si Meteoclimatic, Weex o cualquier otro ente interpreta de un modo u otro esta simpleza, que el tiempo es un  continuo sin interrupciones,  y recopila, o envía, o apunta datos de una u otra manera, es asunto particular de cada uno.
Habrá que adaptar nuestros intereses al formato que cada sistema utilice o establezca.
Muy encomiable tu  interés,  Amón -K,  por el rigor y la perfecta exactitud cronométrica.
Te animo a perseverar en la consecución de tus fines para minimizar la pérdida de datos, y a ser posible eliminarla por completo.


Gracias B.Santiago.
Yo he concluido y he expuesto mis conclusiones, y entiendanse estas como sugerencias. Solo he conseguido minimizar el problema a los 5 últimos minutos del día. Progresar en el camino ya no depende de mí.

Saludos.
« Última modificación: 11 de Septiembre del 2016, 12:45:53 pm por Amon-K »
  ESAND1400000014500A http://meteopg.ddns.net Davis VP2 + Raspberry Pi 2 + Weewx 3.7.1