Autor Tema: Archive interval recomendado  (Leído 2900 veces)

0 Usuarios y 1 Visitante están viendo este tema.

Desconectado dtalens

  • Full Member
  • ***
  • Mensajes: 174
    • Ver Perfil
    • MeteoPego
  • Estación: ESPVA0300000003780H
Archive interval recomendado
« en: 10 de Abril del 2021, 16:39:55 pm »
Hola,

Desde que tengo instalado weewx le puse un archive interval de 60 segundos, lo veis excesivo?. Lo digo porqué los gráficos de la web se me quedan bastante feos, muy en serucho. En algunos gráficos he puesto un intervalo de agregación (aggregate_interval de 5 min) y me lo apaña. Pero ahora me pregunto: ¿necesito realmente guardar datos cada minuto?

¿Qué me recomendáis?

Saludos,




Desconectado jmviper

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 4.402
  • "Vortex Complex"
    • Ver Perfil
    • www.meteoarchena.es
  • Estación: Archena - ESMUR3000000030600B
Re:Archive interval recomendado
« Respuesta #1 en: 10 de Abril del 2021, 17:18:35 pm »
Hola dtalens

Por mi parte mi la Davis la tengo cada minuto en su datalogger así que los programas también los tengo.

El beneficio es que tienes todos los datos posibles del día, así que si alguna vez tienes que hacer un drop y rebuild-dailies vas a tener todos los datos posibles de la tabla archive para recalcular las máx/mín diarias. Cada 5 minutos también lo hará, pero entonces puede que no se quede la máx/mín real del día.

La contra es el tamaño excesivo que va tomando la BBDD de weewx, muy grande (100 MB aprox cada año) por lo que al cabo de 5 años tendrías una BBDD de 500 MB que es bastante grande.
Yo lo que hago es con un script bash detener weewx en las campanadas de nochevieja  *+* *+* y renombrar la BBDD a weewx2020.sdb y poner weewx en marcha otra vez creando una BBDD nueva (weewx.sdb). Los informes que son lo que más importa siguen ahí por lo que se pueden seguir viendo.

En cuanto a gráficos en diente de sierra cada minuto.... mejor, quizás no estéticamente pero para aplicarle un zoom es lo mejor y no perder detalle. Yo elige funcionalidad a estética.
Aquí tienes mi en mi página los gráficos de MX cada minuto en Highstocks (librería de Highcharts). Si quiero puedo ampliar la zona del día que quiera.

Cada uno tendrá su intervalo según crea pero estos son los motivos por lo que lo tengo así, sobre todo porque WD y Cumulus MX también tiran del datalogger cada minuto y en caso de alguna pirula del PC que se quede colgado tiro cada minuto de datalogger y no pierdo nada.



Archena, Valle de Ricote (Murcia). 120 msnm. 19.622 hab.
Davis Vantage Pro2 Plus

www.meteoarchena.es

Desconectado jantoni

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 5.043
    • Ver Perfil
  • Estación: ESMAD2800000028522A
Re:Archive interval recomendado
« Respuesta #2 en: 10 de Abril del 2021, 17:34:35 pm »
Bueno......no exactamente.

El poner el archive cada 5 minutos no significa que pierdas datos de máximas y mínimas.

Eso va a depender de la estación meteorológica usada.

Por ejemplo, en una Davis Vantage Vue o Pro2, el poner un archive cada 5 minutos no te hará perder ninguna máxima o mínima, puesto que, aunque la generación de gráficos y el archivo en la base de datos sea cada 5 minutos, Weewx va recibiendo y almacenando los datos que le manda la consola cada X segundos (loop).

Cuando se produce una máxima o mínima, se almacena ese dato, con su epochtime.

Si mañana tienes que regenerar la base de datos, no debería perderse información.

Para muestra un dato de mi estación con Vantage Vue y Weewx.....datos máximos fuera de horario cada 5 minutos.

Otra cosa diferente es con estaciones como una Fine Offset en la que Weewx recibe el dato cada 1 minuto o cada 5 minutos. Aquí sí que se producen pérdidas de valores extremos producidos en ese intervalo de tiempo.

Por eso, para Fine Offset hay que utilizar, preferiblemente, una GW1000 o WH2650 con Weewx funcionando con el driver GW1000. Se puede ver (todavía en inglés) como los datos extremos no coinciden con datos 5minutales.

Desde mi punto de vista, sí, generar cada minuto es un derroche de recursos. Sobre todo en un ordenador de baja potencia como una raspberry pi (modelos antiguos)

Davis Vantage Vue (sin datalogger) + Orange Pi PC + Weewx

GW2000 + WS90 con Weewx (https://www.ecowitt.net/home/index?id=199315)
WH2650 con WH65 con Home Assistant y Weewx (https://www.ecowitt.net/home/index?id=40387)
GW1000 con WH32 y Home Assistant (https://www.ecowitt.net/home/index?id=17080)
Sensores adicionales: WH31 (3) + WH41

Desconectado dtalens

  • Full Member
  • ***
  • Mensajes: 174
    • Ver Perfil
    • MeteoPego
  • Estación: ESPVA0300000003780H
Re:Archive interval recomendado
« Respuesta #3 en: 10 de Abril del 2021, 17:42:25 pm »
Gracias por las respuestas.

La base de datos pues por ahora me da igual que sea grande, ya tengo otros programas como homeassistant con base de datos bastante grandes, de varias gigas ya que manejan un montón de sensores por toda la casa cogiendo datos. El otro dia al final la tuve que borrar 13 Gigas!!!! *-*


Por suerte la máquina que tengo es bastante más potente que una raspberry, así que seguiré guardando datos cada minuto. Después he agregado los datos cada 5 min para tener unas gráficas visualmente mejores. Jmviper: esta claro que tu solución es mejor pq no pierdes funcionalidad pero en belchertown no se si puede hacer zoom en los gráficos.




Desconectado jmviper

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 4.402
  • "Vortex Complex"
    • Ver Perfil
    • www.meteoarchena.es
  • Estación: Archena - ESMUR3000000030600B
Re:Archive interval recomendado
« Respuesta #4 en: 10 de Abril del 2021, 17:46:05 pm »
jantoni si quitas las tablas de diarios (drop-dailies) se van las máx/mín que haya recibido weewx con los loops. Después regenerar los diarios (rebuild-dailies) los hace con la tabla archive, así que si la tienes cada 5 minutos, puedes perder una décima (o más) en cada día regenerado, o incluso la mayor racha de viento.... es algo que me olvidaba... el viento y pillar la racha máxima... nada, lo tengo claro y así seguirá.... cada minuto  *+* *+*



Archena, Valle de Ricote (Murcia). 120 msnm. 19.622 hab.
Davis Vantage Pro2 Plus

www.meteoarchena.es

Desconectado jmviper

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 4.402
  • "Vortex Complex"
    • Ver Perfil
    • www.meteoarchena.es
  • Estación: Archena - ESMUR3000000030600B
Re:Archive interval recomendado
« Respuesta #5 en: 10 de Abril del 2021, 17:50:19 pm »

Jmviper: esta claro que tu solución es mejor pq no pierdes funcionalidad pero en belchertown no se si puede hacer zoom en los gráficos.


Si está basado en highcharts se pueden modificar para hacerles zoom (en el script del código de highcharts):

https://api.highcharts.com/highcharts/chart.zoomType

https://jsfiddle.net/gh/get/library/pure/highcharts/highcharts/tree/master/samples/highcharts/chart/zoomtype-x/


Archena, Valle de Ricote (Murcia). 120 msnm. 19.622 hab.
Davis Vantage Pro2 Plus

www.meteoarchena.es

Desconectado jantoni

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 5.043
    • Ver Perfil
  • Estación: ESMAD2800000028522A
Re:Archive interval recomendado
« Respuesta #6 en: 10 de Abril del 2021, 17:57:53 pm »
Bueno, todas las opiniones son buenas *+* *+* *+* *+* *+*

Si lo que quieres es máxima funcionalidad, y ya que utilizas Weewx puedes probar a hacer una locura que yo tengo en la cabeza hace años, y que no he probado por vaguería.

Grabar datos cada minuto en la base de datos y generar los gráficos cada 5 minutos.

¿Como?

 *+* *+* *+* *+* *+* *+* *+*

Pues *+* *+* *+* *+* *+*

Es una locura.

Sería con dos Weewx funcionando.

Si son estaciones cableadas, por ejemplo una Davis:

1er Weewx: Driver Vantage y generación cada minuto. No se invoca a cheetah para generar gráficos.
2º Weewx: Driver simulator y generación cada 5 minutos, invocando a cheetah para generar gráficos cada 5 minutos.

El primer Weewx no tiene misterio. El segundo, hay que invocar a cheetah pero usando la base de datos del primer Weewx. De ese modo, el segundo Weewx grabaría una base de datos cada 5 minutos, que no nos serviría para nada, pero generaría los gráficos con los datos buenos del primero.

Parece una locura, pero debería ser tan fácil como, en mi caso, utilizo datos de la Davis mezclados con los de la Fine Offset para generar los gráficos. Solo hay que indicar bien el "binding" a utilizar en cada caso.

Puahhhh.....vaya rollo acabo de soltar *+* *+* *+* *+* *+*

Edito.....se me olvidaba....eso era con estaciones cableadas.....con estaciones Fine Offset, con un GW1000 o WH2650 sería sumamente más fácil, puesto que no hay que usar el driver simulator......los dos Weewx usarían los mismos datos de origen, y cada uno grabaría una base de datos, una cada 1 minuto, y la otra cada 5 minutos. Pero el funcionamiento es el mismo. Pero es más fácil, por no tener que compartir dos instancias de Weewx el mismo recurso cableado (seguro que se estrellan)
« Última modificación: 10 de Abril del 2021, 18:00:24 pm por jantoni »

Davis Vantage Vue (sin datalogger) + Orange Pi PC + Weewx

GW2000 + WS90 con Weewx (https://www.ecowitt.net/home/index?id=199315)
WH2650 con WH65 con Home Assistant y Weewx (https://www.ecowitt.net/home/index?id=40387)
GW1000 con WH32 y Home Assistant (https://www.ecowitt.net/home/index?id=17080)
Sensores adicionales: WH31 (3) + WH41

Desconectado dtalens

  • Full Member
  • ***
  • Mensajes: 174
    • Ver Perfil
    • MeteoPego
  • Estación: ESPVA0300000003780H
Re:Archive interval recomendado
« Respuesta #7 en: 10 de Abril del 2021, 18:42:55 pm »

Jmviper: esta claro que tu solución es mejor pq no pierdes funcionalidad pero en belchertown no se si puede hacer zoom en los gráficos.


Si está basado en highcharts se pueden modificar para hacerles zoom (en el script del código de highcharts):

https://api.highcharts.com/highcharts/chart.zoomType

https://jsfiddle.net/gh/get/library/pure/highcharts/highcharts/tree/master/samples/highcharts/chart/zoomtype-x/

Estoy un poco tonto, si que tiene implentado el zoom pero no sabia como hacerlo. Tan facil como seleccionar el trozo que quieres de la gráfica con el ratón  *-* *-*

Jantoni lo que propones ya es nivel profesional!!!




Desconectado dtalens

  • Full Member
  • ***
  • Mensajes: 174
    • Ver Perfil
    • MeteoPego
  • Estación: ESPVA0300000003780H
Re:Archive interval recomendado
« Respuesta #8 en: 10 de Abril del 2021, 18:47:59 pm »
Al final, voy a agregar cada 5 min solo el viento que sinó se ve fatal y después las barras de intensidad de lluvia cada 15 min. El resto de variables las dejo tal cual salen de la base de datos de weewx con un intervalo de 1 min.




Desconectado jmviper

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 4.402
  • "Vortex Complex"
    • Ver Perfil
    • www.meteoarchena.es
  • Estación: Archena - ESMUR3000000030600B
Re:Archive interval recomendado
« Respuesta #9 en: 10 de Abril del 2021, 19:45:19 pm »
Habría que deshabilitar el looping en una de las dos instancias de weewx con una Davis...dos instancias haciendo looping a la vez como que no puede ser.
Lo que no sé es si se puede hacer que la misma instancia de weewx enviara datos a dos BBDD con intervalos diferentes... Sería interesante porque aparte de la BBDD de weewx en la opi crearía otra BBDD mysql en el pc con windows de la estación. Así sería muy fácil reemplazar BBDD, convirtiéndolas entre formatos claro está y la de MySQL me serviría para la web en local.


Archena, Valle de Ricote (Murcia). 120 msnm. 19.622 hab.
Davis Vantage Pro2 Plus

www.meteoarchena.es

Desconectado jantoni

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 5.043
    • Ver Perfil
  • Estación: ESMAD2800000028522A
Re:Archive interval recomendado
« Respuesta #10 en: 10 de Abril del 2021, 22:50:26 pm »
Investigaré.

Pero una instancia con Davis y otra con simulador es perfectamente posible.

Luego solo se utiliza la base de datos de la estación real, la otra se,desprecia.

Pero miraré si se puede eliminar los loop.

Ya os dije hace 7 años, que Weewx era bueno, muy bueno *+* *+* *+* *+*

Davis Vantage Vue (sin datalogger) + Orange Pi PC + Weewx

GW2000 + WS90 con Weewx (https://www.ecowitt.net/home/index?id=199315)
WH2650 con WH65 con Home Assistant y Weewx (https://www.ecowitt.net/home/index?id=40387)
GW1000 con WH32 y Home Assistant (https://www.ecowitt.net/home/index?id=17080)
Sensores adicionales: WH31 (3) + WH41

Desconectado jantoni

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 5.043
    • Ver Perfil
  • Estación: ESMAD2800000028522A
Re:Archive interval recomendado
« Respuesta #11 en: 11 de Abril del 2021, 07:25:57 am »
Tiene que haber un mecanismo mucho más sencillo.

Y esto lo digo porque Weewx está pensado, entre otras cosas, para recibir los datos en remoto de una estación y procesarlas en remoto.

Me explico.

Entre otras cosas Una estación con Weewx en el punto A, registra los datos sin generar gráficos y los envía al punto B, donde otro ordenador con Weewx los procesa generando los informes y gráficos.

Ahora investigo, aunque estoy inmerso en varios temas a la vez......si es que cuando el diablo......

Davis Vantage Vue (sin datalogger) + Orange Pi PC + Weewx

GW2000 + WS90 con Weewx (https://www.ecowitt.net/home/index?id=199315)
WH2650 con WH65 con Home Assistant y Weewx (https://www.ecowitt.net/home/index?id=40387)
GW1000 con WH32 y Home Assistant (https://www.ecowitt.net/home/index?id=17080)
Sensores adicionales: WH31 (3) + WH41

Desconectado jantoni

  • Investigación
  • Hero Member
  • ******
  • Mensajes: 5.043
    • Ver Perfil
  • Estación: ESMAD2800000028522A
Re:Archive interval recomendado
« Respuesta #12 en: 11 de Abril del 2021, 07:30:47 am »
Si es que nos liamos nosotros solitos. *+* *+* *+* *+*

Ahora solo hay que ponerlo en práctica.

No hay que tener múltiples instancias de Weewx. Solo una generando datos como loco y sin generar informes.

Luego con wee_reports se generan a través de cron.

« Última modificación: 11 de Abril del 2021, 08:06:29 am por jantoni »

Davis Vantage Vue (sin datalogger) + Orange Pi PC + Weewx

GW2000 + WS90 con Weewx (https://www.ecowitt.net/home/index?id=199315)
WH2650 con WH65 con Home Assistant y Weewx (https://www.ecowitt.net/home/index?id=40387)
GW1000 con WH32 y Home Assistant (https://www.ecowitt.net/home/index?id=17080)
Sensores adicionales: WH31 (3) + WH41