Tema para especialistas en BBDD weewx

[jmviper]

Repito que los NOAA que tengas en /var/www/html/weewx/NOAA no los va a borrar weewx.

Weewx genera periódicamente el del mes y año en curso, los pasados cuando los ha terminado de generar a principio del mes o del año ya no los toca porque no los genera y se quedan en esa carpeta.

Esta tarde he modificado el /etc/weewx/skins/Seasons/titlebar.inc de esta manera para que salgan todos los NOAA de ese directorio.

Recomiendo hacer copia del archivo por si hay imprevistos aunque a mí me ha funcionado bien:

Código: [Seleccionar]

## titlebar for weewx skins
## Copyright Tom Keffer, Matthew Wall
## See LICENSE.txt for your rights
#errorCatcher Echo
#encoding UTF-8

<div id="title_bar">
  <div id="title">
    <h1 class="page_title">$station.location</h1>
    <p class="lastupdate">$current.dateTime</p>
  </div>
  <div id="rss_link"><a href="rss.xml">RSS</a></div>
  <div id="reports">
      #import re
  #set noaa = sorted(os.listdir("/var/www/html/weewx/NOAA"))
  $noaa.reverse()
  #set tot = []
  #for $res in $noaa
  $tot.append(re.sub('(NOAA-|\.txt)','',$res))
  #end for
Monthly Reports:
    <select name="reports" onchange="openTabularFile(value)">
      #for $monthYear in $tot
  #if re.search('-', $monthYear)
      <option value="$monthYear">$monthYear</option>
      #end if
  #end for
      <option selected>- Select Month -</option>
    </select>
    <br/>
    Yearly Reports:
    <select name="reports" onchange="openTabularFile(value)">
      #for $yr in $tot
      #if not re.search('-', $yr)
      <option value="$yr">$yr</option>
      #end if
  #end for
      <option selected>- Select Year -</option>
    </select>
    <br/>
  </div>
</div>

Como ejemplo en mi weewx tengo la BBDD como anterioremente he dicho de solamente este año y solo me salían estos meses y ahora me salen todos en los NOAA anuales y mensuales:

http://www.meteoarchena.es/opi/

[miguelru]

Buenas noches.

Corregir la BBDD cuando ha habido un dato anormal esporádico lo tengo controlado, pero ¿se pueden corregir los gráficos generados que aún permanecen con ese error una vez corregida la BBDD ?

Corregida la parte que yo conozco...

[jmviper]

Hola miguelru

Weewx vuelve a generar los gráficos cada poco tiempo y los datos con los cuales los genera son los de la BBDD.
Espera a medianoche y deberán de estar todos generados con los cambios.

Saludos

[zapal]

Hola miguelru

Weewx vuelve a generar los gráficos cada poco tiempo y los datos con los cuales los genera son los de la BBDD.
Espera a medianoche y deberán de estar todos generados con los cambios.

Saludos

Podéis borrar todo el contenido de var/www/html/weewx/ (no se si es asi o /var/html/www/weewx/ ), en el próximo ciclo weewx genera TODO de nuevo, con los datos antiguos sin perder nada. Por lo menos desde la versión 3.8 que yo tengo en una estación.

[miguelru]

Si, esta claro. Pero era que no había corregido la tabla "archive"
 

[jmviper]

Weewx guarda los datos que graba en cada generación en la tabla archive y los diarios de cada valor en sus tablas archive_day_valor (archive_day_rain por ejemplo)

Que se modifique una no significa que se modifique la otra por lo que si en la tabla archive modificamos valores de temperatura máxima o de lluvia por ejemplo éstos no se van a cambiar en su tabla diaria correspondiente... tendríamos que hacerlo manualmente.

La utilidad wee_database de weewx tiene dos funciones para manejar esto. wee_database --drop-daily borra todas las tablas diarias y para reconstruirlas se hace con wee_database --rebuild-daily.
--drop-daily no suele usarse y para modificar los diarios si solo modificamos un día o varios wee_database --rebuild-daily acepta periodos de fechas para reconstruir.

Más info como siempre en la documentación de weewx:

http://www.weewx.com/docs/utilities.htm#Action_--rebuild-daily

[miguelru]

Voy ha cambiar próximamente la estación PCE FWS-20, funcionando desde 2015 por una Ecowitt que ya tengo en pruebas y sin problemas. Pero quería aprovechar para cambiar el horario a UTC, aprovechando la base de datos anterior.

Me dijeron, tiempo atrás, que no había ningún problema pues se graba siempre en horario Epoch. Pero yo si encuentro un problema. Weewx genera el registro del día a las 00:00 que con horario local son las 22:00 UTC.

Al poner en marcha weewx con hora UTC a partir de la base datos anterior (se genero en horario Local) provoca que en los NOAA aparezcan registros desde un día antes por los registros a las 22:00 UTC y todos los registros los desplaza un día. Supongo que con datos de lluvia u otros en ese rango de 22:00 a 00:00 cambian los totales diarios.

Lo que me preocupa es que al enviar y cotejar las plantillas no cuadrarán con los datos registrados en Meteoclimatic y tendré miles de inconsistencias. Por que no creo que activando simplemente la pestaña de envío en horario UTC, en mi ficha de estación en Meteoclimatic haga que se adapten los datos registrados desde 2015 y cuadren con la plantilla actual sin generar inconsistencias.

No sé si tiene arreglo mas o menos asumible, si alguien lo ha hecho. Mi nivel en BB.DD. es bajo. ¿Mejor la dejo en horario local para siempre?

Saludos.

PD. He releído hilos y la guía de weewx sobre base de datos sin encontrar respuesta.

[jantoni]

Bueno, no acabo de entender muy bien el problema.

Veamos. La base de datos está siempre, como dices, en formato epoch, por lo que podernos asumir que es UTC, aunque no lo es al 100%

Modificar el tiempo epoch, es fácil, le sumas a cada registro los segundos que correspondan, una o dos horas. Cambiar registros en SQL es sencillo.

Ahora bien, una cosa es que sea sencillo, y otra cosa es que cambiar una base de datos con miles, o decenas de miles de registros, y cada uno con un "offset" diferente, una o dos horas, no sea tarea de mucho, muchísimo tiempo.

Bueno, en realidad sólo hay que calcular el epoch de los cambios de hora y hacer cambios de registros selectivos.

Pero..... Es meterse en un berenjenal muy gordo

Por meteoclimatic no ese problema, o no lo es tanto

Y ello es porque a meteoclimatic, solo se le informa, en la plantilla de los datos actuales, diarios, mensuales y anuales

Por tanto, solo podría tener inconsistencias en el mes actual y en el año actual.

Nada que no podrías corregir fácilmente, pues estamos a mediados de mes y a primeros de año.

La verdad es que nunca me había planteado el problema. Desde el principio de los principios, siempre he manejado el día con formato UTC y todos mis ordenadores estén en formato UTC, salvo el mierda Windows.

Espero haberte ayudado.....a pesar de que no he dicho nada

[jmviper]

Veamos, puntualizaciones....si pones weewx en UTC te generará informes, reseteo de máx/mín etc a la 1:00 hora local (0:00 UTC), en horario de verano a las 2:00 hora local.

La gran ventaja de weewx como decís es que los registros de la tabla archive los guarda en epoch, así no pierde ninguno en los cambios de fecha y genera informes, reseteos y demás cosas covirtiéndolos a la zona horaria que tengamos en el sistema.

Siempre, como he explicado en el mensaje anterior de más arriba, se pueden reconstruir las tablas diarias con wee_database --rebuild-daily desde cuando se quieran cambiar como es tu caso. Por ejemplo wee_database --rebuild-daily --from=2021-01-01 recrearía las tablas de diarios con el nuevo horario.
Como siempre las pruebas mejor hacerlas haciendo copia de seguridad de la base de datos antes.

Y como siempre digo menos mal que no vivimos en China por ejemplo. Si allí pones horario UTC la lluvia del día sería la recogida desde las 7 de la mañana hasta las 7 de la mañana del día siguiente, nada que ver con la habría caído en el día local aparte de máximas mínimas de temperatura etc
Aquí con una hora de diferencia en invierno y dos en verano es poca la diferencia pero haberla hayla....por mi parte lo tengo claro y es lo que me gusta de weewx... registros en epoch y generaciones de días en local.

[jantoni]

Anda mira

Eso no lo sabía. Será porque no he tenido que tocar la base de datos más que una o dos veces....y era cuando estaba con la PCE antigua......aunque creo que era cuando usaba Wview.....

Una magnífica utilidad.

Gracias máster.

[miguelru]

Vale, creo que esta claro, ha sido fallo mío.

Así lo había hecho (wee_database --rebuild-daily) pero no borre los NOAA que ya tenia generados en /var/www/html/weewx, por lo que al volver a consultarlos no veía ningún cambio.

Esta mañana con la mente mas fresca lo primero que he hecho ha sido borrar esos NOAA y "voila" se han generado los nuevos con la corrección aplicada.

Muchas gracias jmviper   

[jmviper]

Anda mira

Eso no lo sabía. Será porque no he tenido que tocar la base de datos más que una o dos veces....y era cuando estaba con la PCE antigua......aunque creo que era cuando usaba Wview.....

Una magnífica utilidad.

Gracias máster.

Es lo malo que tiene weewx.... que no tienes que trastear cosas a menos que quieras probarlas 

Esta mañana con la mente mas fresca lo primero que he hecho ha sido borrar esos NOAA y "voila" se han generado los nuevos con la corrección aplicada.

Es lo bueno de tener ahora mañanas frescas