Transferir historico de WeatherLink a WeeWX

[Los Vados-EC1DKG]

Buenas a todos,
Estamos migrando nuestro equipo para enviar datos de un ordenador Windows viejo a una Raspberry por motivos de consumo y fiabilidad. Utilizamos una estación Davis Vantage Vue conectada via USB al equipo Windows y WeatherLink para registrar todos los datos. Al migrar a la Rasberry con WeeWX nos hemos dado cuenta que unicamente ha descargado los ultimos 2-3 meses que debe ser lo que tiene la estación almacenada. Obviamente todos los maximos y minimos anuales salen desfasados ya que unicamente está teniendo en cuenta los ultimos 2-3 meses para computarlos.

WeatherLink utiliza archivos WLK para almacenar el historico de datos, hemos intentado buscar una forma de exportarlos a CSV y luego importarlos a WeeWX, pero no hemos encontrado ninguna alternativa viable. WLKReader no representa los valores bien (Al leer el WLK marca valores desfasados como 67º de temperatura o rachas de 270 km/h) y no hemos visto nada de información fiable ni en Google ni por el foro.

Si alguno conoce un metodo o programa que funcione bien estaríamos inmensamente agradecidos. Si esta pregunta pertenece a otro subforo o ya ha sido respondida en otro hilo, disculpen las molestias.

Un saludo y muchas gracias

[jmviper]

Hola

Esos valores "desfasados" están bien, ya que WL los guarda en formato imperial (temperatura en grados Farenheit, presión en pulgadas de mercurio y viento en millas por hora) y así los presenta wlkReader

Eso cuando se pase el archivo CSV que genera con wee_import y el archivo de configuración de csv csv-wlk.conf lo convertirá al sistema de unidades que tenga la BBDD de weewx (métrico o imperial).

El único problema que he tenido probándolo es que el wlkReader toma la configuración regional de Windows y si tenemos la coma como signo decimal que es lo normal en la configuración del español nos va a poner en el CSV los decimales con coma y como los valores están separados también por comas pues wee_import importará mal los valores, así que en la configuración regional del panel de control de Windows hay que poner el punto como signo decimal y ya se generará bien el CSV para pasárselo a wee_import
Después de todos los archivos wlk convertidos podrás volver a la configuración regional por defecto.

Lo mejor es hacer copia de seguridad de la BBDD de weewx y empezar a probar con wee_import

Toda la documentación de wlkReader está en:

https://github.com/stevepr/wlkReader

Con la opción --dry-run vuelcas el resultado en pantalla y no lo graba a la BBDD. Así podrás ver si los valores están bien antes de guardarlos en ella no poniendo la opción.

[jantoni]

Si eso no funciona tenéis una alternativa viejuna... Usar la conversión de Wview. Wview fue el germen de weewx, no como programa pero si la base de datos.

Es decir una base de datos de Wview funciona sin problemas en weewx.

Pero primero probad con la utilidades que vienen en weewx

[Los Vados-EC1DKG]

He probado el metodo sugerido por jmviper y he podido importar todos los datos desde principio de año sin ningun error. He generado una plantilla y he revisado los valores uno a uno, todo parece que concuerda excepto la precipitación anual, que WL indica como 603.4 y WeeWx como 623.9 mm. Adjunto foto.

¿Que puede estar pasando? ¿Hay algún decimal que esté bailando y cause un recuento erroneo? ¿Tiene alguna solución?

[jmviper]

Posiblemente no tengas todos los registros en weewx y te salga de menos la suma.

Si no tienes todos los registros algunos días habrán salido con algunas décimas de menos así que lo que tendrás que hacer es modificar los valores de la BBDD en su tabla archive_day_rain en la columna sum

Si quieres editarlos cómodamente te sugiero hacerlo con db browser for sqlite
Detienes weewx y editas la BBDD con esa utilidad.
Ese programa está en Windows y en Linux. Si tienes la raspi con escritorio puedes instalarlo con sudo apt show sqlitebrowser desde el terminal y si no la tienes puedes instalarlo en un PC windows y por sftp editarla (recomiendo bitvise que lleva terminal y sftp incorporados).

Las fechas salen en la tabla en formato unix por lo que son poco entendibles. Para ponerlas "en cristiano" en la primera columna de la tabla pones el ratón sobre la cabecera llamada dateTime y con el derecho del ratón seleccionas Editar el formato de presentación y seleccionas Tiempo Unix a hora local y te saldrá el formato en Año-mes-día

Cuando termines de editar los días guardas y pones en marcha otra vez weewx.

Hay otra manera de hacerlo con sqlite3 en el terminal pero es más liosa. Esta es más sencilla y cómoda.

[Los Vados-EC1DKG]

El problema es que en la Raspberry (destino) aparece más lluvia que en Weather Link (origen de datos) , si fuese al reves tendría logica que algun registro no se hubiese importado, pero da al reves, es como si se hubiese importado algun registro de más o hubiese redondeado hacia arriba.

He descargado la BD y la contrastaré con los datos de WL, si descubro algo os comento

[jmviper]

Ah vale, lo he mirado mal. Puede que sea problema de redondeos, no se sabe.

De todas formas hay repasar las cantidades de lluvia de esa tabla, no queda otra. Esa cantidad anual sale de esa suma.

Ten en cuenta que si tienes las unidades de la tabla en US saldrán en pulgadas, para METRIC en cm y para METRICWX en mm

[Los Vados-EC1DKG]

Le he estado dando una vuelta al tema de redondeos y parece ser que el problema surge a la hora de convertir de WLK a CSV con wlkReader.

Si se suman todas las celdas de enero en el CSV con Excel, da un valor diferente al reportado por WeatherLink. Esto se debe a que la lluvia en el archivo CSV se almacena en pulgadas y wlkReader solo guarda dos decimales en el campo de la lluvia. Mi teoria es que como las pulgadas son una medida muy grande, hay dias en los que puede llover milesimas de pulgada (0.0001) y wlkReader leerá este valor y lo redondeará o truncará, dando valores que no se corresponden a lo que WeatherLink calcula al leer su base de datos directamente.

Al final he decidido probar el metodo de Jantoni con WView. Lo he compilado desde cero en una maquina virtual de Debian porque los repositorios ya no existen y he utilizado wlk2sqlite para convertir los datos. He movido la BD de WView a la Rasberry con Weewx, he actualizado los indices diarios con "sudo wee_database --rebuild-daily" y los recuentos que faltaban con "sudo wee_database --calc-missing". He podido generar las plantillas sin problemas y parece que está funcionando todo correctamente y sin desfases... 

Muchas gracias por la ayuda, saludos

[jantoni]

Pues si lo tienes compilado, podrías pasarlo (si se puede) para que alguien lo pueda usar en un futuro.

Habría que indicar para que plataforma de Hardware es, ya que la compilación no valdrá de un tipo de máquina a otro.

Supongo que Meteoclimatic admitirá el subir un fichero en formato tar. Si no, pues me lo dices y vemos como mandármelo por privado y ya intento subirlo a Meteoclimatic.

73

[Los Vados-EC1DKG]

He intentado mandarte un privado pero dice que el mensaje ha sido bloqueado. Adjunto un tar.gz con los archivos compilados para Debian 11 dentro de una MV de VirtualBox x64. Creo que es una plataforma adecuada porque cualquiera con un ordenador relativamente moderno puede replicarlo, sin hacer falta una Raspberry.

Para compilarlo seguí la guia que publicaste en https://wiki.meteoclimatic.net/wiki/Instalaci%C3%B3n_de_Wview. Al ser una versión más moderna de Debian el problema que ocurre son las dependencias y su nombre, esta es la orden actualizada con los nuevos nombres:

sudo apt-get install --yes build-essential zlib1g-dev libpng-dev libreadline-dev gawk libsqlite3-dev sqlite3 libgd-dev libssl-dev libcurl4-openssl-dev libusb-1.0-0 libusb-1.0-0-dev apache2 php php-sqlite3 libapache2-mod-php ntp tnftp wget libudev-dev

libpng12-dev -> libpng-dev
libgd2-xpm -> libgd-dev
libgd2-xpm-dev -> libgd-dev
php5 -> php
php5-sqlite -> php-sqlite3
libapache2-mod-php5 -> libapache2-mod-php

El resto de pasos de la guia me han funcionado bien y deberían poder seguirse igual. Como los archivos pesan un poco y no te los puedo adjuntar, los he subido a Anonfiles. No ando muy suelto con el tema de compilar, así que no se muy bien si eso será suficiente o se necesita algún paquete más. Si necesitas algo puedes responderme al hilo, mandarme un MP.

https://anonfiles.com/G5g8w669y0/radlib-2.12.0-compilado.tar_gz
https://anonfiles.com/Hdg8wb63yf/wview-5.21.7-compilado.tar_gz

Muchas gracias por la ayuda

[jantoni]

Gracias por el aporte.

El que no tiene ni idea de que es el Virtualbox soy yo

73

[casacota]

Gracias por el aporte.

El que no tiene ni idea de que es el Virtualbox soy yo

73

Atmos funciona en un Virtualbox... mejor que sobre máquina física.