Problema con datos acumulados plantilla meteotemplate

[eb3vp]

Buenas noches a todos...
Estoy intentando poner en funcionamiento la plantilla meteotemplate de Jachym. Hasta cierto punto me funciona: la descarga correcta mediante el plugin de WLIP, el trabajo CRON y la creacions de la tabla "alldata".

Hasta aqui bien, pero el problema lo tengo cuando cargo los datos historicos acumulados a la base de datos.
Primero convierto el fichero .wlk de Davis a CSV con excel. POsteriormente utilizo la aplicacion misma de la plantilla "importar datos" y una vez rellenados los campos que me pide hago la prueba y todo correcto.
Los cargo y otra vez todo ok.
El problema viene que al consultar los datos en la plantilla "condiciones actuales", en la tabla no me suma la lluvia acumulada.
Es decir, en agosto cayeron 45mm y solo muestra 9mm que es la cantidad maxima recogida en un periodo pero el resto no lo quiere sumar.

Alguien sabe a qué se debe ?
formato incorrecto de carga? Si fueer así creo que no mostraría nada...

En fin muchas gracias de antemano

[eb3vp]

Creo que me voy a rsponder a mi mismo:

Por lo que creo ver, la plantilla registra la lluvia diaria pero de forma diferente al archivo .wlk que genera el programa Weatherlink en el PC ( no la web Weatherlink IP ).
En el fichero wlk, la lluvia se registra sin acumularse ( es decir 0,2; 0,4; 02... et ) luego al inal el programa suma el total del dia y da como resultado 0,8
La plantilla recoge la lluvia autoacumulada ( 0,2;0,6;0,8;0,8 y asi sigue si no llueve más ). Luego el resultado que da en la tabla es el maximo 0,8 y si al dia siguiente vuelve a lloveer luego si suma las cantidades.

Ahora el problema es convertir casi veinte años de datos de lluvia  en cifras autoacumulativas.....

Me equivoco ?

Gracias de oos modos...

[Ubik]

Tendrás que esperar a que pase Kocher por aquí, es el experto en Meteotemplate, bueno, y en casi todas las plantillas   

[eb3vp]

Seguro que si !!!
POr lo que he visto de sus posts, un maestro !!!!

Saludos

[kocher]

Saludos. Unik y eb3vp

Me avergüenzo con vuestros halagos je je

En cuanto al asunto del que habla eb3vp (recibo correos, pero creo que no puedo responder por algún problema de configuración del gestor de correos); habría que ver el archivo que utilizas para importar los datos. Puedes adjuntar aquí mismo:

- Cualquier archivo wlk del mes que genera problemas.
- El archivo de ese mismo mes creado por Excel.

[kocher]

He estado pensando y, creo que hay una buena y simple solución.
Resulta que Cumulus posee una utilidad para convertir archivos wlk y transformarlos en archivos legibles para Cumulus. Esto lo puede hacer para crear archivos mensuales (por ejemplo: abr12log.txt ) o para el archivo "dayfile.txt", que registra los valores máximos y mínimos de cada día  y se genera al cambiar de día.

Para ello no es necesario tener instalado Cumulus.

Para descargar el archivo WLconverter-zip con sus instrucciones, iremos a:

                      https://cumuluswiki.org/a/File:WLconverter.zip

Una vez convertido el archivo mensual a formato Cumulus; hay que importar los datos a nuestra base de datos, empleando las características proporcionada por Jachym (Meteotemplate) para este tipo de archivos de Cumulus.

Aquí se puede ver una ayuda para configurar los campos a importar desde el Panel de Control para Cumulus:

                        http://www.meteotemplate.com/forum/viewtopic.php?f=45&t=163&p=912&hilit=cumulus+import#p912

[eb3vp]

Buenas tardes....
i has pensado y muy bien!!!!!
He descargado la aplicacion para convertir wlk en cumulus.
Convierto el mes de julio ( e dejo un archivo aqui compimido en rar ) y me lo pasa a formato texto.
Bien, luego voy a foro de meteotemplate ( enlace que has pasado ) y veo la relacion de campos.
Este orden creo que no es el orden que sigue con wlk.
Cuando cargo el archivo mediante el Data import, las pruebas salen sin ningun error pero al cargarlo el resumen va lleno del valor NULL, o sea que no se corrresponde creo con las columnas...
Tambien te dejo el txt convertido.

Pero pinta que sera una gran solucion porque ahorra tener que convertir con excel y ajustar tambien la direccion del viento a grados....

Como lo ves ?

Muchas gracias !!!!!!

MODIFICACION: POr un error mio en importación, salía totdos los valores como NULL.
Ahora esta todo correcto.
Salvo que me doy cuenta que cuando el registro llega a las 00:00 h del dia siguiente guarda todavia el valor de la lluvia.
Ej: dia 13 agosto cantidad acumulada 45mm.... llega el cambio de dia y a las 00:00h del dia 14 sigue mostrando 45mm
Suma el doble.
Siguiendo el enlace del wiki de meteotemplate donde especificas los campos del archivo cumulus, he probado con el campo 26 ( Rain since Midnight ) y sigue guardando el valor.

Saludos !!!!!!!

[kocher]

Creo que vas por buen camino.

Vuelvo a poner la imagen del foro de Meteotemplate en este archivo adjunto.

Pero si he entendido bien, suponiendo que los registros mantengan una diferencia de 5 minutos, dices que a las 23:55 hay una lluvia registrada de 14 mm, pero se mantiene a las 00:00 horas del siguiente día.

Mi pregunta es: a las 00:05 ¿se resetea el valor? (¿se pone a 0 o 0.x si está lloviendo?.

[eb3vp]

Exacto!!!!
De hecho si puedes abrir el archivo que te he mandado ( txt ) lo pudes comprobar.
O sea: a las 23:55 h por ejemplo hay registrada una lluvia acunulada de 6mm y a las 00:00h del dia sigueinte sigue habiendo los mismos 6mm.
A las 00:05h pasa a 0 mm

O lo que vendria a ser lo mismo, en registros anotados cada minuto, seria a als 00:01min.

Claro, esto es un problema ya que suma el doble es decir loa cumuado en un dia mas lo mismo en el dia siguiente ( aunque no haya caido una gota )... me sigues ?

O al menos esto es lo que me pasa claro....
La imagen que adjuntas es la que me he imprimido para saber donde ubicar cada fila y por lo tanto me ha peermitido "jugar" con el registro núm 9 y el núm 26 obtenieno el mismo resultado....
A lo mejor si la hora fuese 24:00 en vez de 00:00 quizás resetaria... no se

[kocher]

Una solución obvia, es eliminar la última fila de cada archivo convertido, antes de ser importado. El último registro debe acabar en 31/07/20;23:55; o sea que la última fila habría que añadirla al siguiente mes .

Cada mes comienza en 01/06/20;00:00; y termina en 30/06/20;23:55

También  hay otra fácil solución; esta vez de la parte de MySQL.

Podemos con una sencilla orden, establecer (una vez importados los archivos) la lluvia de las 00:00 horas en 0.

Esto tardaría unos segundos (o menos) en realizarse.

Para estar más seguros, se puede comprobar con solo dos determinados meses; por ejemplo mayo y junio de 2012 (o los 2 meses que tu quieras (que tengan valores altos de lluvia a las 00:00 horas.

Una vez comprobado su buen funcionamiento, se aplica a todos esos años que hayas actualizado.

Si te parece una buena idea, lo podemos llevar a cabo.

[eb3vp]

La primera solucion es la que he utilizao para cargar los meses de prueba, agosto y julio.
No he borrado nada si no que una vez cargados los ficheros mediante la edicion de datos que ofrece la plantilla me he dedicado a buscar los dias que empezaban con un registro del dia anterior y los borraba.
Creo que es mucho más practico una vez cargados los registros que SQL borre de manera automatica los registros a las 00:00h

Pero me plantea dudas:
 cuando carga cada 5min ( datos actuales no historicos ), tambien pasa esto ? POrque en el caso que tengamos una noche de agua continuada que pasara ?
Tengo algun registro de noches con agua a tope ( por ejemplo del Gloria ) que seguramente nos sacará de dudas.

Entiendo que esta operacion se tiene que hacer en sql en la tabla alldata ? O sea accediendo al sevidor mediante my phpAdmin ?

Esto se pone interesante....
Buenas noches y muy agradecido por tus lecciones. De hecho esto queda por si alguien en un futuro se encuentra con lo mismo.

[kocher]

Una tercera solución MySQL, mas sencilla que la anterior, es borrar entre las fechas deseadas, todos los registros de las 00:00 horas; con eso desaparecen las precipitaciones extrañas sin modificar en absoluto las estadísticas,

Dando la orden con el oportuno query, esta operación es momentánea.

Primero se hace un SELECT para ver si aparecen correctamente los registros afectados que queremos eliminar; una vez que estamos seguro de haber hecho bien la selección, cambiamos SELECT por DELETE y, asunto solucionado.

Te puedo poner las 2 sentencias MySQL para que las pruebes.

 

[kocher]

Esta puede ser la solución sencilla y definitiva a tu problema:

Acabo de encontrar en el Panel de Control de Meteotemplate una posibilidad muy curiosa para buscar precipitaciones que se "han trasladado" al día siguiente.

Panel de Control >> Bases de Datos >> Edición masiva de bases de datos >> Fixing database rain o, si lo tienes en Inglés:
Control Panel >> Database >> Bulk Database Editing >> Arreglando la lluvia de la base de datos


Fixing database rain
Sometimes when you have short API update intervals and your server is slower or has a temporary glitch, the cache file around midnight might not be deleted in time and used by the subsequent API update. This leads to the day 1 rain being copied over to day 2. The below button will check your database for any such cases and fix them.



Arreglando la lluvia de la base de datos

A veces, cuando tiene intervalos cortos de actualización de API y su servidor es más lento o tiene una falla temporal, es posible que el archivo de caché alrededor de la medianoche no se elimine a tiempo y no se use en la actualización de API posterior. Esto lleva a que la lluvia del día 1 se copie al día 2. El botón de abajo comprobará su base de datos en busca de tales casos y los solucionará.


Presionas el botón y, al momento ha solucionado el problema ... je je

Este Jachym está en todo; es un fenómeno

[eb3vp]

Pues si !!!!
Lo tenía delante de mis narices y ahi está......
El mes de junio importado con errores, le paso la correccion que me indicas y arreglado.
Y pensar que he leido y releido el wiki en la parte de importacion de datos....
Incluso me contesto Jachym pero seguramente esto de la barrera de idiomas impidió que entendiera lo que le explicaba porque esta es la solución.

Este Jachym está en todo; es un fenómeno


Y qué o digas !!!!

En fin, pero me ha servido y mucho estar hurgando porque de entrada con el programa conversor me ahorro tener que traspasar la direccion del viento a grados ( que ya me habia "fabricado" una plantilla en excel. )

 :aplaude1:Muchas gracias Kocher por tu ayuda y dedicacion.
Ahi queda esto por si alguien empeieza de nuevo y le sirve...
Ahora me queda por delante aprender como funciona esto de los bloques y configurar algo "bonito" y practico.
Un saludo Kocher !!!!!!

[kocher]

Muchas gracias amigo

Seguro que encuentras multitud de bloque y plugins que te van a encantar. Te recomiendo muy especialmente (sobre todo teniendo en cuenta el historial de datos de tu estación) aquellos que proporcionan datos estadístico; por ejemplo:

     http://kocher.es/meteotemplate/plugins/yearNormals/polarGraph.php

La mayoría de las tablas de los bloques y plugins, son "reordenables", es decir, si pinchas en cualquier imagen con triángulos situados en la cabecera de la tabla, ésta se reordenará por ese criterio.

    ¡Que lo disfrutes!