Recuperado: Corregir inconsistencias [errea]

[astromet]

9 Octubre 2012

Hago una pregunta, para que con la investigación posterior sirva de guia.

¿Dónde corregir las inconsistencias?

En un principio las bases:

wview-archive.sdb
wview-hilow.sdb

Son las candidatas, pero no lo tengo claro del todo. Quiero probar si al hacer una corrección en la segunda de ellas se puede o no corregir.

Lo lógico sería que fuera en la primera, pero entonces de que sirve la segunda base de datos.

Acabo de hacer un cambio en archive.sdb pero he regenerado el hilow.sdb, de momento las páginas web han reflejado los cambios, ahora a ver Meteoclimatic.

Voy a hacer cambios y pruebas en el Mele, que me pego cada susto de narices al hacerlos en la Raspberry que es la que gestiona la estación todavía.

Siempre hago copias de seguridad, pero hay que tener mucho "tacto"

[astromet]

10 Octubre 2012 -- Respuesta de jantoni

Bueno, esto sirve para aclarar conceptos.

Hay 3 bases de datos importantes:

Archive
Hi-low
NOAA

En realidad, para corregir inconsistencias, lo más ortodoxo es corregirlas en las 3, si es que se produce una diferencia en las 3, que no siempre.

Método 1 de EA4DQX

- Paro Wview, hago una copia de las bases de datos
- Con sftp me traigo las bases de datos a arreglar a mi PC
- Arreglo wview-archive.sdb con el plugin de Sqlite para Firefox
- Arreglo wview-hilow.sdb con el mismo plugin.
- Arreglo wview-noaa.sdb con el mismo plugin siempre que el problema sea de un día anterior. Es decir, si lo que arreglo es un dato incorrecto del mismo día, no hace falta tocar el wview-noaa.sdb ya que dicha base se modifica solo una vez al día.
- Vuelvo a subir los ficheros con SFTP a la Raspberry
- Arranco de nuevo wview
- Compruebo que todo ha ido bien y, en su caso, borro la copia de las bases de datos.

Método 2

- Para Wview
- Del mismo modo que antes, y siguiendo los mismos pasos arreglo wview-archive.sdb y borro el resto de bases de datos.
- Lo subo a la Raspberry y arranco Wview, que se encargará de volver a generar wview-hilow.sdb y wview-noaa.sdb

E método 2 es mucho más rápido para el operador, ya que solo modifico una base de datos, PERO TIENE SUS INCONVENIENTES.

a) La regeneración de las otras dos bases de datos es un proceso lento que puede llegar a tardar mucho, pero mucho tiempo. Cuantos más días tengamos almacenados en wview-archive.sdb más tiempo tardará.

b) Pierdes precisión. Esto es una cuestión a valorar por cada uno. Me explico. cuando borramos las bases con máximos y mínimos, wview se encarga de regenerarlas, pero la regeneración son con los datos almacenados en wview-archive.sdb, es decir de cada 5 minutos. Pero los datos intermedios no están almacenados, pero si registrados, si así fuera el caso en las bases de máximos y mínimos. En realidad el problema es menor y por eso digo que es a valorar por cada uno.

Por otro lado, Wview nunca modifica las bases de datos hilow y noaa una vez grabados los datos. Ese es el motivo por el que si modificas los datos en wview-archive, luego tienes que hacer uno de los dos procedimientos anteriores.

Saludos.

[astromet]

10 Octubre 2012 -- Respuesta errea

Efectivamente tienes razón, no había pensado en los datos intermedios.

La Raspberry va de 5 en 5 registros aproximadamente por segundo, cuando regenera un hilow, el Mele se acerca a los 15 por segunto y por ejemplo mi portatil lo hace en unos 100 por segundo.

Estoy trabajando con una base recuperada de todos los datos del año, hay 56000 registros, imaginad cuanto le puede costar a la Raspberry regenerar el fichero.

A ver si jantoni tu sabes si los datos históricos que luego sube a Meteoclimatic como son los del mes y el año los recoge de archive.sdb o de hilow.sdb, esa es mi duda. Yo creo que los coge del primero, pero claro no estoy seguro de ello y sería deseable saberlo.

[astromet]

10 Octubre 2012 -- Respuesta jantoni


Los datos que se suben a meteoclimatic, que no sean del día, salen de hilow y de noaa.

Jose Luis, tu que tienes posibilidades, haz la siguiente prueba:

En el miniordenador que no tengas conectado a meteoclimatic, modifica los datos de un día, por ejemplo....ayer o anteayer y le pones, por ejemplo, una temperatura de 70 C.....para que cante, no es por otro motivo.

Arranca wview y después de 5 minutos comprueba la página de almanac.htm, si no me equivoco, no verás esa temperatura máxima.

Saludos.

P.D. Curioso lo del número de registros por segundo.....podríamos comprobarlo con un disco duro externo USB....hasta que averigüe como arrancar con un disco SATA.....y es que el problema no es Mele o Raspi....el problema se llama SD (por ejemplo una tarjeta teóricamente más lenta, pero Compact Flash, va muchísimo más rápido que las SD)......y eso está probado en mi NSLU2 en donde si se nota la diferencia de velocidad de las cosas.

[astromet]

11 Noviembre 2012 -- Respuesta errea

El método 1 es el más recomendable, lo que ocurre es que editar las otras bases tiene una cierta complejidad.

Una de ellas es que se mezclan datos métricos e imperiales.

No tengo claro cuando re-lee los datos ya que inmediatamente no, pero lo que si ocurre y eso lo tengo claro es que si borras las otras bases, casi siempre hay inconsistencias de pequeños datos, décimas.

[astromet]

Respuesta 4 Enero 2013 -- nuco_ne

Bueno ya estoy escribiendo por este hilo errea, si se puede cerrar el otro pues mejor.

A quien le cueste trabajo conseguir las bases de datos, he encontrado un programa que se llama WinSPC que mediante conexion a la raspberry puedes acceder a las carpetas que las contienen y pasarlas a tu pc para poder trabajar con ellas.

Estan en la carpeta var/lib/wview/archive

Para acceder al programa, le introducis la ip de la raspberry y usuario y contraseña el que tengais.

Intentare hacer algo con ellas con el programa de ipe, creo que es.


Un saludo

[astromet]

Respuesta 5 enero 2013 -- jantoni

nuco, varias cosas:

- Es muy recomendable conocer, al menos superficialmente, los comandos básicos del lenguaje SQL, te ayudará mucho a comprender el funcionamiento. En realidad para nuestro uso, los dos comandos más habituales son SELECT (lo usaremos para visualizar datos) y UPDATE (para cambiar algún dato erroneo). El comando INSERT es el que utiliza Wview para introducir los datos, por lo que nosotros no lo usaremos salvo que vayamos a meter datos a mano, por lo que su uso no será nada habitual.

- Como ya te he dicho por privado, desde mi punto de vista, el mejor programa para acceder a la Raspberry, desde Windows, es Bitvise Tunnelier, que te abrirá una sesión de terminal y una sesión de SFTP con gestor de archivos incluido.

Saludos.