mercoledì 29 aprile 2015

Mappe offline con Phonegap e Leaflet.js

Mi e' stato chiesto di sviluppare una applicazione per Android/IOS/W8 che permetta di visualizzare mappe di escursionismo in modalita' completamente offline (non e' prevista la copertura internet via cellulare nel mezzo del bosco) e con un minimo di utilizzo del posizionamento GPS



Una delle richieste e che l'utente doveva avere subito disponibile tutta la cartografia dell'area di interesse (24Km x13Km) senza la necessita' di scaricare dati

Viste le limitazioni imposte e i sistemi da supportare mi sono orientato su una applicazione HTML5 su Phonegap ed usando la libreria Leaflet.JS .
Con Leaflet e' possibile mostrare mappe dinamiche (pan/zoom) derivanti dai progetti di cartografici open e vista la tematica ho scelto come sorgente dati 4UMaps, un servizio dedicato all'escursionismo e alla mountain bike con indicazione delle isoipse e di alcuni tracciati di sentieri

Le varie mattonelle della cartografia ai vari livelli di dettaglio (su 4UMaps il livello di maggiore dettaglio e' il 15) possono essere scaricati medianti il softare MOBAC (Mobile Atlas Creator), un software Java che date le coordinate dei vertici si occupa di scaricare tutti i dati legati all'area selezionata


Il primo problema che si e' posto e' che le mappe dell'area di interesse agli zoom 13-14-15 ha una dimensione di circa 90 Mb, decisamente troppi per gli utenti che si devono scaricare tutto il pacchetto (il limite proposto per l'applicazione completa e' massima di 50 Mb).

Mediante il software Pngyu e' pero' possibile effettuare una compressione dei PNG delle mappe di un fattore del 40-50% senza perdere sensibilmente in qualita'

Per ottenere il segnale del punto GPS e' possibile utilizzare un plugin per Leaflet (Leaflet.Control.GPS)

Per sovrapporre una traccia GPS alla mappa esistono vari plugin di leaflet ma sono nati per l'uso online ed usandoli all'interno di Phonegap viene generato un errore di javascript che per problemi di sicurezza non puo' accedere ai dati sul filesystem; per ovviare a questa limitazione ho trasformato il file GPX in un file testo creando poi un polilinea con l'array dei punti ...tracce con 5000 punti sono gestite senza troppi problemi o rallentamenti)

Al termine il file html di un progetto di sentiero e' cosi' composto (nella sottocartella Maps sono contenute le immagini della cartografia divise per livello di zoom)

--------------------------------------------------------
<!DOCTYPE html>
<html>
<head>
<title>Sentiero 2</title>
<meta charset="utf-8" />

<meta name="viewport" content="width=device-width, initial-scale=1.0">

<link rel="stylesheet" href="leaflet.css" />
<link rel="stylesheet" href="leaflet-compass.css" />
<link rel="stylesheet" href="leaflet-gps.css" />
</head>
<body>
<div id="map" style="width: 500px; height: 500px"></div>

<script src="leaflet.js"></script>
<script src="leaflet-compass.js"></script>
<script src="leaflet-gps.js"></script>

<script>

var map = L.map('map').setView([44.1496, 10.7321], 12);

L.tileLayer('Maps/{z}/{x}/{y}.png', {
maxZoom: 15,
attribution: 'Map data &copy; <a href="http://openstreetmap.org">OpenStreetMap</a> contributors, ' +
'<a href="http://creativecommons.org/licenses/by-sa/2.0/">CC-BY-SA</a>, ' +
'Imagery © <a href="http://4umaps.eu">4UMaps</a>',
id: 'examples.map-i875mjb7'
}).addTo(map);



var polygon = L.polyline([
   [44.136394501,10.721472740],
[44.136398315,10.721463203],
[44.136402130,10.721356392],
[44.136432648,10.721227646],
[44.136440277,10.721220016],
[44.136497498,10.721108437],
[44.136562347,10.721001625],
..................................................................................
..................................................................................
[44.136318207,10.721796036],
[44.136318207,10.721800804],
[44.136306763,10.721786499],
[44.136322021,10.721772194],
[44.136325836,10.721771240],

]).addTo(map);

//map.addControl( new L.Control.Compass() );
map.addControl( new L.Control.Gps({autoActive:false}) );



</script>
</body>

</html>
--------------------------------------------------------

martedì 28 aprile 2015

Windows Phone SDK su Virtualbox

Sto sviluppando una applicazione in Phonegap e volevo provare a fare il porting in Windows Phone....peccato che non ho una macchina fisica con installato Windows 8.
Per questo motivo ho provato ad installare il sistema di sviluppo su una macchina virtuale VirtualBox partendo da un disco di installazione Windows 8 Pro


I primi problemi non hanno tardato ad arrivare. Per installare il sistema non e' stato possibile usare l'installer online ma ho dovuto prendere l'immagine iso del DVD dell'SDK (circa 1.6 Gb) ed installarlo in questo modo
Una volta avuto l'SDK funzionante ho visto che il sistema di creazione dell'interfaccia utente non funzionava, non era possibile comporre i form delle pagine dell'applicazione....leggendo a giro ho visto che il problema era legato ad un conflitto tra l'installazione di Silverlight di W8 e quello dell'SDK. E' stato necessario rimuovere l'SDK e Silverlight e ripartire da capo con l'installer

Alla fine sono riuscito ad avere l'IDE completa ed ho trovato l'ultima sorpresa. Nei dispositivi non era presente l'opzione dell'emulatore del Windows Phone


Lanciando a  mano il software dell'emulatore, dall'esterno dell'ambiente di sviluppo, e' risultato un po' piu' chiaro il motivo.....l'emulatore di Windows Phone gira come macchina virtuale direttamente dentro a Windows ma Virtualbox, essendo lui stesso un ambiente di virtualizzazione, non permette un ambiente virtuale dentro un ambiente virtuale.

Nessuna soluzione. O mi compro un telefono Windows o cerco un computer fisico con Windows 8 installato dove far girare l'emulatore

Schermare beacon

Lavorando con diversi beacon e' piuttosto fastidioso quando interferiscono tra di loro all'interno dell'ufficio



Un sistema banale e' quello di avvolgere i trasmettitori nella carta argentata per uso alimentare (piu' di una volta, un solo giro non e' garanzia di schermatura), altrimenti possono essere messi dentro un forno a microonde

OpenVPN Server e Client su Westermo

Dopo aver aggiornato il firmware al Westermo Lynx DSS L205-S1 (per me al firmware v4.15.3) e' possibile creare un server OpenVPN

Prima di tutto pero' e' necessario impostare la data e l'ora sul dispositivo

Questo e' importante perche' i certificati di autenticazione self-signed hanno tempo di default di scadenza di 10 anni. Il Lynx, se non ha l'ora impostata, parte dal 1 gennaio 1970 e cio' comporta il fatto che tutti i certificati risultano scaduti (...nel futuro)
(in caso di non aver settata l'ora corretta sul server verra' generato il criptico messaggio di errore
OpenVPN - TLS incoming plaintext read error)

In seguito devono essere generati i certificati mediante la normale procedura mediante easy-rsa (le istruzioni possono essere seguite mediante la guida qui linkata)

Se tutto e' andato bene ci troveremo con diversi file relativi ai certificati per il server e per il client

dato che stiamo guardando il lato server si deve andare nel menu Maintenance/Certificates e si effettua l'upload dei file ca.crt (come CA Certificate), ca.key (come Private Key), Server.key (come Private Key) ed infine Server.crt (come Certificate)


fatto cio' ci si sposta in Configuration/VPN&Tunnel/SSL per terminare la configurazione di OpenVPN

Senza mutare nessuna configurazione si scorre verso il basso e si popolano i campi Local Certificate con il valore Server e CA Certificate come ca (cliccando sull'icona del folder si ottiene un aiuto)

Si avvia il server VPN con la spunta in alto (Enabled)
Per permettere che i client VPN si vedano reciprocamente e' utile spuntare Client-to-Client

Per verificare che tutto funzioni si puo' andare su Maintenance/ViewLog

Come VPN Client ho usato un Westermo MRD-310. Non ho avuto necessita' di aggiornare il firmware perche' il client OpenVPN era gia' incluso in quello installato
Per amministrare questo dispositivo ci si puo' collegare a 192.168.2.200 con credenziali admin/westermo

Come nel caso precedente si deve prima settare l'ora in System/Administration



Si popola quindi il certificato OpenVPN del client in VPN/Certificates. L'opzione migliore e' avere il certificato direttamente in formato PK12


Si va poi in VPN/SSL per settare i parametri di configurazione. Sostanzialmente e' sufficiente mettere l'IP del server VPN (oscurato nell'immagine sottostante) e selezionare il certificato prima inserito

Si abilita la VPN (flaggando in alto) e si va in Status/System Log per verificare che il collegamento sia avvenuto (tale verifica si fa anche sui log del server)




giovedì 9 aprile 2015

Android come tavoletta grafica

A seguito del precedente post ho visto con un po' di sorpresa che il tablet che mi e' stato prestato e' un Panasonic FZ-A1 che monta un digitalizzatore Wacom (per essere piu' precisi un Penabled, basato su tecnologia EMR e quindi in grado di avere la posizione del mouse anche se il pennino non poggia sullo schermo link)




Mi e' venuta cosi' l'idea di poterlo utilizzare, nonostante lo schermo rotto, come tavoletta grafica per disegnare....ovviamente qualcuno ci aveva gia' pensato e la soluzione e' stata GfxTablet 

GfxTablet e' costuita da una coppia di applicazioni, una client da montare sul tablet Android ed una server da montare su una macchina Linux. Il client cattura la posizione dello stilo sul tablet ed il livello di pressione e lo manda al server sul PC che converte i dati. La trasmissione avviene su protocollo UDP in porta 40118

L'applicazione Android e' stata ricompilata direttamente  partendo dai sorgenti cosi' come la parte server (su una macchina Ubuntu 14.10). In nessuno dei due casi ci sono stati particolari problemi di compilazione

A questo punto si lancia l'applicazione sui due dispositivi configurando sul client l'ip della macchina server e se tutto e' andato a buon fine si vedra' il cursore di XWindow muoversi come la penna sulla tavoletta.
(per verificare si digiti il comando xinput list e dovra' comparire un dispositivo Network Tablet)

Questo sistema puo' essere anche usato per disegnare con Gimp configurando opportunamente il device di input dal menu Modifica/Preferenze/Dispositivi di ingresso

Di seguito uno screencast per vedere piu' in dettaglio la fluidita' del sistema
Sul terminale in background c'e' l'applicazione networktablet che riceve di dati mentre in primo piano Gimp comandato dal tablet Android


L'aspetto utile e' che questo sistema funziona wireless.

Prendere il controllo di un tablet Android con schermo rotto

Mi e' stato prestato (per vedere se lo recuperavo in qualche modo) un tablet Android con lo schermo all'80% distrutto. Il digitalizzatore e tutto il resto funzionano correttamente



Cercare di interagire con il tablet in queste condizioni e' a dir poco proibitivo ma usando Droid at Screen si puo' replicare su computer via cavo Usb il display di Android
Ci sono un po' di limitazioni
1) il sistema deve essere settato in Debug Mode. Fortunatamente nel mio caso era gia' cosi' altrimenti si puo' via Adb forzare via recovery

Adb shell 
echo "persist.service.adb.enable=1" >>/system/build.prop 
echo "persist.service.debuggable=1" >>/system/build.prop 
echo "persist.sys.usb.config=mass_storage,adb" >>/system/build.prop" 
reboot

(sorgente


2) non c'e' un puntatore per cui si deve cliccare piu' o meno a caso sull'icona del tablet una volta presa la mira guardando l'immagine sul desktop

In questo modo si possono effettuare operazioni base (io per esempio sono riuscito ad agganciarlo al WiFi)

venerdì 3 aprile 2015

Cron fork crash

Un amico mi ha contattato perche' la sua macchina di acquisizione dati (Ubuntu 14.04 su una macchina DELL certificata Linux) nella notte ha crashato con reboot e perdita di dati
La macchina e' esposta con indirizzo pubblico su Internet ma non ha servizio Web (solo SSH ed altri sistemi di controllo remoto)

I sintomi dal syslog sono una serie di errori
-----------------------------------------------------
Mar 10 06:38:01 apollo CRON[2745]: (apollo) CMD (/home/apollo/xxxxxxxxx)
Mar 10 06:38:01 apollo CRON[28701]: (apollo) MAIL (mailed 1 byte of output; but got status 0x00ff, #012)
Mar 10 06:34:01 apollo CRON[16435]: (apollo) CMD (/home/apollo/xxxxxx)
Mar 10 06:39:01 apollo CRON[18558]: (CRON) error (can't fork)
Mar 10 06:39:01 apollo CRON[16435]: (CRON) error (can't fork)
-----------------------------------------------------

con l'ultimo messaggio prima di fare reboot
-----------------------------------------------------
Mar 10 08:49:27 apollo xinetd[27808]: service telnet: too many consecutive fork failures
Mar 10 09:22:16 apollo xinetd[27808]: telnet: fork failed: Cannot allocate memory (errno = 12)
Mar 10 09:22:36 apollo xinetd[27808]: message repeated 4 times: [ telnet: fork failed: Cannot allocate memory (errno = 12)]
Mar 10 09:22:36 apollo xinetd[27808]: service telnet: too many consecutive fork failures
-----------------------------------------------------

mi viene detto che e' stato installato il servizio telnet perche' la macchina non era piu' raggiungibile via SSH (insieme a telnet erano stati installati ShellInABox, Vino e NoMachine)
Nei log erano presenti connessioni da tutto il mondo su telnet

-----------------------------------------------------
Mar 10 05:32:40 apollo in.telnetd[28701]: connect from xx.xxx.x.xxx (xx.xxxx.x.xxx)
-----------------------------------------------------

il primo consiglio e' stato quello di spengere tutti i servizi non necessari, in particolare telnet (al giorno d'oggi e' sostanzialemente obsoleta)

Il mattino dopo la macchina presentava un normale traffico di rete solo sulla rete interna ma nella notte era andata di nuovo in crash con un ultimo messaggio
-----------------------------------------------------
Mar 11 03:34:01 apollo cron[1163]: (CRON) error (can't fork)
-----------------------------------------------------
di nuovo un crash su un fork

a questo punto e' partita la ricerca sul colpevole. La macchina lavorava al 5% della CPU con la Swap libera quindi in condizioni sostanzialmente ottimali ed eseguiva uno script una volta al minuto che elabora dei dati acquisiti e invia i risultati ad un'altra macchina. Lo script era costituito da diverse fasi la somma dei tempi di ciascun passo era nettamente inferiore ad un minuto, non era quindi possibile la sovrapposizione di piu' lavori in cron che potessero generare una fork bomb

Guardando meglio e' emerso pero' che l'ultimo passo copiava i dati sulla macchina remota mediante un comando rsync un solo file (peraltro sempre dello stesso nome) ed e' stato visto che la directory di arrivo era costituita da una moltitudine di file. Il numero dei file nel server di arrivo rendevano rsync molto lenta e cio' creava il sovrapporsi dei cron ogni minuto per arrivare a saturare le risorse acccumulandosi lavoro con il tempo

Sostituito il comando rsync con scp la macchina ha ripreso a lavorare senza interruzioni



HTML Dom Parser in PHP

In questo post viene descritto come estrarre i dati da una pagina HTML. Cio' mi e' stato richiesto perche' una ditta offre un servizio di pubblicazione dati (peraltro forniti con licenza Common Creative) in formato CSV solo a seguito di autenticazione mediante un Captcha impedendo di fatto il download automatico

I medesimi dati sono pero' pubblicati anche all'interno di una tabella di una pagina HTML piuttosto complessa. Per "catturare" i dati si puo' analizzare il Document Object Method HTML (DOM) mediante la libreria Simple HTML Dom (http://simplehtmldom.sourceforge.net/) che indicizza i tag e permette di creare per esempio degli array php a partire da tag table

una volta importata la pagina html (anche da un link web oltre che file) nell'esempio sottostante e' stata selezionata la seconda tabella presente nel codice (linea evidenziata in giallo). Il contenuto della tabella e' salvato nell'array rowData

--------------------------------------------------------
<?php
require('simple_html_dom.php');
$html = file_get_html('http://xxxxxxx');

$table = $html->find('table', 2);
$rowData = array();

foreach($table->find('tr') as $row) {
    $flight = array();
    foreach($row->find('td') as $cell) {
        $flight[] = $cell->plaintext;
    }
    $rowData[] = $flight;
}
--------------------------------------------------------

La libreria funziona anche su pagine html non perfettamente formattate (per esempio con tag aperti e non chiusi)

giovedì 2 aprile 2015

Ubuntu 14.10 su Lenovo X201

Avendo fretta di mettere in servizio un Lenovo X201 ho installato su questa macchina Ubuntu al posto della mia solita Debian sperando di non aver problemi..vana speranza.

Al riavvio della macchina non funzionava il touchpad mentre era possibile muovere il mouse mediante il trackpad (il piccolo joystick rosso al centro della tastiera tipico delle macchine IBM/Lenovo)




la soluzione e' stata inserire i seguenti comandi
modprobe -r psmouse 
modprobe psmouse proto=imps

la soluzione definitiva e' quella di creare un file /etc/modprobe.d/psmouse.conf con all'interno
options psmouse proto=imps
un altro problema veramente fastidioso e' che la tastiera, nonostante in fase di installazione fosse stata indicata la lingua italiana, era rimasta settata in inglese/americano. So scrivere su una tastiera muta americana ma e' veramente difficile ricordarsi la posizione di tutti i caratteri speciali (tipo apice inverso)


Con un po' di settaggi sono riuscito a settare in italiano GNOME ma nel momento in cui aprivo una shell di terminale la tastiera ritornava in inglese. Questo problema si e' risolto da solo a seguito di un aggiornamento automatico ma mi ha perseguitato per febbraio e marzo 

Google Maps vs Openlayers

Ho praticamente sempre usato Google Maps per fornire informazioni geografiche via Web ma ultimamente mi e' stato richiesto che


  1. Fosse possibile avere un evento mouseover quando il cursore passa su marker in modo da avere le informazioni senza necessariamente cliccare
  2. Usare gif animate come icone dei marker
  3. L'aggiornamento dei dati via KML doveva essere in tempo reale
Ho quindi dovuto affrontare Openlayers come piattaforma alternativa


Di seguito un medesimo file kml con due vestizioni differenti in Openlayers e GMaps
Openlayers
Google Maps
Un po' di indicazioni di confronto
  • GoogleMaps non permette di fornire dati realtime quando si usano i KML. Di fatto i layer Kml vengono gestiti dai server di Google ed hanno un tempo di cache variabile anche superiore ai 15 minuti; con Openlayers invece la pubblicazione e' completamente gestita in proprio senza nessun ritardo
  • GoogleMaps non ha un evento mouseover quando si usano i kml. In Openlayers la funzione puo' essere programmata
  • GoogleMaps ha una comodo InfoWindow mente fornire informazioni contestuali con Openlayers e' piu' complicato e ci si appoggia a JQuery
  • Openlayers permette marker con gif animate mentre le animazioni su GMaps viene effettuata mediante trucchi e non in modo diretto
  • Openlayer non ha una base cartografica fissa, vengono usate varie sorgenti dati, e non esiste un layer di foto da satellite con dettaglio comparabile con quello di GMaps
  • Scrivere applicazioni per GMaps e' piu' semplice per gli esempi e la compattezza dei comandi. La corrispondente applicazione di Openlayer risulta essere un po' piu' complessa


Openlayers basato su http://openlayers.org/en/v3.4.0/examples/kml-earthquakes.html