DHOB (IU5SGN)

martedì 24 febbraio 2015

LVM su Linux

In questo post viene indicata la procedura per creare un volume LVM (ovvero un metodo per gestire in modo piu' flessibile le partizioni e per poter aggiungere spazio a volumi senza essere limitati dalla dimensione fisica dei dischi rigidi)

Per questa prova, per semplicita', e' stata usata Ubuntu virtualizzata su Virtualbox aggiungendo due dischi fissi (oltre a quello dove e' installato il sistema) da configurare come LVM

Per prima cosa devono essere installati i seguenti pacchetti per la gestione di LVM

apt-get install lvm2 dmsetup mdadm reiserfsprogs xfsprogs
---------------------------------------------------------------------
root@luca-VirtualBox:/home/luca# fdisk -l

Disk /dev/sda: 22.0 GB, 22011707392 bytes
255 heads, 63 sectors/track, 2676 cylinders, total 42991616 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x0007fa80

Device Boot Start End Blocks Id System
/dev/sda1 * 2048 34603007 17300480 83 Linux
/dev/sda2 34605054 42989567 4192257 5 Extended
/dev/sda5 34605056 42989567 4192256 82 Linux swap / Solaris

Disk /dev/sdb: 2147 MB, 2147483648 bytes
255 heads, 63 sectors/track, 261 cylinders, total 4194304 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/sdb doesn't contain a valid partition table

Disk /dev/sdc: 2147 MB, 2147483648 bytes
255 heads, 63 sectors/track, 261 cylinders, total 4194304 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O size (minimum/optimal): 512 bytes / 512 bytes
Disk identifier: 0x00000000

Disk /dev/sdc doesn't contain a valid partition table

---------------------------------------------------------------------

Il primo passo e' creare una partizione in in /dev/sdb con

fdisk /dev/sdb

creando una partizione primaria (tasti n/p/1) e cambiando il formato in Linux LVM (tasti t e parametro 8e). Per confermare ed uscire tasto w

Verra' creato un device in /dev/sdb1 e si puo' procedere a configurare LVM. Lo schema e' il seguente

Ripreso da https://www.howtoforge.com/linux_lvm

Si vede come il volumi fisici sono svincolati dalla configurazione logica della struttura dati
Nel caso in esame verra' creato un solo gruppo fileserver ed un solo volume logico backup

Si procede a creare il volume fisico ed il gruppo "fileserver"

root@luca-VirtualBox:/home/luca# pvcreate /dev/sdb1

Physical volume "/dev/sdb1" successfully created

root@luca-VirtualBox:/home/luca# vgcreate fileserver /dev/sdb1

Volume group "fileserver" successfully created

si crea quindi il volume logico backup dentro filesever e si impone una dimensione di 1 Giga

root@luca-VirtualBox:/home/luca# lvcreate -L 1G -n backup fileserver

Logical volume "backup" created

si deve poi formattare il nuovo dispositivo

root@luca-VirtualBox:/home/luca# mkfs.ext4 /dev/fileserver/backup

mke2fs 1.42.9 (4-Feb-2014)

Etichetta del filesystem=

OS type: Linux

Dimensione blocco=4096 (log=2)

Dimensione frammento=4096 (log=2)

Stride=0 blocks, Stripe width=0 blocks

65536 inodes, 262144 blocks

13107 blocks (5.00%) reserved for the super user

Primo blocco dati=0

Maximum filesystem blocks=268435456

8 gruppi di blocchi

32768 blocchi per gruppo, 32768 frammenti per gruppo

8192 inode per gruppo

Backup del superblocco salvati nei blocchi:

32768, 98304, 163840, 229376

Allocating group tables: fatto

Scrittura delle tavole degli inode: fatto

Creating journal (8192 blocks): fatto

Scrittura delle informazioni dei superblocchi e dell'accounting del filesystem: fatto

e si monta il filesystem

root@luca-VirtualBox:/home/luca# mkdir /media/lvm

root@luca-VirtualBox:/home/luca# mount /dev/fileserver/backup /media/ lvm/

mediante df si vede la nuova situazione dei dischi con il disco lvm mappato

root@luca-VirtualBox:/home/luca# df

Filesystem 1K-blocks Used Available Use% Mounted on

/dev/sda1 16897884 7767344 8249132 49% /

none 4 0 4 0% /sys/fs/cgroup

udev 2013212 4 2013208 1% /dev

tmpfs 404804 956 403848 1% /run

none 5120 0 5120 0% /run/lock

none 2024004 152 2023852 1% /run/shm

none 102400 20 102380 1% /run/user

/dev/mapper/fileserver-backup 999320 1284 929224 1% /media/lvm

Fino a quindi niente di eccezionale. Con il sistema precedente creiamo una partizione primaria in formato LVM anche su /dev/sdc

Disk identifier: 0x0007fa80

Device Boot Start End Blocks Id System

/dev/sda1 * 2048 34603007 17300480 83 Linux

/dev/sda2 34605054 42989567 4192257 5 Extended

/dev/sda5 34605056 42989567 4192256 82 Linux swap / Solaris

Disk /dev/sdb: 2147 MB, 2147483648 bytes

22 heads, 16 sectors/track, 11915 cylinders, total 4194304 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk identifier: 0xb4504b1b

Device Boot Start End Blocks Id System

/dev/sdb1 63 4194303 2097120+ 8e Linux LVM

Disk /dev/sdc: 2147 MB, 2147483648 bytes

22 heads, 16 sectors/track, 11915 cylinders, total 4194304 sectors

Units = sectors of 1 * 512 = 512 bytes

Sector size (logical/physical): 512 bytes / 512 bytes

I/O size (minimum/optimal): 512 bytes / 512 bytes

Disk identifier: 0x70badccc

Device Boot Start End Blocks Id System

/dev/sdc1 2048 4194303 2096128 8e Linux LVM

Si deve poi aggiungere il disco sdc al gruppo fileserver

root@luca-VirtualBox:/home/luca# vgextend fileserver /dev/sdc1

No physical volume label read from /dev/sdc1

Physical volume "/dev/sdc1" successfully created

Volume group "fileserver" successfully extended

e si ridimensiona il volume logico da 1 a 2G

root@luca-VirtualBox:/home/luca# lvextend -L2G /dev/fileserver/backup

Extending logical volume backup to 2,00 GiB

Logical volume backup successfully resized

e si estende il file system
root@luca-VirtualBox:/home/luca# resize2fs /dev/fileserver/backup
resize2fs 1.42.9 (4-Feb-2014)
Filesystem at /dev/fileserver/backup is mounted on /media/lvm; on-line resizing required
old_desc_blocks = 1, new_desc_blocks = 1
The filesystem on /dev/fileserver/backup is now 524288 blocks long.

abbiamo terminato. Adesso tramite il comando df si vede che il disco LVM ha aumentato le proprie dimensioni

root@luca-VirtualBox:/home/luca# df

Filesystem 1K-blocks Used Available Use% Mounted on

/dev/sda1 16897884 7667928 8348548 48% /

none 4 0 4 0% /sys/fs/cgroup

udev 2013212 4 2013208 1% /dev

tmpfs 404804 960 403844 1% /run

none 5120 0 5120 0% /run/lock

none 2024004 152 2023852 1% /run/shm

none 102400 20 102380 1% /run/user

/dev/mapper/fileserver-backup 2031440 1536 1919152 1% /media/lvm

lunedì 23 febbraio 2015

Video.js

Dopo l'esperienza con JwPlayer () e con JPlayer (), mi sono ritrovato a provare per un progetto di pubblicazione video Video.JS

Il problema maggiore per Jwplayer e' la necessita' di una chiave anche per la versione Free ed il logo sempre presente nell'angolo in alto a sinistra che puo' non essere gradito dai clienti.Peraltro la gestione delle skin su Jwplayer non e' proprio semplicissima (cambia da versione a versione) e nella versione free e' molto limitata

Video.JS e' invece un prodotto open source senza particolari limitazioni e con la presenza di una barra semi trasparente che non rende necessario portare la barra degli strumenti al di fuori della finestra del video

L'installazione e' banale in quanto basta copiare il pacchetto e modificare il file html modificando il puntamento del link del video)

Le configurazioni dell'aspetto della barra sono gestiti tutti a livello di CSS

Essendo un progetto in HTML5 non sono fiducioso che funzioni su tutti i browser ma almeno su Chrome 40, Firefox 33.1 ed Internet Explorer 8 e' stato testato e funziona

PCDuino

Grazie ad un prestito sono riuscito a provare la scheda PCDuino, un calcolatore basato su Arm che unisce due anime in una un quanto e' possibile utilizzarla come una Arduino

Di fatto la scheda si pone a meta' strada come prezzo tra una Raspberry ed una Arduino YUN

Sul modello che ho avuto in prova PCDuino Nano v3 e' disponibile una uscita HDMI, WiFi, connettore SATA, porta ad infrarossi, lettore microSD, Connettore Ethernet

Il sistema operativo non e' contenuto nella SD ma e' su una flash memory (al contrario di Raspberry).

Al boot compaiono due pinguini a testimoniare come il processore sia dual core

La distribuzione installata e' una Linaro-Alip (specifica per Arm che usa apt come gestore dei pacchetti) e LXDE come DM

Le impresssioni di uso di Linux sono decisamente buone ed e' molto piu' fluido ed usabile che su Raspberry

Per programmare la parte Arduino e' presente la IDE preinstallata che comunica su /dev/ttyS1 (di fatto non e' possibile programmare direttamente Arduino via cavo come si fa con le schede tipo Uno e Due ma si deve programmare direttamente da dentro PCDuino)

Al contrario di Raspberry sono presenti, oltre alle porte GPIO accessibili anche tramiti la parte Linux, anche delle porte analogiche con risoluzione anche fino a 12 bit

Sono presenti anche alcuni pulsanti fisici (tra cui quello di reset) al contrario di quanto su Raspberry

Considerando il prezzo vale veramente la spesa e non mi risulta chiaro il motivo della scarsa popolarita' di questo dispositivo (anche in funzione del prezzo di poco superiore a Raspberry a fronte di una dotazione hardware nettamente migliore, anche per la sola presenza del WiFi)

venerdì 20 febbraio 2015

Eagle has landed

Piu' o meno per me e' stata un'esperienza simile a spedire qualcosa sulla Luna.
Un paio di settimane fa un mini computer e' partito da Firenze (configurato per connettersi in automatico ad una VPN in cui il server e' il wrtg54 visto qui) destinazione vulcano Copahue per essere attaccato ad un rete di monitoraggio di cui non conosco i settaggi e le impostazioni di protezione.
Sul posto non c'e' nessuno che poteva modificare i settaggi per cui doveva funzionare alla prima e solo attaccando l'alimentazione ed il cavo di rete

Dopo un viaggio di 12280 km (per lo meno sulla geodetica) ed un paio di settimana di attesa e' arrivata la mail che il computer era stato connesso alla rete e qualche decina di secondi dopo e' comparso nel log del server vpn diventando quindi amministrabile a distanza

giovedì 19 febbraio 2015

XML 2 CSV con XQuery

Il problema di oggi e' prendere un file xml molto lungo, estrarne alcuni campi in base ad alcune regole e poi effettuarne l'esportazione in CSV

La prima cosa che mi e' venuta in mente e' stata quella di importare l'XML in Mysql, agire con qualche query ed esportare il risultato (Mysql ha filtri nativi sia per xml che csv) ma poi mi sono messo a cercare ed ho trovato XQuery, un linguaggi similSQL che agisce sui file testo xml

Una delle implementazioni di questo linguaggio si trova in xqilla, facilmente reperibile nei repository di Debian

apt-get install xqilla

per semplificare le cose mostrero' come funziona su un file di piccole dimensioni (visualizzato in Firefox che ha un discreto visualizzatore di file xml)

Xqilla non permette di avere un uso interattivo e si deve creare un file con lo script Xquery. L'esempio lo riporto di seguito

esempio.xq
-------------------------------------------------------------
for $x in doc("eventi.xml")/Root/Evento
where $x/Durata>15
return
concat("luca;",
$x/Titolo/text(),
";",
$x/Luogo/text())
-------------------------------------------------------------

la sintassi e' piuttosto semplice
nella prima riga viene caricato il file xml con la gerarchia di interesse
nella seconda riga vengono selezionati i record con la durata maggiore di 15
nelle righe successive avviene l'output concatenando una stringa e due campi (senza specifiche viene mostrato il record con i suoi tag per esempio <Luogo>Firenze</Luogo> mentre con la specifica /text() si ottiene il contenuto del record senza i tag)

lanciando il comando
xqilla esempio.xq

il risultato sara'
luca;Calcio in costume;Firenze

comodo, veloce e scriptabile

mercoledì 18 febbraio 2015

FailOver con Corosync/Pacemaker per Apache su Debian/WmWare

Il failover e' un sistema per permettere la continuita' di un servizio di rete mediante due server (di cui uno attivo ed uno passivo) che si sostituiscono nel caso in cui il sistema primario non funzioni in modo corretto

Attenzione : Il sistema indicato gestisce solo i servizi ma non la sincronizzazione dei dati

Per la configurazione e' stata seguita (e parzialmente modificata) la guida a questo link

Per simulare il sistema sono stati creati due server virtuali (deb1 e deb2) ed un client su WMware Player. I server sono stati configurati in modo identico partendo da una Debian base ed installando i pacchetti corosync, pacemaker ed apache2.

Il servizio ad alta disponibilita' (HA) sara' disponibile su 192.168.32.150

deb1 : 192.168.32.138
deb2 : 192.168.32.139
debclient : 192.168.32.140
HA : 192.168.32.150

la prima verifica e' che le macchine siano in grado di pingarsi reciprocamente

per prima cosa e' stato modificato il file /etc/hosts per far risolvere il nome in modo statico dell'altra macchina

per esempio su deb1 e' stato aggiutno
192.168.32.139 deb2.nearbee.it deb2

cosi' da deb1 si puo' pingare direttamente deb2

poi e' stato modificato il file /etc/corosync/corosync.conf utilizzando il set di indirizzi dei server

interface {
ringnumber: 0
bindnetaddr: 192.168.32.0
mcastaddr: 226.94.1.1 mcastport: 5405 }

in seguito si verifica /etc/corosync/corosync.conf abbia ver=0 (di default e' gia' cosi') e si imposta START=yes su /etc/default/corosync

si effettuano le stesse modifiche sia su deb1 che su deb2 e poi si avvia il servizio
/etc/init.d/corosync start

con il comando
crm_mon -1
si devono quindi vedere i due server online

visto che si tratta di una configurazione a due macchine si impostano i seguenti parametri

crm configure property stonith-enabled=false
crm configure property no-quorum-policy=ignore

a questo punto viene impostato l'indirizzo HA

crm configure primitive VIP ocf:IPaddr2 params ip=192.168.32.150 nic=eth0 op monitor interval=10s

si verifica che l'ip virtuale 192.168.32.150 sia pingabile

si imposta quindi quale servizio deve essere impostato come high availability (nel nostro caso apache)

(HA-apache e' un nome che puo' essere impostato a piacere

crm configure primitive HA-apache lsb:apache2 op monitor interval=15s
(puo' essere configurato qualsiasi servizio presente in /etc/init.d/)

per verificare che il servizio sia stato modificato usare crm_mon -1

per semplicita' si puo' modificare il file index.html in /var/www inserendo il nome del server per rendere chiaramente visibile quale macchina sta rispondendo

a questo punto il sistema fail over e' completo

con i server deb1 e deb2 accesi e funzionanti, si puo' dal client collegarsi ad

http://192.168.32.150

e rispondera' il server deb1. Spengendo la macchina virtuale deb1, l'indirizzo virtuale 192.168.32.150 sara' acquisito da deb2, collegandosi quindi ad http://192.168.32.150 sara' la macchina di backup a rispondere