martedì 31 dicembre 2019
lunedì 30 dicembre 2019
Retrain Model con dati di foraminiferi
Aggiornamento
Ho provato a fare girare il modello con dataset di train di 1000 e 1500 immagini
=======================================================================
Al posto di creare da zero un modello in Tensorflow per addestrare il riconoscimento di foraminiferi ho provato ad aggiungere le mie classi ad una rete gia' addestrata
Per fare cio' si deve aggiungere il supporto a Tensorflow HUB con
pip install "tensorflow~=2.0"
Ho provato a fare girare il modello con dataset di train di 1000 e 1500 immagini
Dataset 1000 immagini per classe
57% di attribuzioni corrette
Dataset 1500 immagini per classe
56% di attribuzioni corrette
=======================================================================
Al posto di creare da zero un modello in Tensorflow per addestrare il riconoscimento di foraminiferi ho provato ad aggiungere le mie classi ad una rete gia' addestrata
Per fare cio' si deve aggiungere il supporto a Tensorflow HUB con
pip install "tensorflow~=2.0"
pip install "tensorflow-hub[make_image_classifier]~=0.6"
Si lancia quindi il comando
make_image_classifier \
--image_dir train \
--tfhub_module https://tfhub.dev/google/tf2-preview/mobilenet_v2/feature_vector/4 \
--saved_model_dir fora \
--labels_output_file class_labels.txt \
--tflite_output_file fora_mobile_model.tflite
Le immagini devono essere conformi al formato di mobilenet quindi devono avere una dimensione di 224x224 pixels
I risultati sono leggermente peggiori del precedente post : 22 corretti e 25 errati (46% corretti 54% errati) ma si nota in maniera netta come il riconoscimento di Globigerinita Glutinata sia totalmente sballato
Si lancia quindi il comando
make_image_classifier \
--image_dir train \
--tfhub_module https://tfhub.dev/google/tf2-preview/mobilenet_v2/feature_vector/4 \
--saved_model_dir fora \
--labels_output_file class_labels.txt \
--tflite_output_file fora_mobile_model.tflite
Le immagini devono essere conformi al formato di mobilenet quindi devono avere una dimensione di 224x224 pixels
di default vengono selezionate 5 epoche ma si puo' cambiare il valore con lo switch --train_epochs
Ho iniziato con il dataset completo di 1500 immagini per 5 classi ma in modo non prevedibile il processo veniva killato senza preavviso. Si tratta di un problema di memoria cosi' sono sceso a 500 elementi per classe con una ram di 8Gb
Per effettuare l'inferenza (ovvero la previsione del modello su una immagine non contenuta nel training si usa lo script label_image.py
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/examples/python/label_image.py
Ho iniziato con il dataset completo di 1500 immagini per 5 classi ma in modo non prevedibile il processo veniva killato senza preavviso. Si tratta di un problema di memoria cosi' sono sceso a 500 elementi per classe con una ram di 8Gb
Per effettuare l'inferenza (ovvero la previsione del modello su una immagine non contenuta nel training si usa lo script label_image.py
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/examples/python/label_image.py
python label_image.py -m fora_mobile_model.tflite -l class_labels.txt -i test/a_globigerina_bulloides.1102.jpg
Corso How Google does Machine Learning
Visto che il precedente corso dava dei crediti su Coursera ho provato il corso offerto da Google
Non avevo mai provato Coursera, anche perche' i corsi interessanti sono costosi. Il livello delle lezioni non e' altissimo ed i test sono piuttosto banali rispetto al corso tenuto direttamente da Google ma c'e' stata la possibilita' di avere sessioni gratuite di utilizzo di Google Cloud...non male
Non avevo mai provato Coursera, anche perche' i corsi interessanti sono costosi. Il livello delle lezioni non e' altissimo ed i test sono piuttosto banali rispetto al corso tenuto direttamente da Google ma c'e' stata la possibilita' di avere sessioni gratuite di utilizzo di Google Cloud...non male
venerdì 27 dicembre 2019
Tensorflow GPU in NVidia Jetson Nano
Uno degli aspetti che piu' mi intrigava nella Jetson Nano era quello di poter creare modelli di reti neurali e non sono di usarli come accede in Intel Neural e Google Cal
La cosa ancora piu' interessante e' quello di poter utilizzare l'accelerazione GPU data dai Cuda core...ma e' tutto oro quello che luccica??
Per partire si inizia dall'installazione di Tensorflow su Jetson Nano. Dato che non si tratta di un processore x86 si deve ricompilare tutto da sorgenti od utilizzare i repository di NVidia
https://docs.nvidia.com/deeplearning/frameworks/install-tf-jetson-platform/index.html
sudo apt-get update
sudo pip3 install -U numpy==1.16.1 future==0.17.1 mock==3.0.5 h5py==2.9.0 keras_preprocessing==1.0.5 keras_applications==1.0.8 gast==0.2.2 enum34 futures protobuf
sudo pip3 install --pre --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v43 tensorflow-gpu
La cosa ancora piu' interessante e' quello di poter utilizzare l'accelerazione GPU data dai Cuda core...ma e' tutto oro quello che luccica??
Per partire si inizia dall'installazione di Tensorflow su Jetson Nano. Dato che non si tratta di un processore x86 si deve ricompilare tutto da sorgenti od utilizzare i repository di NVidia
https://docs.nvidia.com/deeplearning/frameworks/install-tf-jetson-platform/index.html
Questa parte e' molto lunga...in particolare durante l'installazione di h5py il computer sembra stallare per oltre 15 minuti...pazienza, pazienza e pazienza
sudo apt-get update
sudo apt-get install libhdf5-serial-dev hdf5-tools libhdf5-dev zlib1g-dev zip libjpeg8-dev
sudo apt-get install python3-pip
sudo pip3 install -U pip testresources setuptoolssudo apt-get install python3-pip
sudo pip3 install -U numpy==1.16.1 future==0.17.1 mock==3.0.5 h5py==2.9.0 keras_preprocessing==1.0.5 keras_applications==1.0.8 gast==0.2.2 enum34 futures protobuf
sudo pip3 install --pre --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v43 tensorflow-gpu
La cosa che mi pone qualche sospetto e' la stringa
tensorflow was not compiled for cuda support jetson nano
Tensorflow puo' essere utilizzato all'esterno di un VirtualEnv (anche se e' sempre possibile creare VirtualEnv specialmente nel caso di installazioni multiple di Tensorflow)
In generale se si devono installare delle librerie Python accessorie (tipo SciPy) conviene utilizzare apt al posto di pip
Una volta lanciato Tensorflow si osserva il carico distribuito sui 4 core
tramite il comando tegrastats si puo' controllare l'hardware
------------------------------------------------------------------------------------
RAM 1264/3964MB (lfb 529x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [40%@518,14%@518,16%@518,18%@518] EMC_FREQ 2%@1600 GR3D_FREQ 0%@76 APE 25 PLL@19C CPU@21C PMIC@100C GPU@21C AO@25.5C thermal@21C POM_5V_IN 2301/2301 POM_5V_GPU 80/80 POM_5V_CPU 444/444
RAM 1264/3964MB (lfb 529x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [38%@204,10%@204,23%@204,9%@204] EMC_FREQ 3%@1600 GR3D_FREQ 5%@76 APE 25 PLL@19.5C CPU@21.5C PMIC@100C GPU@21C AO@25.5C thermal@21C POM_5V_IN 2143/2222 POM_5V_GPU 40/60 POM_5V_CPU 323/383
RAM 1264/3964MB (lfb 529x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [44%@307,7%@307,9%@307,1%@307] EMC_FREQ 3%@1600 GR3D_FREQ 0%@153 APE 25 PLL@19.5C CPU@21C PMIC@100C GPU@21C AO@25.5C thermal@21.25C POM_5V_IN 2103/2182 POM_5V_GPU 40/53 POM_5V_CPU 323/363
RAM 1264/3964MB (lfb 529x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [43%@403,7%@403,10%@403,4%@403] EMC_FREQ 2%@1600 GR3D_FREQ 0%@153 APE 25 PLL@19.5C CPU@20.5C PMIC@100C GPU@21C AO@25.5C thermal@20.5C POM_5V_IN 2224/2192 POM_5V_GPU 121/70 POM_5V_CPU 363/363
RAM 1284/3964MB (lfb 527x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [45%@1479,21%@1479,53%@1479,22%@1479] EMC_FREQ 2%@1600 GR3D_FREQ 0%@153 APE 25 PLL@19.5C CPU@21.5C PMIC@100C GPU@21C AO@25.5C thermal@21C POM_5V_IN 2853/2324 POM_5V_GPU 40/64 POM_5V_CPU 884/467
RAM 1306/3964MB (lfb 520x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [25%@1479,51%@1479,58%@1479,54%@1479] EMC_FREQ 3%@1600 GR3D_FREQ 0%@153 APE 25 PLL@20.5C CPU@22.5C PMIC@100C GPU@21C AO@26C thermal@21.5C POM_5V_IN 3787/2568 POM_5V_GPU 39/60 POM_5V_CPU 1870/701
------------------------------------------------------------------------------------
Da una prova a parita' di rete neurale Jetson Nano ha una velocita' comparabile con un I5 6 gen. quindi la presenza di una GPU non migliora in modo sensibile la velocita' di calcolo come nel caso di GPU legate a schede video (benchmark di riferimento)
martedì 24 dicembre 2019
Primi passi con NVidia Jetson Nano
L'impostazione di base e' stata ridotta al minimo. Il sistema e' basato sulla scheda Jetson Nano, una SD Card da 64 Gb, un dongle USB Wifi Edimax N150, una tastiera Logitech K400 Plus, un alimentatore esterno da 5V 4A
Per il case ho preso questo progetto https://www.thingiverse.com/thing:3518410
E' piuttosto delicato su alcuni dettagli ma in generale va bene
Il primo problema riguarda l'alimentazione. Visto che non mi fidavo di una alimentazione via USB visti i consumi della scheda ho utilizzato un alimentatore esterno. Il problema e' che per abilitare l'alimentazione esterna e' necessario chiudere con un Jumper J48...ed il jumper non e' incluso. Sono impazzito a trovare un jumper a giro per casa ed alla fine ho dovuto cannabalizzare un vecchio HD PATA (il jumper serviva a selezionare salve and master). La Jetson ha due modalita' di utilizzo 5W e 10 W (di default e' la seconda)
Da linea di comando si puo' modificare con (0=10W, 1=5W)
$ sudo nvpmodel -m 0
Nonostante sia sconsigliato di usare un convertitore da HDMI a DVI io ho lo ho utilizzato con successo per la connessione ad vecchio monitor
Invece mi ha fatto impazzire la Edimax che continuava a disconettersi dall'hotpost. La soluzione e' stata mettere in blacklist il modulo con
echo "blacklist rtl8192cu" | sudo tee -a /etc/modprobe.d/blacklist.conf
Si puo' avere una modalita' headless semplicemente collegando un cavo microUSB e puntando il browser del portatile su 192.168.55.1:8888 e password dlinano
In ogni caso il server SSH e' gia' installato e disponibile (ho collegato un cavo cross con un indirizzo fisso per la rete via cavo per estendere la modalita' headless)
Per provare CUDA Jetson ha gia' tutto installato. Si deve pero' settare la Path e copiare gli esempi nella propria home
export PATH=${PATH}:/usr/local/cuda/bin
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/usr/local/cuda/lib64
Per gli esempi di CUDA
/usr/local/cuda-10.0/bin/cuda-install-samples-10.0.sh . (attenzione al punto finale)
ATTENZIONE : operazione lenta in compilazione
Jetson Nano 4 Giga di Ram e puo' essere poca per reti neurali impegnativi. Si puo' aumentare usando uno swap file
$ sudo fallocate -l 8G /mnt/4GB.swap
/mnt/4GB.swap none swap sw 0 0
Ultima cosa: di default l'uscita audio e' impostata su Analogico e non su HDMI.
link utile
https://github.com/jkjung-avt/jetson_nano.git
Per il case ho preso questo progetto https://www.thingiverse.com/thing:3518410
E' piuttosto delicato su alcuni dettagli ma in generale va bene
Il primo problema riguarda l'alimentazione. Visto che non mi fidavo di una alimentazione via USB visti i consumi della scheda ho utilizzato un alimentatore esterno. Il problema e' che per abilitare l'alimentazione esterna e' necessario chiudere con un Jumper J48...ed il jumper non e' incluso. Sono impazzito a trovare un jumper a giro per casa ed alla fine ho dovuto cannabalizzare un vecchio HD PATA (il jumper serviva a selezionare salve and master). La Jetson ha due modalita' di utilizzo 5W e 10 W (di default e' la seconda)
Da linea di comando si puo' modificare con (0=10W, 1=5W)
$ sudo nvpmodel -m 0
$ sudo jetson_clocks
Nonostante sia sconsigliato di usare un convertitore da HDMI a DVI io ho lo ho utilizzato con successo per la connessione ad vecchio monitor
Invece mi ha fatto impazzire la Edimax che continuava a disconettersi dall'hotpost. La soluzione e' stata mettere in blacklist il modulo con
echo "blacklist rtl8192cu" | sudo tee -a /etc/modprobe.d/blacklist.conf
Si puo' avere una modalita' headless semplicemente collegando un cavo microUSB e puntando il browser del portatile su 192.168.55.1:8888 e password dlinano
In ogni caso il server SSH e' gia' installato e disponibile (ho collegato un cavo cross con un indirizzo fisso per la rete via cavo per estendere la modalita' headless)
Per provare CUDA Jetson ha gia' tutto installato. Si deve pero' settare la Path e copiare gli esempi nella propria home
export PATH=${PATH}:/usr/local/cuda/bin
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/usr/local/cuda/lib64
Per gli esempi di CUDA
/usr/local/cuda-10.0/bin/cuda-install-samples-10.0.sh . (attenzione al punto finale)
ATTENZIONE : operazione lenta in compilazione
Jetson Nano 4 Giga di Ram e puo' essere poca per reti neurali impegnativi. Si puo' aumentare usando uno swap file
$ sudo fallocate -l 8G /mnt/4GB.swap
$ sudo mkswap /mnt/4GB.swap
$ sudo swapon /mnt/4GB.swap
e modificando il file /etc/fstab aggiungendo
Ultima cosa: di default l'uscita audio e' impostata su Analogico e non su HDMI.
link utile
giovedì 19 dicembre 2019
GCP Developer Enablement Program
Forse sono uno dei pochissimi geologi che ha un attestato di Google Cloud Platform
martedì 17 dicembre 2019
Il primo Linux...1996
Il primo Linux che ho usato ... comprato il cofanetto da 4 CD da DMail...ed installato a floppy (non avendo il lettore CDRom avevo convertito il tutto in floppy) su un 386 20 MHz ....e dopo un po' collegato in rete via cavo RG58 ad un 486 DX2 66
lunedì 16 dicembre 2019
Cuda Toolkit 8.0 su Ubuntu 18.04 LTS
Ho portatile T430 con scheda NVS 5400 M, una scheda con CUDA Capability 2.1 e Codename Fermi. Il supporto per queste schede e' terminato con Cuda Toolkit 8.0 e quindi non e' banale installare l'ambiente di sviluppo
Per prima cosa ovviamente si devono avere installati i driver proprietari di NVidia da Software&Updates
A questo punto si deve scaricare Cuda ToolKit 8, l'ultimo compatibile con Fermi ma si deve effettuare anche un downgrade di gcc (Cuda Toolkit 8 era compatibile con Ubuntu 16.04(
sudo apt-get install gcc-5 g++-5
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-5 70
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-5 70
sh ./cuda_8.0.61_375.26_linux.run --tar mxvf
sudo apt install libmodule-install-perl
sudo cp InstallUtils.pm /usr/lib/x86_64-linux-gnu/perl-base/
export $PERL5LIB
sh ./cuda_8.0.61_375.26_linux.run --override
sudo rm /usr/lib/x86_64-linux-gnu/perl-base/InstallUtils.pm
Durante l'installazione non si deve installare il driver e si deve accettare l'installazione su piattaforma non supportata
E' conveniente installare anche gli esempi.
Per prima cosa ovviamente si devono avere installati i driver proprietari di NVidia da Software&Updates
A questo punto si deve scaricare Cuda ToolKit 8, l'ultimo compatibile con Fermi ma si deve effettuare anche un downgrade di gcc (Cuda Toolkit 8 era compatibile con Ubuntu 16.04(
sudo apt-get install gcc-5 g++-5
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-5 70
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-5 70
sh ./cuda_8.0.61_375.26_linux.run --tar mxvf
sudo apt install libmodule-install-perl
sudo cp InstallUtils.pm /usr/lib/x86_64-linux-gnu/perl-base/
export $PERL5LIB
sh ./cuda_8.0.61_375.26_linux.run --override
sudo rm /usr/lib/x86_64-linux-gnu/perl-base/InstallUtils.pm
Durante l'installazione non si deve installare il driver e si deve accettare l'installazione su piattaforma non supportata
E' conveniente installare anche gli esempi.
domenica 15 dicembre 2019
Monitor Commodore 1702
Non so se sia funzionante (non ho ancora avuto modo di provarlo) ma trovare un monitor Commodore 1702 al cassonetto e' diciamo un caso piu' unico che raro
venerdì 13 dicembre 2019
Tensorflow on Docker
Oltre ad usare Tensorflow in un virtualenv si puo' impiegare anche un Docker (per una configurazione in modalita' GPU e' anche piu' semplice ) che deriva da una immagine Ubuntu
Si installa tramite
docker pull tensorflow/tensorflow
Using default tag: latest
latest: Pulling from tensorflow/tensorflow
5667fdb72017: Pull complete
d83811f270d5: Pull complete
ee671aafb583: Pull complete
7fc152dfb3a6: Pull complete
485ea80d093d: Pull complete
e4021511b813: Pull complete
f0f976467b2c: Pull complete
788284490e67: Pull complete
134a5eeb528f: Pull complete
a4d8f6645f3b: Pull complete
db9d0640a96e: Pull complete
Digest: sha256:6d1df66ddf8e5aca56cedd4f333df124132a684dec70f881da687ef2e29f8831
Status: Downloaded newer image for tensorflow/tensorflow:latest
docker.io/tensorflow/tensorflow:latest
Si puo' testare aprendo una shell
root@debian:/home/luca# docker run -it --rm tensorflow/tensorflow bash
________ _______________
___ __/__________________________________ ____/__ /________ __
__ / _ _ \_ __ \_ ___/ __ \_ ___/_ /_ __ /_ __ \_ | /| / /
_ / / __/ / / /(__ )/ /_/ / / _ __/ _ / / /_/ /_ |/ |/ /
/_/ \___//_/ /_//____/ \____//_/ /_/ /_/ \____/____/|__/
WARNING: You are running this container as root, which can cause new files in
mounted volumes to be created as the root user on your host machine.
To avoid this, run the container by specifying your user's userid:
$ docker run -u $(id -u):$(id -g) args...
Per usare i propri file senza duplicarli su docker si puo' montare la propria home all'interno del docker (in questo caso la cartella in /home/luca/tensor/keras2/train_1500el_5classi viene montata su -tmp2 (attenzione a non usare /tmp perche' manda in crisi apt e non si puo' installare piu' niente)
docker run -it --rm -v $PWD/tensor/keras2/train_1500el_5classi:/tmp2 -w /tmp2 tensorflow/tensorflow
per installare i moduli dentro a docker si procede con pip come di norma
apt-get install python-tk
pip install Pillow
pip install SciPy
Se si vuole cancellare l'immagine si procede
root@debian:/home/luca# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
tensorflow/tensorflow latest d64a95598d6c 2 months ago 1.03GB
root@debian:/home/luca# docker rmi d64a95598d6c
Untagged: tensorflow/tensorflow:latest
Untagged: tensorflow/tensorflow@sha256:6d1df66ddf8e5aca56cedd4f333df124132a684dec70f881da687ef2e29f8831
Deleted: sha256:d64a95598d6cfe0a472112589a2ed67cca21cb5d396d05dc304de9566d67de0f
Deleted: sha256:63d2e2a77e38788dc432866f4feeca36fc9469c4cc131583805b4b7d03552903
Deleted: sha256:7967455aa075896a12daaa2bb4a48b99b63f14b03dd80c09d6fba83b46b6f07b
Deleted: sha256:45d06edb6ecd5222ff22418d8649b8d74dc5cf30991f83eff595b6cd215d77bb
Deleted: sha256:e015b1c8d255426cd9d36475727d257a080ea865e3e0519f12c364464f1e5ef3
Deleted: sha256:dbaaffa3e9690ebc6710bcd9b11a986ccfe35340edecc3e2da1ad06325e5b646
Deleted: sha256:2d6aa956b10ffb80ab7bd53d124d34bb6d5d7b798a3d00d530bcec9408aaa4ae
Deleted: sha256:aee95a60862058fa4688fbe1252a7d4848695163add09c7c53af6071649f2aeb
Deleted: sha256:bd416bed302bc2f061a2f6848a565483a5f265932d2d4fa287ef511b7d1151c8
Deleted: sha256:5308e2e4a70bd4344383b8de54f8a52b62c41afb5caa16310326debd1499b748
Deleted: sha256:dab02287e04c8b8207210b90b4056bd865fcfab91469f39a1654075f550c5592
Deleted: sha256:a1aa3da2a80a775df55e880b094a1a8de19b919435ad0c71c29a0983d64e65db
Si installa tramite
docker pull tensorflow/tensorflow
Using default tag: latest
latest: Pulling from tensorflow/tensorflow
5667fdb72017: Pull complete
d83811f270d5: Pull complete
ee671aafb583: Pull complete
7fc152dfb3a6: Pull complete
485ea80d093d: Pull complete
e4021511b813: Pull complete
f0f976467b2c: Pull complete
788284490e67: Pull complete
134a5eeb528f: Pull complete
a4d8f6645f3b: Pull complete
db9d0640a96e: Pull complete
Digest: sha256:6d1df66ddf8e5aca56cedd4f333df124132a684dec70f881da687ef2e29f8831
Status: Downloaded newer image for tensorflow/tensorflow:latest
docker.io/tensorflow/tensorflow:latest
root@debian:/home/luca# docker run -it --rm tensorflow/tensorflow bash
________ _______________
___ __/__________________________________ ____/__ /________ __
__ / _ _ \_ __ \_ ___/ __ \_ ___/_ /_ __ /_ __ \_ | /| / /
_ / / __/ / / /(__ )/ /_/ / / _ __/ _ / / /_/ /_ |/ |/ /
/_/ \___//_/ /_//____/ \____//_/ /_/ /_/ \____/____/|__/
WARNING: You are running this container as root, which can cause new files in
mounted volumes to be created as the root user on your host machine.
To avoid this, run the container by specifying your user's userid:
$ docker run -u $(id -u):$(id -g) args...
Per usare i propri file senza duplicarli su docker si puo' montare la propria home all'interno del docker (in questo caso la cartella in /home/luca/tensor/keras2/train_1500el_5classi viene montata su -tmp2 (attenzione a non usare /tmp perche' manda in crisi apt e non si puo' installare piu' niente)
docker run -it --rm -v $PWD/tensor/keras2/train_1500el_5classi:/tmp2 -w /tmp2 tensorflow/tensorflow
per installare i moduli dentro a docker si procede con pip come di norma
apt-get install python-tk
pip install Pillow
pip install SciPy
Se si vuole cancellare l'immagine si procede
root@debian:/home/luca# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
tensorflow/tensorflow latest d64a95598d6c 2 months ago 1.03GB
root@debian:/home/luca# docker rmi d64a95598d6c
Untagged: tensorflow/tensorflow:latest
Untagged: tensorflow/tensorflow@sha256:6d1df66ddf8e5aca56cedd4f333df124132a684dec70f881da687ef2e29f8831
Deleted: sha256:d64a95598d6cfe0a472112589a2ed67cca21cb5d396d05dc304de9566d67de0f
Deleted: sha256:63d2e2a77e38788dc432866f4feeca36fc9469c4cc131583805b4b7d03552903
Deleted: sha256:7967455aa075896a12daaa2bb4a48b99b63f14b03dd80c09d6fba83b46b6f07b
Deleted: sha256:45d06edb6ecd5222ff22418d8649b8d74dc5cf30991f83eff595b6cd215d77bb
Deleted: sha256:e015b1c8d255426cd9d36475727d257a080ea865e3e0519f12c364464f1e5ef3
Deleted: sha256:dbaaffa3e9690ebc6710bcd9b11a986ccfe35340edecc3e2da1ad06325e5b646
Deleted: sha256:2d6aa956b10ffb80ab7bd53d124d34bb6d5d7b798a3d00d530bcec9408aaa4ae
Deleted: sha256:aee95a60862058fa4688fbe1252a7d4848695163add09c7c53af6071649f2aeb
Deleted: sha256:bd416bed302bc2f061a2f6848a565483a5f265932d2d4fa287ef511b7d1151c8
Deleted: sha256:5308e2e4a70bd4344383b8de54f8a52b62c41afb5caa16310326debd1499b748
Deleted: sha256:dab02287e04c8b8207210b90b4056bd865fcfab91469f39a1654075f550c5592
Deleted: sha256:a1aa3da2a80a775df55e880b094a1a8de19b919435ad0c71c29a0983d64e65db
martedì 10 dicembre 2019
Pila portatile Asus
Mi e' stata regalata una batteria di un portatile Asus ormai esaurita
La forma mi ha incuriosito visto che sembrava sostanzialmente un cilindro.....vuoi mettere che hanno usato delle batterie standard tipo quelle delle sigarette elettroniche
Ed infatti....delle 1865
Su una delle batterie e' stata trovsta la sonda di una termocoppia
La forma mi ha incuriosito visto che sembrava sostanzialmente un cilindro.....vuoi mettere che hanno usato delle batterie standard tipo quelle delle sigarette elettroniche
Ed infatti....delle 1865
Su una delle batterie e' stata trovsta la sonda di una termocoppia
venerdì 6 dicembre 2019
Openvino e Neural Compute Stick 2
Per poter utilizzare Neural Compute Stick 2 di Intel si deve installare Openvino Toolkit
La procedura di installazione e' lineare su Ubuntu e non porta problemi
Ogni volta che si vorra' utilizzare l'SDK si deve ricordare di impostare le variabili di ambiente con
La procedura di installazione e' lineare su Ubuntu e non porta problemi
Ogni volta che si vorra' utilizzare l'SDK si deve ricordare di impostare le variabili di ambiente con
source /home/luca/openvino/bin/setupvars.sh
Per utilizzare il Neural Compute Stick e' necessario installare i driver con la procedura
sudo usermod -a -G users "$(whoami)"
sudo cp /home/luca/openvino/inference_engine/external/97-myriad-usbboot.rules /etc/udev/rules.d/
sudo udevadm control --reload-rules
sudo udevadm trigger
sudo ldconfig
Openvino funziona con processori Intel di sesta generazione o superiori, con Neural Compute Stick 2 ma ammette anche l'accelerazione grafica delle GPU Intel tramite OpenCL andando nella directory openvino/install_dependencies/ e digitando
./install_NEO_OCL_driver.sh
Per iniziare a provare Openvino si possono usare gli esempi (sia in C che in Python) riportati al seguente indirizzo.
Un'altra sorgente di informazioni si trovano a NCAPPZOO
Una volta effettuato il make il file eseguibile si trovera' nella cartella inference_engine_demos_build/intel64/Release (nello stesso momenti, oltre alla compilazione degli eseguibili, vengono scaricati da Internet anche i modelli della rete neurale)
Provando l'esempio Age e Gender di NCAPPZOO si deve andare nella directory ~/intel/ncappzoo/networks/age_gender_net, si installano le dipendenze delle librerie Python e si processa l'immagine di esempio (i parametri del programma hanno dei valori di default ma possono cambiati da linea di comando)
age_gender_net: Starting application...
- Plugin: Myriad
- IR File: ./age-gender-recognition-retail-0013.xml
- Input Shape: [1, 3, 62, 62]
- Age Output Shape: [1, 1, 1, 1]
- Gender Output Shape: [1, 2, 1, 1]
Gender prediction is 98.4% Male
Age prediction is 59 years old.
- Plugin: Myriad
- IR File: ./age-gender-recognition-retail-0013.xml
- Input Shape: [1, 3, 62, 62]
- Age Output Shape: [1, 1, 1, 1]
- Gender Output Shape: [1, 2, 1, 1]
Gender prediction is 98.4% Male
Age prediction is 59 years old.
in alcuni casi ho dovuto modificare a mano i file Python per problemi con la codifica UTF-8 aggiungendo la stringa # -*- coding: utf-8 -*-
sd
PS3 al cassonetto
Ho trovato questa PS3 che occhieggiava semi nascosta in un cassonetto...ho provato a vedere se era ancora funzionante. Conosco veramente poco l'hardware PS3 ma tentare costava poco
L'alimentatore della PS3 e' interno quindi e' stato sufficiente trovare un normale cavo di alimentazione
Ho scoperto che la PS3 ha un HD (era stato rimosso nel mio ritrovamente) e che e' necessario per l'avvio del sistema ma fortunatamente si tratta di un comune SATA e ne avevo alcuni parcheggiati per casa...con 6 euro mi sono comprato un adattore e lo ho inserito
Per caricare il firmware basta creare una chiavetta USB con le istruzioni direttamente da Sony
La procedura e' abbastanza lineare..il problema che al riavvio ho notato la scritta sullo schermo Demostration Mode...ho capito subito di avere un problema
Cercando su internet il demostration mode e' una sorta di modalita' ridotta in cui non si puo' configurare la rete e non si puo' nemmeno spengere la consolle (una sorta di modalita' da negozio)...fortunatamente non impedisce di giocare...quindi la consolle nel cassonetto e' stata gettata funzionante
L'alimentatore della PS3 e' interno quindi e' stato sufficiente trovare un normale cavo di alimentazione
Ho scoperto che la PS3 ha un HD (era stato rimosso nel mio ritrovamente) e che e' necessario per l'avvio del sistema ma fortunatamente si tratta di un comune SATA e ne avevo alcuni parcheggiati per casa...con 6 euro mi sono comprato un adattore e lo ho inserito
Per caricare il firmware basta creare una chiavetta USB con le istruzioni direttamente da Sony
La procedura e' abbastanza lineare..il problema che al riavvio ho notato la scritta sullo schermo Demostration Mode...ho capito subito di avere un problema
Cercando su internet il demostration mode e' una sorta di modalita' ridotta in cui non si puo' configurare la rete e non si puo' nemmeno spengere la consolle (una sorta di modalita' da negozio)...fortunatamente non impedisce di giocare...quindi la consolle nel cassonetto e' stata gettata funzionante
martedì 3 dicembre 2019
Installare sviluppo OpenCL su Ubuntu
questa procedura e' stata provata su un Lenovo T460 con una Intel HD 520
I pacchetti da installare sono i seguenti
Per compilare su Linux make base ha una forma del tipo
hello: hello.cpp
g++ -std=c++0x -o hello hello.cpp -lOpenCL
I pacchetti da installare sono i seguenti
$ sudo apt install ocl-icd-libopencl1 $ sudo apt install opencl-headers $ sudo apt install clinfo $ sudo apt install ocl-icd-opencl-dev $ sudo apt install beignet
Per verificare l'installazione si puo' usare
clinfo
--------------------------------------
Number of platforms 1
Platform Name Intel Gen OCL Driver
Platform Vendor Intel
Platform Version OpenCL 2.0 beignet 1.3
Platform Profile FULL_PROFILE
Platform Extensions cl_khr_global_int32_base_atomics cl_khr_global_int32_extended_atomics cl_khr_local_int32_base_atomics cl_khr_local_int32_extended_atomics cl_khr_byte_addressable_store cl_khr_3d_image_writes cl_khr_image2d_from_buffer cl_khr_depth_images cl_khr_spir cl_khr_icd cl_intel_accelerator cl_intel_subgroups cl_intel_subgroups_short cl_khr_gl_sharing
Platform Extensions function suffix Intel
Platform Name Intel Gen OCL Driver
Number of devices 1
Device Name Intel(R) HD Graphics Skylake ULT GT2
Device Vendor Intel
Device Vendor ID 0x8086
Device Version OpenCL 2.0 beignet 1.3
Driver Version 1.3
Device OpenCL C Version OpenCL C 2.0 beignet 1.3
Device Type GPU
Device Profile FULL_PROFILE
Device Available Yes
Compiler Available Yes
Linker Available Yes
Max compute units 24
Max clock frequency 1000MHz
Device Partition (core)
Max number of sub-devices 1
Supported partition types None, None, None
Max work item dimensions 3
Max work item sizes 512x512x512
Max work group size 512
Preferred work group size multiple 16
Preferred / native vector sizes
char 16 / 8
short 8 / 8
int 4 / 4
long 2 / 2
half 0 / 8 (cl_khr_fp16)
float 4 / 4
double 0 / 2 (n/a)
Half-precision Floating-point support (cl_khr_fp16)
Denormals No
Infinity and NANs Yes
Round to nearest Yes
Round to zero No
Round to infinity No
IEEE754-2008 fused multiply-add No
Support is emulated in software No
Single-precision Floating-point support (core)
Denormals No
Infinity and NANs Yes
Round to nearest Yes
Round to zero No
Round to infinity No
IEEE754-2008 fused multiply-add No
Support is emulated in software No
Correctly-rounded divide and sqrt operations No
Double-precision Floating-point support (n/a)
Address bits 32, Little-Endian
Global memory size 3869245440 (3.604GiB)
Error Correction support No
Max memory allocation 2901409792 (2.702GiB)
Unified memory for Host and Device Yes
Shared Virtual Memory (SVM) capabilities (core)
Coarse-grained buffer sharing Yes
Fine-grained buffer sharing No
Fine-grained system sharing No
Atomics No
Minimum alignment for any data type 128 bytes
Alignment of base address 1024 bits (128 bytes)
Preferred alignment for atomics
SVM 0 bytes
Global 0 bytes
Local 0 bytes
Max size for global variable 65536 (64KiB)
Preferred total size of global vars 65536 (64KiB)
Global Memory cache type Read/Write
Global Memory cache size 8192 (8KiB)
Global Memory cache line size 64 bytes
Image support Yes
Max number of samplers per kernel 16
Max size for 1D images from buffer 65536 pixels
Max 1D or 2D image array size 2048 images
Base address alignment for 2D image buffers 4096 bytes
Pitch alignment for 2D image buffers 1 pixels
Max 2D image size 8192x8192 pixels
Max 3D image size 8192x8192x2048 pixels
Max number of read image args 128
Max number of write image args 8
Max number of read/write image args 8
Max number of pipe args 16
Max active pipe reservations 1
Max pipe packet size 1024
Local memory type Local
Local memory size 65536 (64KiB)
Max number of constant args 8
Max constant buffer size 134217728 (128MiB)
Max size of kernel argument 1024
Queue properties (on host)
Out-of-order execution No
Profiling Yes
Queue properties (on device)
Out-of-order execution Yes
Profiling Yes
Preferred size 16384 (16KiB)
Max size 262144 (256KiB)
Max queues on device 1
Max events on device 1024
Prefer user sync for interop Yes
Profiling timer resolution 80ns
Execution capabilities
Run OpenCL kernels Yes
Run native kernels Yes
SPIR versions 1.2
printf() buffer size 1048576 (1024KiB)
Built-in kernels __cl_copy_region_align4;__cl_copy_region_align16;__cl_cpy_region_unalign_same_offset;__cl_copy_region_unalign_dst_offset;__cl_copy_region_unalign_src_offset;__cl_copy_buffer_rect;__cl_copy_image_1d_to_1d;__cl_copy_image_2d_to_2d;__cl_copy_image_3d_to_2d;__cl_copy_image_2d_to_3d;__cl_copy_image_3d_to_3d;__cl_copy_image_2d_to_buffer;__cl_copy_image_3d_to_buffer;__cl_copy_buffer_to_image_2d;__cl_copy_buffer_to_image_3d;__cl_fill_region_unalign;__cl_fill_region_align2;__cl_fill_region_align4;__cl_fill_region_align8_2;__cl_fill_region_align8_4;__cl_fill_region_align8_8;__cl_fill_region_align8_16;__cl_fill_region_align128;__cl_fill_image_1d;__cl_fill_image_1d_array;__cl_fill_image_2d;__cl_fill_image_2d_array;__cl_fill_image_3d;
Device Extensions cl_khr_global_int32_base_atomics cl_khr_global_int32_extended_atomics cl_khr_local_int32_base_atomics cl_khr_local_int32_extended_atomics cl_khr_byte_addressable_store cl_khr_3d_image_writes cl_khr_image2d_from_buffer cl_khr_depth_images cl_khr_spir cl_khr_icd cl_intel_accelerator cl_intel_subgroups cl_intel_subgroups_short cl_khr_gl_sharing cl_khr_fp16
NULL platform behavior
clGetPlatformInfo(NULL, CL_PLATFORM_NAME, ...) Intel Gen OCL Driver
clGetDeviceIDs(NULL, CL_DEVICE_TYPE_ALL, ...) Success [Intel]
clCreateContext(NULL, ...) [default] Success [Intel]
clCreateContextFromType(NULL, CL_DEVICE_TYPE_DEFAULT) Success (1)
Platform Name Intel Gen OCL Driver
Device Name Intel(R) HD Graphics Skylake ULT GT2
clCreateContextFromType(NULL, CL_DEVICE_TYPE_CPU) No devices found in platform
clCreateContextFromType(NULL, CL_DEVICE_TYPE_GPU) Success (1)
Platform Name Intel Gen OCL Driver
Device Name Intel(R) HD Graphics Skylake ULT GT2
clCreateContextFromType(NULL, CL_DEVICE_TYPE_ACCELERATOR) No devices found in platform
clCreateContextFromType(NULL, CL_DEVICE_TYPE_CUSTOM) No devices found in platform
clCreateContextFromType(NULL, CL_DEVICE_TYPE_ALL) Success (1)
Platform Name Intel Gen OCL Driver
Device Name Intel(R) HD Graphics Skylake ULT GT2
ICD loader properties
ICD loader Name OpenCL ICD Loader
ICD loader Vendor OCL Icd free software
ICD loader Version 2.2.11
ICD loader Profile OpenCL 2.1
-------------------------------------------
Ho scoperto che la Intel HD 520 non ha il supporto per la doppia precisione
Per compilare su Linux make base ha una forma del tipo
hello: hello.cpp
g++ -std=c++0x -o hello hello.cpp -lOpenCL
domenica 1 dicembre 2019
Xbox Tv Tuner su Linux
Mi hanno prestato l'Xbox One Tv Tuner per connetterlo alla Xbox One ma e' stata piu' forte la curiosita' di vedere come si comportava il dispositivo con Debian
Come indicato da questo link i moduli per far funzionare il sintonizzatore sono gia' presenti nei kernel piu' recenti. Si deve solo scaricare il firmware proprietario e copiarlo in /lib/firmware
La cosa interessanto e' che il sintonizzatore e' gia' compatibile con DB-TV2
Il dispositivo sara' indicato in /dev/dvb
Per vedere la televisione si ricercano prima i canali con
w_scan -X -P -t 2 -E 0 -c IT > dvb-channels.conf
e poi da VLC si apre il file dvb-channels.conf
Nella lista si trovano anche i canali in HD
Come indicato da questo link i moduli per far funzionare il sintonizzatore sono gia' presenti nei kernel piu' recenti. Si deve solo scaricare il firmware proprietario e copiarlo in /lib/firmware
La cosa interessanto e' che il sintonizzatore e' gia' compatibile con DB-TV2
Il dispositivo sara' indicato in /dev/dvb
Per vedere la televisione si ricercano prima i canali con
w_scan -X -P -t 2 -E 0 -c IT > dvb-channels.conf
e poi da VLC si apre il file dvb-channels.conf
Nella lista si trovano anche i canali in HD
mercoledì 27 novembre 2019
Convidere tastiera e mouse con Barrier
Ho provato ad usare Barrier, un software che permette di condividere tastiera e mouse tra piu' computer. Non si tratta di un clone di VNC perche' ogni computer deve avere il proprio monitor (non si puo' quindi fare amministrazione remota) e perche' le risorse non sono condivise (i programmi sono eseguiti sul calcolatore su cui vengono lanciati)
Si tratta quindi di un utilizzo un po' di nicchia ma che puo' essere comunque utile
Il programma esiste per Linux, Windows e Mac ed e' indifferente quale macchina fa da server (quella da cui vengono presi gli input di tastiera e mouse) e quali da client. L'unica cosa da impostare e' indicare l'IP della macchina server ed indicare l'hostname delle macchine client
Non sono riuscito a farlo funzionare su Gnome Shell di Debian in modalita' server ma la stessa macchina utilizzando I3 funziona bene
Si tratta quindi di un utilizzo un po' di nicchia ma che puo' essere comunque utile
Il programma esiste per Linux, Windows e Mac ed e' indifferente quale macchina fa da server (quella da cui vengono presi gli input di tastiera e mouse) e quali da client. L'unica cosa da impostare e' indicare l'IP della macchina server ed indicare l'hostname delle macchine client
Non sono riuscito a farlo funzionare su Gnome Shell di Debian in modalita' server ma la stessa macchina utilizzando I3 funziona bene
martedì 26 novembre 2019
Classificazione binaria foraminferi con Tensorflow
Per continuare gli esperimenti questa una classificazione binaria con Tensorflow.
Le due categorie sono riprese dal precedente post (1500 elementi)
train
======================================================
import os
a_dir = os.path.join('./train/globigerinoides_ruber')
b_dir = os.path.join('./train/globigerina_bulloides')
print('globigerinoides_ruber images:', len(os.listdir(a_dir)))
print('globigerina_bulloides images:', len(os.listdir(b_dir)))
import matplotlib.pyplot as plt
import matplotlib.image as mpimg
batch_size = 16
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Conv2D, Flatten, Dropout, MaxPooling2D
from tensorflow.keras.preprocessing.image import ImageDataGenerator
train_datagen = ImageDataGenerator(rescale=1/255)
train_generator = train_datagen.flow_from_directory(
'./train_binary',
target_size=(200, 200),
batch_size=batch_size,
shuffle=True,
class_mode='binary')
import tensorflow as tf
model = Sequential([
Conv2D(16, 3, padding='same', activation='relu', input_shape=(200, 200 ,3)),
MaxPooling2D(),
Conv2D(32, 3, padding='same', activation='relu'),
MaxPooling2D(),
Conv2D(64, 3, padding='same', activation='relu'),
MaxPooling2D(),
Flatten(),
Dense(512, activation='relu'),
Dense(1, activation='sigmoid')
])
model.compile(optimizer='adam',
loss='binary_crossentropy',
metrics=['accuracy'])
model.summary()
total_sample=train_generator.n
n_epochs = 15
history = model.fit_generator(
train_generator,
steps_per_epoch=int(total_sample/batch_size),
epochs=n_epochs,
verbose=1)
model.save('1500el_5classi_binary_model.h5')
======================================================
predict
======================================================
import tensorflow as tf
from tensorflow.keras import Model
from PIL import Image
import matplotlib.pyplot as plt
import matplotlib.image as mpimg
import sys
from numpy import asarray
import numpy as np
model = tf.compat.v2.keras.models.load_model('1500el_5classi_binary_model.h5')
image = Image.open(sys.argv[1])
image = image.resize((200,200))
pic = asarray(image)
pic = pic.astype('float32')
pic /= 255.0
pic=np.expand_dims(pic,axis=0)
prediction = model.predict(pic)
print(sys.argv[1])
float_formatter = "{:.2f}".format
np.set_printoptions(formatter={'float_kind':float_formatter})
print(prediction)
print()
======================================================
I risultati indicano 19 tentativi 13 corrette identificazioni (69%), 2 casi incerti (10.5%), 2 errori (10.5%)
Le due categorie sono riprese dal precedente post (1500 elementi)
 |
| Globigerinoides Ruber |
 |
| Globigerina Bulloides |
train
======================================================
import os
a_dir = os.path.join('./train/globigerinoides_ruber')
b_dir = os.path.join('./train/globigerina_bulloides')
print('globigerinoides_ruber images:', len(os.listdir(a_dir)))
print('globigerina_bulloides images:', len(os.listdir(b_dir)))
import matplotlib.pyplot as plt
import matplotlib.image as mpimg
batch_size = 16
from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Conv2D, Flatten, Dropout, MaxPooling2D
from tensorflow.keras.preprocessing.image import ImageDataGenerator
train_datagen = ImageDataGenerator(rescale=1/255)
train_generator = train_datagen.flow_from_directory(
'./train_binary',
target_size=(200, 200),
batch_size=batch_size,
shuffle=True,
class_mode='binary')
import tensorflow as tf
model = Sequential([
Conv2D(16, 3, padding='same', activation='relu', input_shape=(200, 200 ,3)),
MaxPooling2D(),
Conv2D(32, 3, padding='same', activation='relu'),
MaxPooling2D(),
Conv2D(64, 3, padding='same', activation='relu'),
MaxPooling2D(),
Flatten(),
Dense(512, activation='relu'),
Dense(1, activation='sigmoid')
])
model.compile(optimizer='adam',
loss='binary_crossentropy',
metrics=['accuracy'])
model.summary()
total_sample=train_generator.n
n_epochs = 15
history = model.fit_generator(
train_generator,
steps_per_epoch=int(total_sample/batch_size),
epochs=n_epochs,
verbose=1)
model.save('1500el_5classi_binary_model.h5')
predict
======================================================
import tensorflow as tf
from tensorflow.keras import Model
from PIL import Image
import matplotlib.pyplot as plt
import matplotlib.image as mpimg
import sys
from numpy import asarray
import numpy as np
model = tf.compat.v2.keras.models.load_model('1500el_5classi_binary_model.h5')
image = Image.open(sys.argv[1])
image = image.resize((200,200))
pic = asarray(image)
pic = pic.astype('float32')
pic /= 255.0
pic=np.expand_dims(pic,axis=0)
prediction = model.predict(pic)
print(sys.argv[1])
float_formatter = "{:.2f}".format
np.set_printoptions(formatter={'float_kind':float_formatter})
print(prediction)
print()
======================================================
I risultati indicano 19 tentativi 13 corrette identificazioni (69%), 2 casi incerti (10.5%), 2 errori (10.5%)
| Globigerinoides Ruber | Globigerina Bulloides | |||
| Predizione | ||||
| Immagini reali | ||||
| Globigerina Bulloides | 1 | 0% | 100% | |
| 2 | 100% | 0% | ||
| 3 | 0% | 100% | ||
| 4 | 0% | 100% | ||
| 5 | 0% | 100% | ||
| 6 | 58% | 42% | ||
| 7 | 47% | 53% | ||
| 8 | 0% | 100% | ||
| 9 | 0% | 100% | ||
| Globigerinoides Ruber | 1 | 100% | 0% | |
| 2 | 0% | 100% | ||
| 3 | 63% | 37% | ||
| 4 | 100% | 0% | ||
| 5 | 100% | 0% | ||
| 6 | 94% | 6% | ||
| 7 | 0% | 100% | ||
| 8 | 0% | 100% | ||
| 9 | 100% | 0% | ||
| 10 | 100% | 0% | ||
Iscriviti a:
Post (Atom)
Debugger integrato ESP32S3
Aggiornamento In realta' il Jtag USB funziona anche sui moduli cinesi Il problema risiede nell'ID USB della porta Jtag. Nel modulo...
-
In questo post viene indicato come creare uno scatterplot dinamico basato da dati ripresi da un file csv (nel dettaglio il file csv e' c... -
La scheda ESP32-2432S028R monta un Esp Dev Module con uno schermo TFT a driver ILI9341 di 320x240 pixels 16 bit colore.Il sito di riferiment... -
Questo post e' a seguito di quanto gia' visto nella precedente prova Lo scopo e' sempre il solito: creare un sistema che permet...