Tensorflow GPU in NVidia Jetson Nano

Uno degli aspetti che piu' mi intrigava nella Jetson Nano era quello di poter creare modelli di reti neurali e non sono di usarli come accede in Intel Neural e Google Cal
La cosa ancora piu' interessante e' quello di poter utilizzare l'accelerazione GPU data dai Cuda core...ma e' tutto oro quello che luccica??

Per partire si inizia dall'installazione di Tensorflow su Jetson Nano. Dato che non si tratta di un processore x86 si deve ricompilare tutto da sorgenti od utilizzare i repository di NVidia
https://docs.nvidia.com/deeplearning/frameworks/install-tf-jetson-platform/index.html

Questa parte e' molto lunga...in particolare durante l'installazione di h5py il computer sembra stallare per oltre 15 minuti...pazienza, pazienza e pazienza

sudo apt-get update

sudo apt-get install libhdf5-serial-dev hdf5-tools libhdf5-dev zlib1g-dev zip libjpeg8-dev

sudo apt-get install python3-pip

sudo pip3 install -U pip testresources setuptools

sudo pip3 install -U numpy==1.16.1 future==0.17.1 mock==3.0.5 h5py==2.9.0 keras_preprocessing==1.0.5 keras_applications==1.0.8 gast==0.2.2 enum34 futures protobuf

sudo pip3 install --pre --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v43 tensorflow-gpu

La cosa che mi pone qualche sospetto e' la stringa

tensorflow was not compiled for cuda support jetson nano

Tensorflow puo' essere utilizzato all'esterno di un VirtualEnv (anche se e' sempre possibile creare VirtualEnv specialmente nel caso di installazioni multiple di Tensorflow)

In generale se si devono installare delle librerie Python accessorie (tipo SciPy) conviene utilizzare apt al posto di pip 

Una volta lanciato Tensorflow si osserva il carico distribuito sui 4 core

tramite il comando tegrastats si puo' controllare l'hardware

------------------------------------------------------------------------------------

RAM 1264/3964MB (lfb 529x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [40%@518,14%@518,16%@518,18%@518] EMC_FREQ 2%@1600 GR3D_FREQ 0%@76 APE 25 PLL@19C CPU@21C PMIC@100C GPU@21C AO@25.5C thermal@21C POM_5V_IN 2301/2301 POM_5V_GPU 80/80 POM_5V_CPU 444/444

RAM 1264/3964MB (lfb 529x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [38%@204,10%@204,23%@204,9%@204] EMC_FREQ 3%@1600 GR3D_FREQ 5%@76 APE 25 PLL@19.5C CPU@21.5C PMIC@100C GPU@21C AO@25.5C thermal@21C POM_5V_IN 2143/2222 POM_5V_GPU 40/60 POM_5V_CPU 323/383

RAM 1264/3964MB (lfb 529x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [44%@307,7%@307,9%@307,1%@307] EMC_FREQ 3%@1600 GR3D_FREQ 0%@153 APE 25 PLL@19.5C CPU@21C PMIC@100C GPU@21C AO@25.5C thermal@21.25C POM_5V_IN 2103/2182 POM_5V_GPU 40/53 POM_5V_CPU 323/363

RAM 1264/3964MB (lfb 529x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [43%@403,7%@403,10%@403,4%@403] EMC_FREQ 2%@1600 GR3D_FREQ 0%@153 APE 25 PLL@19.5C CPU@20.5C PMIC@100C GPU@21C AO@25.5C thermal@20.5C POM_5V_IN 2224/2192 POM_5V_GPU 121/70 POM_5V_CPU 363/363

RAM 1284/3964MB (lfb 527x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [45%@1479,21%@1479,53%@1479,22%@1479] EMC_FREQ 2%@1600 GR3D_FREQ 0%@153 APE 25 PLL@19.5C CPU@21.5C PMIC@100C GPU@21C AO@25.5C thermal@21C POM_5V_IN 2853/2324 POM_5V_GPU 40/64 POM_5V_CPU 884/467

RAM 1306/3964MB (lfb 520x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [25%@1479,51%@1479,58%@1479,54%@1479] EMC_FREQ 3%@1600 GR3D_FREQ 0%@153 APE 25 PLL@20.5C CPU@22.5C PMIC@100C GPU@21C AO@26C thermal@21.5C POM_5V_IN 3787/2568 POM_5V_GPU 39/60 POM_5V_CPU 1870/701

------------------------------------------------------------------------------------

Da una prova a parita' di rete neurale Jetson Nano ha una velocita' comparabile con un I5 6 gen. quindi la presenza di una GPU non migliora in modo sensibile la velocita' di calcolo come nel caso di GPU legate a schede video (benchmark di riferimento)

Primi passi con NVidia Jetson Nano

L'impostazione di base e' stata ridotta al minimo. Il sistema e' basato sulla scheda Jetson Nano, una SD Card da 64 Gb, un dongle USB Wifi Edimax N150, una tastiera Logitech K400 Plus, un alimentatore esterno da 5V 4A

Per il case ho preso questo progetto  https://www.thingiverse.com/thing:3518410
E' piuttosto delicato su alcuni dettagli ma in generale va bene

Il primo problema riguarda l'alimentazione. Visto che non mi fidavo di una alimentazione via USB visti i  consumi della scheda ho utilizzato un alimentatore esterno. Il problema e' che per abilitare l'alimentazione esterna e' necessario chiudere con un Jumper J48...ed il jumper non e' incluso. Sono impazzito a trovare un jumper a giro per casa ed alla fine ho dovuto cannabalizzare un vecchio HD PATA (il jumper serviva a selezionare salve and master). La Jetson ha due modalita' di utilizzo 5W e 10 W (di default e' la seconda)

Da linea di comando si puo' modificare con (0=10W, 1=5W)

$ sudo nvpmodel -m 0 

$ sudo jetson_clocks

Nonostante sia sconsigliato di usare un convertitore da HDMI a DVI io ho lo ho utilizzato con successo per la connessione ad vecchio monitor

Invece mi ha fatto impazzire la Edimax che continuava a disconettersi dall'hotpost. La soluzione e' stata mettere in blacklist il modulo con

echo "blacklist rtl8192cu" | sudo tee -a /etc/modprobe.d/blacklist.conf

Si puo' avere una modalita' headless semplicemente collegando un cavo microUSB e puntando il browser del portatile su 192.168.55.1:8888 e password dlinano

In ogni caso il server SSH e' gia' installato e disponibile (ho collegato un cavo cross con un indirizzo fisso per la rete via cavo per estendere la modalita' headless)

Per provare CUDA Jetson ha gia' tutto installato. Si deve pero' settare la Path e copiare gli esempi nella propria home

export PATH=${PATH}:/usr/local/cuda/bin 
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/usr/local/cuda/lib64

Per gli esempi di CUDA

/usr/local/cuda-10.0/bin/cuda-install-samples-10.0.sh . (attenzione al punto finale)

ATTENZIONE : operazione lenta in compilazione

Jetson Nano 4 Giga di Ram e puo' essere poca per reti neurali impegnativi. Si puo' aumentare usando uno swap file

$ sudo fallocate -l 8G /mnt/4GB.swap 

$ sudo mkswap /mnt/4GB.swap 

$ sudo swapon /mnt/4GB.swap

e modificando il file /etc/fstab aggiungendo

/mnt/4GB.swap none swap sw 0 0

Ultima cosa: di default l'uscita audio e' impostata su Analogico e non su HDMI.

link utile

https://github.com/jkjung-avt/jetson_nano.git

GCP Developer Enablement Program

Forse sono uno dei pochissimi geologi che ha un attestato di Google Cloud Platform

Il primo Linux...1996

Il primo Linux che ho usato ... comprato il cofanetto da 4 CD da DMail...ed installato a floppy (non avendo il lettore CDRom avevo convertito il tutto in floppy) su un 386 20 MHz ....e dopo un po' collegato in rete via cavo RG58 ad un 486 DX2 66

Cuda Toolkit 8.0 su Ubuntu 18.04 LTS

Ho portatile T430 con scheda NVS 5400 M, una scheda con CUDA Capability 2.1 e Codename Fermi. Il supporto per queste schede e' terminato con Cuda Toolkit 8.0 e quindi non e' banale installare l'ambiente di sviluppo







Per prima cosa ovviamente si devono avere installati i driver proprietari di NVidia da Software&Updates

A questo punto si deve scaricare Cuda ToolKit 8, l'ultimo compatibile con Fermi ma si deve effettuare anche un downgrade di gcc (Cuda Toolkit 8 era compatibile con Ubuntu 16.04(

sudo apt-get install gcc-5 g++-5
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-5 70
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-5 70






sh ./cuda_8.0.61_375.26_linux.run --tar mxvf
sudo apt install libmodule-install-perl
sudo cp InstallUtils.pm /usr/lib/x86_64-linux-gnu/perl-base/
export $PERL5LIB
sh ./cuda_8.0.61_375.26_linux.run --override

sudo rm /usr/lib/x86_64-linux-gnu/perl-base/InstallUtils.pm

Durante l'installazione non si deve installare il driver e si deve accettare l'installazione su piattaforma non supportata

E' conveniente installare anche gli esempi.

Monitor Commodore 1702

Non so se sia funzionante (non ho ancora avuto modo di provarlo) ma trovare un monitor Commodore 1702 al cassonetto e' diciamo un caso piu' unico che raro

Tensorflow on Docker

Oltre ad usare Tensorflow in un virtualenv si puo' impiegare anche un Docker (per una configurazione in modalita' GPU e' anche piu' semplice ) che deriva da una immagine Ubuntu
Si installa tramite

docker pull tensorflow/tensorflow 

Using default tag: latest
latest: Pulling from tensorflow/tensorflow
5667fdb72017: Pull complete
d83811f270d5: Pull complete
ee671aafb583: Pull complete
7fc152dfb3a6: Pull complete
485ea80d093d: Pull complete
e4021511b813: Pull complete
f0f976467b2c: Pull complete
788284490e67: Pull complete
134a5eeb528f: Pull complete
a4d8f6645f3b: Pull complete
db9d0640a96e: Pull complete
Digest: sha256:6d1df66ddf8e5aca56cedd4f333df124132a684dec70f881da687ef2e29f8831
Status: Downloaded newer image for tensorflow/tensorflow:latest
docker.io/tensorflow/tensorflow:latest

Si puo' testare aprendo una shell
root@debian:/home/luca# docker run -it --rm tensorflow/tensorflow bash

________                               _______________               
___  __/__________________________________  ____/__  /________      __
__  /  _  _ \_  __ \_  ___/  __ \_  ___/_  /_   __  /_  __ \_ | /| / /
_  /   /  __/  / / /(__  )/ /_/ /  /   _  __/   _  / / /_/ /_ |/ |/ /
/_/    \___//_/ /_//____/ \____//_/    /_/      /_/  \____/____/|__/


WARNING: You are running this container as root, which can cause new files in
mounted volumes to be created as the root user on your host machine.

To avoid this, run the container by specifying your user's userid:

$ docker run -u $(id -u):$(id -g) args...


Per usare i propri file senza duplicarli su docker si puo' montare la propria home all'interno del docker (in questo caso la cartella in /home/luca/tensor/keras2/train_1500el_5classi viene montata su -tmp2 (attenzione a non usare /tmp perche' manda in crisi apt e non si puo' installare piu' niente)


docker run -it --rm -v $PWD/tensor/keras2/train_1500el_5classi:/tmp2 -w /tmp2 tensorflow/tensorflow


per installare i moduli dentro a docker si procede con pip come di norma

apt-get install python-tk
pip install Pillow
pip install SciPy

Se si vuole cancellare l'immagine si procede

root@debian:/home/luca# docker images

REPOSITORY                 TAG                 IMAGE ID            CREATED             SIZE
tensorflow/tensorflow      latest              d64a95598d6c        2 months ago        1.03GB

root@debian:/home/luca# docker rmi d64a95598d6c

Untagged: tensorflow/tensorflow:latest
Untagged: tensorflow/tensorflow@sha256:6d1df66ddf8e5aca56cedd4f333df124132a684dec70f881da687ef2e29f8831
Deleted: sha256:d64a95598d6cfe0a472112589a2ed67cca21cb5d396d05dc304de9566d67de0f
Deleted: sha256:63d2e2a77e38788dc432866f4feeca36fc9469c4cc131583805b4b7d03552903
Deleted: sha256:7967455aa075896a12daaa2bb4a48b99b63f14b03dd80c09d6fba83b46b6f07b
Deleted: sha256:45d06edb6ecd5222ff22418d8649b8d74dc5cf30991f83eff595b6cd215d77bb
Deleted: sha256:e015b1c8d255426cd9d36475727d257a080ea865e3e0519f12c364464f1e5ef3
Deleted: sha256:dbaaffa3e9690ebc6710bcd9b11a986ccfe35340edecc3e2da1ad06325e5b646
Deleted: sha256:2d6aa956b10ffb80ab7bd53d124d34bb6d5d7b798a3d00d530bcec9408aaa4ae
Deleted: sha256:aee95a60862058fa4688fbe1252a7d4848695163add09c7c53af6071649f2aeb
Deleted: sha256:bd416bed302bc2f061a2f6848a565483a5f265932d2d4fa287ef511b7d1151c8
Deleted: sha256:5308e2e4a70bd4344383b8de54f8a52b62c41afb5caa16310326debd1499b748
Deleted: sha256:dab02287e04c8b8207210b90b4056bd865fcfab91469f39a1654075f550c5592
Deleted: sha256:a1aa3da2a80a775df55e880b094a1a8de19b919435ad0c71c29a0983d64e65db