lunedì 30 dicembre 2019

Retrain Model con dati di foraminiferi

Aggiornamento
Ho provato a fare girare il modello con dataset di train di 1000 e 1500 immagini

Dataset 1000 immagini per classe
57% di attribuzioni corrette


Dataset 1500 immagini per classe
56% di attribuzioni corrette



=======================================================================

Al posto di creare da zero un modello in Tensorflow per addestrare il riconoscimento di foraminiferi ho provato ad aggiungere le mie classi ad una rete gia' addestrata

Per fare cio' si deve aggiungere il supporto a Tensorflow HUB con

pip install "tensorflow~=2.0" 
pip install "tensorflow-hub[make_image_classifier]~=0.6"
Si lancia quindi il comando

make_image_classifier \
  --image_dir train \
  --tfhub_module https://tfhub.dev/google/tf2-preview/mobilenet_v2/feature_vector/4 \
  --saved_model_dir fora \
  --labels_output_file class_labels.txt \
  --tflite_output_file fora_mobile_model.tflite

Le immagini devono essere conformi al formato di mobilenet quindi devono avere una dimensione di 224x224 pixels

di default vengono selezionate 5 epoche ma si puo' cambiare il valore con lo switch --train_epochs

Ho iniziato con il dataset completo di 1500 immagini per 5 classi ma in modo non prevedibile il processo veniva killato senza preavviso. Si tratta di un problema di memoria cosi' sono sceso a 500 elementi per classe con una ram di 8Gb

Per effettuare l'inferenza (ovvero la previsione del modello su una immagine non contenuta nel training si usa lo script label_image.py

 https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/examples/python/label_image.py

python label_image.py -m fora_mobile_model.tflite -l class_labels.txt  -i test/a_globigerina_bulloides.1102.jpg 


I risultati sono leggermente peggiori del precedente post  : 22 corretti e 25 errati (46% corretti 54% errati) ma si nota in maniera netta come il riconoscimento di Globigerinita Glutinata sia totalmente sballato

Corso How Google does Machine Learning

Visto che il precedente corso dava dei crediti su Coursera ho provato il corso offerto da Google




Non avevo mai provato Coursera, anche perche' i corsi interessanti sono costosi. Il livello delle lezioni non e' altissimo ed i test sono piuttosto banali rispetto al corso tenuto direttamente da Google ma c'e' stata la possibilita' di avere sessioni gratuite di utilizzo di Google Cloud...non male

venerdì 27 dicembre 2019

Tensorflow GPU in NVidia Jetson Nano

Uno degli aspetti che piu' mi intrigava nella Jetson Nano era quello di poter creare modelli di reti neurali e non sono di usarli come accede in Intel Neural e Google Cal
La cosa ancora piu' interessante e' quello di poter utilizzare l'accelerazione GPU data dai Cuda core...ma e' tutto oro quello che luccica??




Per partire si inizia dall'installazione di Tensorflow su Jetson Nano. Dato che non si tratta di un processore x86 si deve ricompilare tutto da sorgenti od utilizzare i repository di NVidia
https://docs.nvidia.com/deeplearning/frameworks/install-tf-jetson-platform/index.html

Questa parte e' molto lunga...in particolare durante l'installazione di h5py il computer sembra stallare per oltre 15 minuti...pazienza, pazienza e pazienza

sudo apt-get update
sudo apt-get install libhdf5-serial-dev hdf5-tools libhdf5-dev zlib1g-dev zip libjpeg8-dev

sudo apt-get install python3-pip
sudo pip3 install -U pip testresources setuptools

sudo pip3 install -U numpy==1.16.1 future==0.17.1 mock==3.0.5 h5py==2.9.0 keras_preprocessing==1.0.5 keras_applications==1.0.8 gast==0.2.2 enum34 futures protobuf

sudo pip3 install --pre --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v43 tensorflow-gpu

La cosa che mi pone qualche sospetto e' la stringa
tensorflow was not compiled for cuda support jetson nano



Tensorflow puo' essere utilizzato all'esterno di un VirtualEnv (anche se e' sempre possibile creare VirtualEnv specialmente nel caso di installazioni multiple di Tensorflow)

In generale se si devono installare delle librerie Python accessorie (tipo SciPy) conviene utilizzare apt al posto di pip 

Una volta lanciato Tensorflow si osserva il carico distribuito sui 4 core


tramite il comando tegrastats si puo' controllare l'hardware

------------------------------------------------------------------------------------
RAM 1264/3964MB (lfb 529x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [40%@518,14%@518,16%@518,18%@518] EMC_FREQ 2%@1600 GR3D_FREQ 0%@76 APE 25 PLL@19C CPU@21C PMIC@100C GPU@21C AO@25.5C thermal@21C POM_5V_IN 2301/2301 POM_5V_GPU 80/80 POM_5V_CPU 444/444
RAM 1264/3964MB (lfb 529x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [38%@204,10%@204,23%@204,9%@204] EMC_FREQ 3%@1600 GR3D_FREQ 5%@76 APE 25 PLL@19.5C CPU@21.5C PMIC@100C GPU@21C AO@25.5C thermal@21C POM_5V_IN 2143/2222 POM_5V_GPU 40/60 POM_5V_CPU 323/383
RAM 1264/3964MB (lfb 529x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [44%@307,7%@307,9%@307,1%@307] EMC_FREQ 3%@1600 GR3D_FREQ 0%@153 APE 25 PLL@19.5C CPU@21C PMIC@100C GPU@21C AO@25.5C thermal@21.25C POM_5V_IN 2103/2182 POM_5V_GPU 40/53 POM_5V_CPU 323/363
RAM 1264/3964MB (lfb 529x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [43%@403,7%@403,10%@403,4%@403] EMC_FREQ 2%@1600 GR3D_FREQ 0%@153 APE 25 PLL@19.5C CPU@20.5C PMIC@100C GPU@21C AO@25.5C thermal@20.5C POM_5V_IN 2224/2192 POM_5V_GPU 121/70 POM_5V_CPU 363/363
RAM 1284/3964MB (lfb 527x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [45%@1479,21%@1479,53%@1479,22%@1479] EMC_FREQ 2%@1600 GR3D_FREQ 0%@153 APE 25 PLL@19.5C CPU@21.5C PMIC@100C GPU@21C AO@25.5C thermal@21C POM_5V_IN 2853/2324 POM_5V_GPU 40/64 POM_5V_CPU 884/467
RAM 1306/3964MB (lfb 520x4MB) SWAP 0/10174MB (cached 0MB) IRAM 0/252kB(lfb 252kB) CPU [25%@1479,51%@1479,58%@1479,54%@1479] EMC_FREQ 3%@1600 GR3D_FREQ 0%@153 APE 25 PLL@20.5C CPU@22.5C PMIC@100C GPU@21C AO@26C thermal@21.5C POM_5V_IN 3787/2568 POM_5V_GPU 39/60 POM_5V_CPU 1870/701
------------------------------------------------------------------------------------

Da una prova a parita' di rete neurale Jetson Nano ha una velocita' comparabile con un I5 6 gen. quindi la presenza di una GPU non migliora in modo sensibile la velocita' di calcolo come nel caso di GPU legate a schede video (benchmark di riferimento)

martedì 24 dicembre 2019

Primi passi con NVidia Jetson Nano

L'impostazione di base e' stata ridotta al minimo. Il sistema e' basato sulla scheda Jetson Nano, una SD Card da 64 Gb, un dongle USB Wifi Edimax N150, una tastiera Logitech K400 Plus, un alimentatore esterno da 5V 4A



Per il case ho preso questo progetto  https://www.thingiverse.com/thing:3518410
E' piuttosto delicato su alcuni dettagli ma in generale va bene

Il primo problema riguarda l'alimentazione. Visto che non mi fidavo di una alimentazione via USB visti i  consumi della scheda ho utilizzato un alimentatore esterno. Il problema e' che per abilitare l'alimentazione esterna e' necessario chiudere con un Jumper J48...ed il jumper non e' incluso. Sono impazzito a trovare un jumper a giro per casa ed alla fine ho dovuto cannabalizzare un vecchio HD PATA (il jumper serviva a selezionare salve and master). La Jetson ha due modalita' di utilizzo 5W e 10 W (di default e' la seconda)

Da linea di comando si puo' modificare con (0=10W, 1=5W)

$ sudo nvpmodel -m 0 
$ sudo jetson_clocks



Nonostante sia sconsigliato di usare un convertitore da HDMI a DVI io ho lo ho utilizzato con successo per la connessione ad vecchio monitor

Invece mi ha fatto impazzire la Edimax che continuava a disconettersi dall'hotpost. La soluzione e' stata mettere in blacklist il modulo con

echo "blacklist rtl8192cu" | sudo tee -a /etc/modprobe.d/blacklist.conf




Si puo' avere una modalita' headless semplicemente collegando un cavo microUSB e puntando il browser del portatile su 192.168.55.1:8888 e password dlinano

In ogni caso il server SSH e' gia' installato e disponibile (ho collegato un cavo cross con un indirizzo fisso per la rete via cavo per estendere la modalita' headless)

Per provare CUDA Jetson ha gia' tutto installato. Si deve pero' settare la Path e copiare gli esempi nella propria home

export PATH=${PATH}:/usr/local/cuda/bin 
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:/usr/local/cuda/lib64

Per gli esempi di CUDA

/usr/local/cuda-10.0/bin/cuda-install-samples-10.0.sh . (attenzione al punto finale)

ATTENZIONE : operazione lenta in compilazione

Jetson Nano 4 Giga di Ram e puo' essere poca per reti neurali impegnativi. Si puo' aumentare usando uno swap file

$ sudo fallocate -l 8G /mnt/4GB.swap 
$ sudo mkswap /mnt/4GB.swap 
$ sudo swapon /mnt/4GB.swap

e modificando il file /etc/fstab aggiungendo

/mnt/4GB.swap none swap sw 0 0

Ultima cosa: di default l'uscita audio e' impostata su Analogico e non su HDMI.

link utile
https://github.com/jkjung-avt/jetson_nano.git

giovedì 19 dicembre 2019

martedì 17 dicembre 2019

Il primo Linux...1996

Il primo Linux che ho usato ... comprato il cofanetto da 4 CD da DMail...ed installato a floppy (non avendo il lettore CDRom avevo convertito il tutto in floppy) su un 386 20 MHz ....e dopo un po' collegato in rete via cavo RG58 ad un 486 DX2 66





















lunedì 16 dicembre 2019

Cuda Toolkit 8.0 su Ubuntu 18.04 LTS

Ho portatile T430 con scheda NVS 5400 M, una scheda con CUDA Capability 2.1 e Codename Fermi. Il supporto per queste schede e' terminato con Cuda Toolkit 8.0 e quindi non e' banale installare l'ambiente di sviluppo







Per prima cosa ovviamente si devono avere installati i driver proprietari di NVidia da Software&Updates



A questo punto si deve scaricare Cuda ToolKit 8, l'ultimo compatibile con Fermi ma si deve effettuare anche un downgrade di gcc (Cuda Toolkit 8 era compatibile con Ubuntu 16.04(

sudo apt-get install gcc-5 g++-5
sudo update-alternatives --install /usr/bin/gcc gcc /usr/bin/gcc-5 70
sudo update-alternatives --install /usr/bin/g++ g++ /usr/bin/g++-5 70







sh ./cuda_8.0.61_375.26_linux.run --tar mxvf
sudo apt install libmodule-install-perl
sudo cp InstallUtils.pm /usr/lib/x86_64-linux-gnu/perl-base/
export $PERL5LIB
sh ./cuda_8.0.61_375.26_linux.run --override


sudo rm /usr/lib/x86_64-linux-gnu/perl-base/InstallUtils.pm

Durante l'installazione non si deve installare il driver e si deve accettare l'installazione su piattaforma non supportata


E' conveniente installare anche gli esempi.


domenica 15 dicembre 2019

Monitor Commodore 1702

Non so se sia funzionante (non ho ancora avuto modo di provarlo) ma trovare un monitor Commodore 1702 al cassonetto e' diciamo un caso piu' unico che raro





venerdì 13 dicembre 2019

Tensorflow on Docker

Oltre ad usare Tensorflow in un virtualenv si puo' impiegare anche un Docker (per una configurazione in modalita' GPU e' anche piu' semplice ) che deriva da una immagine Ubuntu
Si installa tramite

docker pull tensorflow/tensorflow 

Using default tag: latest
latest: Pulling from tensorflow/tensorflow
5667fdb72017: Pull complete
d83811f270d5: Pull complete
ee671aafb583: Pull complete
7fc152dfb3a6: Pull complete
485ea80d093d: Pull complete
e4021511b813: Pull complete
f0f976467b2c: Pull complete
788284490e67: Pull complete
134a5eeb528f: Pull complete
a4d8f6645f3b: Pull complete
db9d0640a96e: Pull complete
Digest: sha256:6d1df66ddf8e5aca56cedd4f333df124132a684dec70f881da687ef2e29f8831
Status: Downloaded newer image for tensorflow/tensorflow:latest
docker.io/tensorflow/tensorflow:latest

Si puo' testare aprendo una shell
root@debian:/home/luca# docker run -it --rm tensorflow/tensorflow bash

________                               _______________               
___  __/__________________________________  ____/__  /________      __
__  /  _  _ \_  __ \_  ___/  __ \_  ___/_  /_   __  /_  __ \_ | /| / /
_  /   /  __/  / / /(__  )/ /_/ /  /   _  __/   _  / / /_/ /_ |/ |/ /
/_/    \___//_/ /_//____/ \____//_/    /_/      /_/  \____/____/|__/


WARNING: You are running this container as root, which can cause new files in
mounted volumes to be created as the root user on your host machine.

To avoid this, run the container by specifying your user's userid:

$ docker run -u $(id -u):$(id -g) args...


Per usare i propri file senza duplicarli su docker si puo' montare la propria home all'interno del docker (in questo caso la cartella in /home/luca/tensor/keras2/train_1500el_5classi viene montata su -tmp2 (attenzione a non usare /tmp perche' manda in crisi apt e non si puo' installare piu' niente)


docker run -it --rm -v $PWD/tensor/keras2/train_1500el_5classi:/tmp2 -w /tmp2 tensorflow/tensorflow


per installare i moduli dentro a docker si procede con pip come di norma

apt-get install python-tk
pip install Pillow
pip install SciPy

Se si vuole cancellare l'immagine si procede

root@debian:/home/luca# docker images

REPOSITORY                 TAG                 IMAGE ID            CREATED             SIZE
tensorflow/tensorflow      latest              d64a95598d6c        2 months ago        1.03GB

root@debian:/home/luca# docker rmi d64a95598d6c

Untagged: tensorflow/tensorflow:latest
Untagged: tensorflow/tensorflow@sha256:6d1df66ddf8e5aca56cedd4f333df124132a684dec70f881da687ef2e29f8831
Deleted: sha256:d64a95598d6cfe0a472112589a2ed67cca21cb5d396d05dc304de9566d67de0f
Deleted: sha256:63d2e2a77e38788dc432866f4feeca36fc9469c4cc131583805b4b7d03552903
Deleted: sha256:7967455aa075896a12daaa2bb4a48b99b63f14b03dd80c09d6fba83b46b6f07b
Deleted: sha256:45d06edb6ecd5222ff22418d8649b8d74dc5cf30991f83eff595b6cd215d77bb
Deleted: sha256:e015b1c8d255426cd9d36475727d257a080ea865e3e0519f12c364464f1e5ef3
Deleted: sha256:dbaaffa3e9690ebc6710bcd9b11a986ccfe35340edecc3e2da1ad06325e5b646
Deleted: sha256:2d6aa956b10ffb80ab7bd53d124d34bb6d5d7b798a3d00d530bcec9408aaa4ae
Deleted: sha256:aee95a60862058fa4688fbe1252a7d4848695163add09c7c53af6071649f2aeb
Deleted: sha256:bd416bed302bc2f061a2f6848a565483a5f265932d2d4fa287ef511b7d1151c8
Deleted: sha256:5308e2e4a70bd4344383b8de54f8a52b62c41afb5caa16310326debd1499b748
Deleted: sha256:dab02287e04c8b8207210b90b4056bd865fcfab91469f39a1654075f550c5592
Deleted: sha256:a1aa3da2a80a775df55e880b094a1a8de19b919435ad0c71c29a0983d64e65db

martedì 10 dicembre 2019

Pila portatile Asus

Mi e' stata regalata una batteria di un portatile Asus ormai esaurita


La forma mi ha incuriosito visto che sembrava sostanzialmente un cilindro.....vuoi mettere che hanno usato delle batterie standard tipo quelle delle sigarette elettroniche



Ed infatti....delle 1865




Su una delle batterie e' stata trovsta la sonda di una termocoppia



venerdì 6 dicembre 2019

Openvino e Neural Compute Stick 2

Per poter utilizzare Neural Compute Stick 2 di Intel si deve installare Openvino Toolkit
La procedura di installazione e' lineare su Ubuntu e non porta problemi



Ogni volta che si vorra' utilizzare l'SDK si deve ricordare di impostare le variabili di ambiente con

source /home/luca/openvino/bin/setupvars.sh
 
Per utilizzare il Neural Compute Stick e' necessario installare i driver con la procedura


sudo usermod -a -G users "$(whoami)"
 
sudo cp /home/luca/openvino/inference_engine/external/97-myriad-usbboot.rules /etc/udev/rules.d/
 
sudo udevadm control --reload-rules
 
sudo udevadm trigger
 
sudo ldconfig
 
 
Openvino funziona con processori Intel di sesta generazione o superiori, con Neural Compute Stick 2 ma ammette anche l'accelerazione grafica delle GPU Intel tramite OpenCL andando nella directory openvino/install_dependencies/ e digitando

./install_NEO_OCL_driver.sh

Per iniziare a provare Openvino si possono usare gli esempi (sia in C che in Python) riportati al seguente indirizzo. 
Un'altra sorgente di informazioni si trovano a NCAPPZOO
Una volta effettuato il make il file eseguibile si trovera' nella cartella inference_engine_demos_build/intel64/Release (nello stesso momenti, oltre alla compilazione degli eseguibili, vengono scaricati da Internet anche i modelli della rete neurale)

Provando l'esempio Age e Gender di NCAPPZOO si deve andare nella directory ~/intel/ncappzoo/networks/age_gender_net, si installano le dipendenze delle librerie Python e si processa l'immagine di esempio (i parametri del programma hanno dei valori di default ma possono cambiati da linea di comando)



age_gender_net: Starting application...
   - Plugin:       Myriad
   - IR File:      ./age-gender-recognition-retail-0013.xml
   - Input Shape:  [1, 3, 62, 62]
   - Age Output Shape: [1, 1, 1, 1]
   - Gender Output Shape: [1, 2, 1, 1]

 Gender prediction is 98.4% Male
 Age prediction is 59 years old.
in alcuni casi ho dovuto modificare a mano i file Python per problemi con la codifica UTF-8 aggiungendo la stringa # -*- coding: utf-8 -*-

sd


PS3 al cassonetto

Ho trovato questa PS3 che occhieggiava semi nascosta in un cassonetto...ho provato a vedere se era ancora funzionante. Conosco veramente poco l'hardware PS3 ma tentare costava poco
L'alimentatore della PS3 e' interno quindi e' stato sufficiente trovare un normale cavo di alimentazione



Ho scoperto che la PS3 ha un HD (era stato rimosso nel mio ritrovamente) e che e' necessario per l'avvio del sistema ma  fortunatamente si tratta di un comune SATA e ne avevo alcuni parcheggiati per casa...con 6 euro mi sono comprato un adattore e lo ho inserito

Per caricare il firmware basta creare una chiavetta USB con le istruzioni direttamente da Sony
La procedura e'  abbastanza lineare..il problema che al riavvio ho notato la scritta sullo schermo Demostration Mode...ho capito subito di avere un problema


Cercando su internet il demostration mode e' una sorta di modalita' ridotta in cui non si puo' configurare la rete e non si puo' nemmeno spengere la consolle (una sorta di modalita' da negozio)...fortunatamente non impedisce di giocare...quindi la consolle nel cassonetto e' stata gettata funzionante

martedì 3 dicembre 2019

Installare sviluppo OpenCL su Ubuntu

questa procedura e' stata provata su un Lenovo T460 con una Intel HD 520

I pacchetti da installare sono i seguenti

$ sudo apt install ocl-icd-libopencl1
$ sudo apt install opencl-headers
$ sudo apt install clinfo
$ sudo apt install ocl-icd-opencl-dev
$ sudo apt install beignet
 
Per verificare l'installazione si puo' usare 
 
clinfo
 
 --------------------------------------
Number of platforms                               1
  Platform Name                                   Intel Gen OCL Driver
  Platform Vendor                                 Intel
  Platform Version                                OpenCL 2.0 beignet 1.3
  Platform Profile                                FULL_PROFILE
  Platform Extensions                             cl_khr_global_int32_base_atomics cl_khr_global_int32_extended_atomics cl_khr_local_int32_base_atomics cl_khr_local_int32_extended_atomics cl_khr_byte_addressable_store cl_khr_3d_image_writes cl_khr_image2d_from_buffer cl_khr_depth_images cl_khr_spir cl_khr_icd cl_intel_accelerator cl_intel_subgroups cl_intel_subgroups_short cl_khr_gl_sharing
  Platform Extensions function suffix             Intel

  Platform Name                                   Intel Gen OCL Driver
Number of devices                                 1
  Device Name                                     Intel(R) HD Graphics Skylake ULT GT2
  Device Vendor                                   Intel
  Device Vendor ID                                0x8086
  Device Version                                  OpenCL 2.0 beignet 1.3
  Driver Version                                  1.3
  Device OpenCL C Version                         OpenCL C 2.0 beignet 1.3
  Device Type                                     GPU
  Device Profile                                  FULL_PROFILE
  Device Available                                Yes
  Compiler Available                              Yes
  Linker Available                                Yes
  Max compute units                               24
  Max clock frequency                             1000MHz
  Device Partition                                (core)
    Max number of sub-devices                     1
    Supported partition types                     None, None, None
  Max work item dimensions                        3
  Max work item sizes                             512x512x512
  Max work group size                             512
  Preferred work group size multiple              16
  Preferred / native vector sizes                 
    char                                                16 / 8       
    short                                                8 / 8       
    int                                                  4 / 4       
    long                                                 2 / 2       
    half                                                 0 / 8        (cl_khr_fp16)
    float                                                4 / 4       
    double                                               0 / 2        (n/a)
  Half-precision Floating-point support           (cl_khr_fp16)
    Denormals                                     No
    Infinity and NANs                             Yes
    Round to nearest                              Yes
    Round to zero                                 No
    Round to infinity                             No
    IEEE754-2008 fused multiply-add               No
    Support is emulated in software               No
  Single-precision Floating-point support         (core)
    Denormals                                     No
    Infinity and NANs                             Yes
    Round to nearest                              Yes
    Round to zero                                 No
    Round to infinity                             No
    IEEE754-2008 fused multiply-add               No
    Support is emulated in software               No
    Correctly-rounded divide and sqrt operations  No
  Double-precision Floating-point support         (n/a)
  Address bits                                    32, Little-Endian
  Global memory size                              3869245440 (3.604GiB)
  Error Correction support                        No
  Max memory allocation                           2901409792 (2.702GiB)
  Unified memory for Host and Device              Yes
  Shared Virtual Memory (SVM) capabilities        (core)
    Coarse-grained buffer sharing                 Yes
    Fine-grained buffer sharing                   No
    Fine-grained system sharing                   No
    Atomics                                       No
  Minimum alignment for any data type             128 bytes
  Alignment of base address                       1024 bits (128 bytes)
  Preferred alignment for atomics                 
    SVM                                           0 bytes
    Global                                        0 bytes
    Local                                         0 bytes
  Max size for global variable                    65536 (64KiB)
  Preferred total size of global vars             65536 (64KiB)
  Global Memory cache type                        Read/Write
  Global Memory cache size                        8192 (8KiB)
  Global Memory cache line size                   64 bytes
  Image support                                   Yes
    Max number of samplers per kernel             16
    Max size for 1D images from buffer            65536 pixels
    Max 1D or 2D image array size                 2048 images
    Base address alignment for 2D image buffers   4096 bytes
    Pitch alignment for 2D image buffers          1 pixels
    Max 2D image size                             8192x8192 pixels
    Max 3D image size                             8192x8192x2048 pixels
    Max number of read image args                 128
    Max number of write image args                8
    Max number of read/write image args           8
  Max number of pipe args                         16
  Max active pipe reservations                    1
  Max pipe packet size                            1024
  Local memory type                               Local
  Local memory size                               65536 (64KiB)
  Max number of constant args                     8
  Max constant buffer size                        134217728 (128MiB)
  Max size of kernel argument                     1024
  Queue properties (on host)                      
    Out-of-order execution                        No
    Profiling                                     Yes
  Queue properties (on device)                    
    Out-of-order execution                        Yes
    Profiling                                     Yes
    Preferred size                                16384 (16KiB)
    Max size                                      262144 (256KiB)
  Max queues on device                            1
  Max events on device                            1024
  Prefer user sync for interop                    Yes
  Profiling timer resolution                      80ns
  Execution capabilities                          
    Run OpenCL kernels                            Yes
    Run native kernels                            Yes
    SPIR versions                                 1.2
  printf() buffer size                            1048576 (1024KiB)
  Built-in kernels                                __cl_copy_region_align4;__cl_copy_region_align16;__cl_cpy_region_unalign_same_offset;__cl_copy_region_unalign_dst_offset;__cl_copy_region_unalign_src_offset;__cl_copy_buffer_rect;__cl_copy_image_1d_to_1d;__cl_copy_image_2d_to_2d;__cl_copy_image_3d_to_2d;__cl_copy_image_2d_to_3d;__cl_copy_image_3d_to_3d;__cl_copy_image_2d_to_buffer;__cl_copy_image_3d_to_buffer;__cl_copy_buffer_to_image_2d;__cl_copy_buffer_to_image_3d;__cl_fill_region_unalign;__cl_fill_region_align2;__cl_fill_region_align4;__cl_fill_region_align8_2;__cl_fill_region_align8_4;__cl_fill_region_align8_8;__cl_fill_region_align8_16;__cl_fill_region_align128;__cl_fill_image_1d;__cl_fill_image_1d_array;__cl_fill_image_2d;__cl_fill_image_2d_array;__cl_fill_image_3d;
  Device Extensions                               cl_khr_global_int32_base_atomics cl_khr_global_int32_extended_atomics cl_khr_local_int32_base_atomics cl_khr_local_int32_extended_atomics cl_khr_byte_addressable_store cl_khr_3d_image_writes cl_khr_image2d_from_buffer cl_khr_depth_images cl_khr_spir cl_khr_icd cl_intel_accelerator cl_intel_subgroups cl_intel_subgroups_short cl_khr_gl_sharing cl_khr_fp16

NULL platform behavior
  clGetPlatformInfo(NULL, CL_PLATFORM_NAME, ...)  Intel Gen OCL Driver
  clGetDeviceIDs(NULL, CL_DEVICE_TYPE_ALL, ...)   Success [Intel]
  clCreateContext(NULL, ...) [default]            Success [Intel]
  clCreateContextFromType(NULL, CL_DEVICE_TYPE_DEFAULT)  Success (1)
    Platform Name                                 Intel Gen OCL Driver
    Device Name                                   Intel(R) HD Graphics Skylake ULT GT2
  clCreateContextFromType(NULL, CL_DEVICE_TYPE_CPU)  No devices found in platform
  clCreateContextFromType(NULL, CL_DEVICE_TYPE_GPU)  Success (1)
    Platform Name                                 Intel Gen OCL Driver
    Device Name                                   Intel(R) HD Graphics Skylake ULT GT2
  clCreateContextFromType(NULL, CL_DEVICE_TYPE_ACCELERATOR)  No devices found in platform
  clCreateContextFromType(NULL, CL_DEVICE_TYPE_CUSTOM)  No devices found in platform
  clCreateContextFromType(NULL, CL_DEVICE_TYPE_ALL)  Success (1)
    Platform Name                                 Intel Gen OCL Driver
    Device Name                                   Intel(R) HD Graphics Skylake ULT GT2

ICD loader properties
  ICD loader Name                                 OpenCL ICD Loader
  ICD loader Vendor                               OCL Icd free software
  ICD loader Version                              2.2.11
  ICD loader Profile                              OpenCL 2.1
-------------------------------------------


 
 
Ho scoperto che la Intel HD 520  non ha il supporto per la doppia precisione

Per compilare su Linux make base ha una forma del tipo

hello: hello.cpp
        g++ -std=c++0x -o hello hello.cpp -lOpenCL
 





domenica 1 dicembre 2019

Xbox Tv Tuner su Linux

Mi hanno prestato l'Xbox One Tv Tuner per connetterlo alla Xbox One ma e' stata piu' forte la curiosita' di vedere come si comportava il dispositivo con Debian




Come indicato da questo link i moduli per far funzionare il sintonizzatore sono gia' presenti nei kernel piu' recenti. Si deve solo scaricare il firmware proprietario e copiarlo in /lib/firmware

La cosa interessanto e' che il sintonizzatore e' gia' compatibile con DB-TV2
Il dispositivo sara' indicato in /dev/dvb

Per vedere la televisione si ricercano prima i canali con

w_scan -X -P -t 2 -E 0 -c IT > dvb-channels.conf

e poi da VLC si apre il file dvb-channels.conf
Nella lista si trovano anche i canali in HD


mercoledì 27 novembre 2019

Convidere tastiera e mouse con Barrier

Ho provato ad usare Barrier, un software che permette di condividere tastiera e mouse tra piu' computer. Non si tratta di un clone di VNC perche' ogni computer deve avere il proprio monitor (non si puo' quindi fare amministrazione remota) e perche' le risorse non sono condivise (i programmi sono eseguiti sul calcolatore su cui vengono lanciati)

Si tratta quindi di un utilizzo un po' di nicchia ma che puo' essere comunque utile


Il programma esiste per Linux, Windows e Mac ed e' indifferente quale macchina fa da server (quella da cui vengono presi gli input di tastiera e mouse) e quali da client. L'unica cosa da impostare e' indicare l'IP della macchina server ed indicare l'hostname delle macchine client

Non sono riuscito a farlo funzionare su Gnome Shell di Debian in modalita' server ma la stessa macchina utilizzando I3 funziona bene

martedì 26 novembre 2019

Classificazione binaria foraminferi con Tensorflow

Per continuare gli esperimenti questa una classificazione binaria con Tensorflow.
Le due categorie sono riprese dal precedente post (1500 elementi)


Globigerinoides Ruber
Globigerina Bulloides

train
======================================================
import os


a_dir = os.path.join('./train/globigerinoides_ruber')
b_dir = os.path.join('./train/globigerina_bulloides')


print('globigerinoides_ruber images:', len(os.listdir(a_dir)))
print('globigerina_bulloides images:', len(os.listdir(b_dir)))

import matplotlib.pyplot as plt
import matplotlib.image as mpimg

batch_size = 16


from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Conv2D, Flatten, Dropout, MaxPooling2D
from tensorflow.keras.preprocessing.image import ImageDataGenerator

train_datagen = ImageDataGenerator(rescale=1/255)

train_generator = train_datagen.flow_from_directory(
        './train_binary',  
        target_size=(200, 200),  
        batch_size=batch_size,
shuffle=True,
        class_mode='binary')

import tensorflow as tf

model = Sequential([
    Conv2D(16, 3, padding='same', activation='relu', input_shape=(200, 200 ,3)),
    MaxPooling2D(),
    Conv2D(32, 3, padding='same', activation='relu'),
    MaxPooling2D(),
    Conv2D(64, 3, padding='same', activation='relu'),
    MaxPooling2D(),
    Flatten(),
    Dense(512, activation='relu'),
    Dense(1, activation='sigmoid')
])

model.compile(optimizer='adam',
              loss='binary_crossentropy',
              metrics=['accuracy'])


model.summary()

total_sample=train_generator.n

n_epochs = 15
history = model.fit_generator(
        train_generator, 
        steps_per_epoch=int(total_sample/batch_size),  
        epochs=n_epochs,
        verbose=1)

model.save('1500el_5classi_binary_model.h5')

======================================================

predict
======================================================
import tensorflow as tf
from tensorflow.keras import Model 
from PIL import Image
import matplotlib.pyplot as plt
import matplotlib.image as mpimg
import sys
from numpy import asarray
import numpy as np

model = tf.compat.v2.keras.models.load_model('1500el_5classi_binary_model.h5')



image = Image.open(sys.argv[1])
image = image.resize((200,200))
pic = asarray(image)
pic = pic.astype('float32')
pic /= 255.0

pic=np.expand_dims(pic,axis=0)


prediction = model.predict(pic)
print(sys.argv[1])

float_formatter = "{:.2f}".format
np.set_printoptions(formatter={'float_kind':float_formatter})
print(prediction)


print()
======================================================

I risultati indicano 19 tentativi 13 corrette identificazioni (69%), 2 casi incerti (10.5%), 2 errori  (10.5%)


Globigerinoides Ruber Globigerina Bulloides


Predizione
Immagini reali



Globigerina Bulloides 1 0% 100%

2 100% 0%

3 0% 100%

4 0% 100%

5 0% 100%

6 58% 42%

7 47% 53%

8 0% 100%

9 0% 100%
Globigerinoides Ruber 1 100% 0%

2 0% 100%

3 63% 37%

4 100% 0%

5 100% 0%

6 94% 6%

7 0% 100%

8 0% 100%

9 100% 0%

10 100% 0%

FTP Bash script

 Uno script rubato su stack overflow per fare l'upload automatico su FTP senza criptazione   #!/bin/sh HOST='ftp.xxxxx.altervista.or...