Un sacco di anni fa

 20 anni fa ero Flip....150.217.73.242

Maratona Firenze 2023

 Anche quest'annno mi sono intrufolato nelle foto della maratona

DS0152 e geofono

Volevo provare l'oscilloscopio DS0152 e visto che ho in prestito un geofono ho guardato il segnale in uscita. Francamente pensavo che il sensore facesse uscire poche decine di millivolt ma come si vede dalla foto si passa da qualche decina di Volts fino a qualche Volt (ho letto anche fino a 9V ma con sollecitazioni meccaniche che non sono ragionevoli per un geofono)

 Anche la lettura del periodo del geofono (15 Hz) risulta coerente con le caratteristiche di fabbrica

MilkV camera

per mandare in auto esecuzione lo script di streaming si edita il file /mnt/system/auto.sh aggiungendo

/mnt/data/install/CviIspTool.sh 64M

Non riesco a vedere lo stream con VLC su Linux ma usando mpv non ci sono problemi

mpv --no-cache --untimed --no-demuxer-thread --video-sync=audio --vd-lavc-threads=1 rtsp://192.168.42.1:8554/stream0

Piana Firenze-Prato-Pistoia Sentinel 1 6-7 novembre 2023

 

Dettagli 

R 3.6 docker personalizzato

 Un esempio di Dockerfile complesso per R 3.6

FROM rstudio/r-base:3.6-bookworm

ARG DEBIAN_FRONTEND=noninteractive

RUN apt-get -y update

RUN apt-get -y install gdal-bin libgdal-dev libpng-dev libudunits2-dev libfontconfig1-dev libmagick++-dev openjdk-17-jdk apache2 mc nano locales && apt-get clean

RUN service apache2 restart

#ENTRYPOINT ["/usr/sbin/apache2", "-k", "start"]

ENV APACHE_RUN_USER www-data

ENV APACHE_RUN_GROUP www-data

ENV APACHE_LOG_DIR /var/log/apache2

EXPOSE 80

CMD ["apachectl", "-D", "FOREGROUND"]

CMD apachectl -D FOREGROUND

# installa client Oracle

RUN wget https://download.oracle.com/otn_software/java/sqldeveloper/sqlcl-23.2.0.178.1027.zip && unzip sqlcl*.zip

ENV PATH=sqlcl/bin:$PATH

#imposta la localizzazione italiana

RUN sed -i -e 's/# it_IT.UTF-8 UTF-8/it_IT.UTF-8 UTF-8/' /etc/locale.gen && locale-gen

ENV LANG it_IT.UTF-8

ENV LANGUAGE it_IT:it

ENV LC_ALL it_IT.UTF-8

# imposta la timezone a Europe/Rome

ENV TZ="Europe/Rome"

# scarica il sorgente della libreria non presente su CRAN

RUN curl -O "https://cran.r-project.org/src/contrib/Archive/randomForest/randomForest_4.6-10.tar.gz"

#setup R configs

RUN echo "r <- getOption('repos'); r['CRAN'] <- 'http://cran.us.r-project.org'; options(repos = r);" > ~/.Rprofile

RUN Rscript -e "install.packages('zoo')"

RUN Rscript -e "install.packages('leaflet')"

RUN Rscript -e "install.packages('sf')"

RUN Rscript -e "install.packages('leafpop')"

RUN Rscript -e "install.packages('forecast')"

RUN Rscript -e "install.packages('stringr')"

RUN Rscript -e "install.packages('lubridate')"

RUN Rscript -e "install.packages('randomForest_4.6-10.tar.gz', repos = NULL, type='source')"

RUN Rscript -e "install.packages('rpart')"

RUN Rscript -e "install.packages('e1071')"

RUN Rscript -e "install.packages('kknn')"

RUN Rscript -e "install.packages('jpeg')"

RUN Rscript -e "install.packages('data.table')"

RUN Rscript -e "install.packages('tidyr')"

RUN Rscript -e "install.packages('magick')"

RUN Rscript -e "install.packages('leaflet.extras')"

RUN Rscript -e "install.packages('leafem')"

RUN Rscript -e "install.packages('raster')"

# copia i file

ADD go.sh /root/go.sh

ADD omnia_apuane_spool.sql /root/omnia_apuane_spool.sql

ADD omnia_apuane.R /root/omnia_apuane.R

ADD omnia_arno.R /root/omnia_arno.R

ADD omnia_laguna.R /root/omnia_laguna.R

#crea folders in html

RUN mkdir /var/www/html/mappe

RUN mkdir /var/www/html/mappe/omnia_apuane

RUN mkdir /var/www/html/Acque

RUN mkdir /var/www/html/Acque/LAGUNA

RUN mkdir /var/www/html/Acque/ARNO

RUN mkdir /var/www/html/Acque/ARNO/bollettini

# per il ROracle

ADD instantclient-basic-linux.x64-21.11.0.0.0dbru.zip instantclient-basic-linux.x64-21.11.0.0.0dbru.zip

ADD instantclient-sdk-linux.x64-21.11.0.0.0dbru.zip instantclient-sdk-linux.x64-21.11.0.0.0dbru.zip

# ATTENZIONE il comando ADD decompatta in automatico

# i file tar.gz. Per questo motivo la riga successiva usa COPY

COPY ROracle_1.3-2_R_x86_64-linux-gnu.tar.gz /root/ROracle_1.3-2_R_x86_64-linux-gnu.tar.gz

RUN unzip instantclient-basic-linux.x64-21.11.0.0.0dbru.zip -d /opt/oracle/

RUN unzip instantclient-sdk-linux.x64-21.11.0.0.0dbru.zip -d /opt/oracle/

RUN apt-get install -y libaio1

ENV PATH="${PATH}:/opt/oracle/instantclient_21_11"

ENV LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/opt/oracle/instantclient_21_11"

RUN ldconfig

# compila ROracle

RUN Rscript -e 'install.packages("/root/ROracle_1.3-2_R_x86_64-linux-gnu.tar.gz",repos=NULL,type="source")'

RUN Rscript -e "install.packages('RCurl')"

RUN Rscript -e "install.packages('stringr')"

#cancella i file temporanei

RUN rm randomForest_4.6-10.tar.gz

RUN rm sqlcl*.zip

RUN rm /root/*.tar.gz

RUN rm /root/*.zip

ROracle in R 4

 Per usare ROracle in R v.4 si deve compilare il codice scaricando il pacchetto ROracle_1.3-1.1.tgz e istantclient base ed sdk da Oracle https://www.oracle.com/database/technologies/instant-client/linux-x86-64-downloads.html

export PATH="$PATH:/opt/oracle/instantclient_21_12"

export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/opt/oracle/instantclient_21_12"

R CMD INSTALL --configure-args='--with-oci-lib=/opt/oracle/instantclient_21_12/ --with-oci-inc=/opt/oracle/instantclient_21_12/sdk/include' ROracle_1.3-1.1.tar.gz

sudo sh -c "echo /opt/oracle/instantclient_21_12 > /etc/ld.so.conf.d/oracle-instantclient.conf"

sudo ldconfig

Per effettuare la connesione da R

library('ROracle')

library(DBI)

host <- "dbaaaa.aaaa.it"
port <- 1521
svc <- "dbaaaa.aaaaaa.it"
connect.string <- paste(
  "(DESCRIPTION=",
  "(ADDRESS=(PROTOCOL=tcp)(HOST=", host, ")(PORT=", port, "))",
  "(CONNECT_DATA=(SERVICE_NAME=", svc, ")))", sep = "")

drv = dbDriver("Oracle")

con  = dbConnect(drv, "username", "password", dbname=connect.string)

Gnome Tracker

 All'avvio del portatile mi sono accorto che il comando top riportava un processo chiamato tracker che occupava praticamente gran parte dei cicli di CPU

Non lo sapevo ma cercando ho scoperto che questo e' un servizio di indicizzazione file di Gnome

Per disabilitarlo non e' banalissimo

systemctl --user mask tracker-extract-3.service tracker-miner-fs-3.service tracker-miner-rss-3.service tracker-writeback-3.service tracker-xdg-portal-3.service tracker-miner-fs-control-3.service

e successivamente

tracker3 reset -s -r

Foraminiferi e Yolo 8

Qualche anno fa avevo provato ad addestrare una rete neurale per il riconoscimento di foraminiferi con risultati diciamo mediocri

Ho visto che i migliori risultati non si ottengono partendo da una rete ex-novo ma riaddestrando reti gia' elaborate. In questo caso ho provato ad addestrare Yolo 8 con il dataset dei foraminiferi

La prima prova la ho fatto, anche con ottimi risultati, utilizzando il cloud di Roboflow ma volevo una soluzione da fare girare on the edge

Per prima cosa ho creato un virtualenv in Python 

I dati sono inclusi in un folder in cui ci sono le sottodir test,train e valid in cui sono in ciascuna ci sono inclusi i folder images e labels

Per creare le labels ho utilizzato labelImg. Avendo problemi con l'installazione ho utilizzato il docker a questo link

Si deve selezionare il folder dove sono contenute le immagini, il folder dove saranno salvati i file txt in cui sono salvate le annotations, il tipo di annotation (di default viene indicato PascalVOC ma deve andare a Yolo) ed in View conviene indicare autosave 

Nel folder alla radice deve essere create un file data.yaml in cui sono indicati i percorsi dei folder delle immagini, il numero di classi (4) ed i nomi delle classi

train: ../train/images
val: ../valid/images
test: ../test/images
nc: 4
names: ['Candeina_Nitida', 'Globigerina_Bulloides', 'Globigerina_Falconensis', 'Globigerina_digitata']

a questo punto si procede con l'installazione di Yolo 8 

pip install ultralytics

si procede quindi con l'addestramento. Per una prima prova ho usato il pretrain piu' semplice yoolov8n ma vi sono reti addestrati molto piu' profonde in yolov8s.pt, yolov8m.pt, yolov8l.pt, yolov8x.pt

Il parametro batch dipende dalla potenza della propria CPU/GPU...io ho solo lavorato in CPU

yolo task=detect mode=train model=yolov8n.pt imgsz=640 data=data.yaml epochs=10 batch=8 name=yolov8n_foraminiferi

Nel folder run/detect/yolo8n_foraminiferi si trovano i grafici dei parametri del modello

Si puo' validare il modello con 

yolo task=detect mode=val model=runs/detect/yolov8n_foraminiferi/weights/best.pt name=yolov8n_eval data=data.yaml imgsz=640

I risultati sono peggiori di quelli visti con Roboflow ma in ogni caso si ricorda che in questo caso e' stato usata la rete di addestramento piu' semplificata

Una volta finito l'addestramento si puo' usare la rete per riconoscere oggetti

yolo task=detect mode=predict model=runs/detect/yolov8n_foraminiferi/weights/best.pt source=test/immagine.jpg show=True imgsz=640 name=yolov8n_c1 hide_labels=True

Docker pull via http_proxy

 la configurazione del proxy per effettuare un pull di un container docker si trova in

/etc/systemd/system/docker.service.d/http-proxy.conf

ed ha una sintassi del tipo

[Service]
Environment="HTTP_PROXY=http://proxy.aaaaaaaaaa.it:8080"
Environment="HTTPS_PROXY=http://proxy.aaaaaaaaaa.it:8080"

per rendere effettive le modifiche 

systemctl stop docker

systemctl stop docker.socket

systemctl daemon-reload

systemctl start docker

Sentinel 1 Alluvione piana Firenze-Prato-Pistoia

 In azzurro le aree occupate da corpi idrici superficiali permanenti

Programmazione Milk-V Duo

Per programmare la Milk-V Duo tramite cross compiling su desktop si puo' usare l'SDK 

https://github.com/milkv-duo/duo-examples

una volta decompilato il pacchetto si lancia envsetup.sh che automaticamente scarica il compilatore

Altrimenti si puo' cross compilare tramite Go

Come compilatori sulla scheda si possono usare python (e' presente 3.9.5) oppure tinyGcc 

Per interagire con l'hardware si puo' usare

1) in Python la libreria pinpong  Ci sono una tonnellata di esempi

2) in C la libreria WiringX https://wiringx.org/ 

3) in Go con la libreria gpiod https://github.com/pavelanni/milkv-duo-experiments 

Per creare l'avvio automatico al boot di uno script si deve creare il file auto.sh in /mnt/data/ e si inseriscono i comandi che si vuole mandare in autoesecuzione

mkdir /mnt/data 

vi /mnt/data/auto.shsh

Rottura argine Fosso Reale Sentinel 2

Immagine RGB  Sentinel 2 del 4 novembre 2023 che mostra l'esondazione delle acque del Fosso Reale a seguito rottura d'argine nell'area di Case Passerini  

Immagine da Consorzio di Bonifica

Golang Milk-V Duo RiscV64

Sto provando la scheda Milk-D Duo con processore RiscV64

La scheda un processore dual core. Sul core primario puo' girare un sistema operativo Linux multi task mentre sul secondo FreeRtos. I due sistema comunicano tramite una porta seriale un po' come funzionava la scheda Intel Galileo

Come immagine disco sto usando quella della ditta ma si pu' montare anche Arch (Debian non ha ancora il supporto di rete e si deve accedere tramite connessione seriale)

Su Linux e' piuttosto facile interagire con la scheda perche' se si collega la porta USB C viene montata in automatico un porta di rete tramite RNDIS all'indirizzo 192.168.42.1 (la scheda rilascia in DHCP un indirizzo della classe 192.168.42.x)

enxf611f7e3617d: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.42.18  netmask 255.255.255.0  broadcast 192.168.42.255
        inet6 fe80::f411:f7ff:fee3:617d  prefixlen 64  scopeid 0x20<link>
        ether f6:11:f7:e3:61:7d  txqueuelen 1000  (Ethernet)
        RX packets 242  bytes 29688 (28.9 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 311  bytes 43373 (42.3 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisi

ssh root@192.168.42.1

https://xyzdims.com/3d-printers/misc-hardware-notes/iot-milk-v-duo-risc-v-esbc-running-linux/#References 

La scheda ha 64 Mb di memoria ma con il disco immagine la RAM e' di soli 32 Mb perche' gli altri sono destinati alla connessione della video camera

Mem: 20732K used, 8504K free, 80K shrd, 668K buff, 3260K cached
CPU:   0% usr   1% sys   0% nic  98% idle   0% io   0% irq   0% sirq
Load average: 1.90 0.55 0.19 1/64 385
  PID  PPID USER     STAT   VSZ %VSZ %CPU COMMAND
  374   368 root     R     1200   4%   0% top
  155     1 root     S     4740  16%   0% /usr/sbin/ntpd -g -p /var/run/ntpd.pid
  193     1 root     S     1200   4%   0% {S99user} /bin/sh /etc/init.d/S99user start
  361   163 root     S     1008   3%   0% /usr/sbin/dropbear -R
   10     2 root     IW       0   0%   0% [rcu_preempt]
  204     1 root     S     1204   4%   0% -sh

Per usare Go pero' tale memoria non e' sufficiente e si deve attivare la partizione di swap tramite per avere 256 Mb

mkswap /dev/mmcblk0p3
swapon /dev/mmcblk0p3

la dimensione della partizione di swap puo' essere ridimensionata tramite lo script (in questo caso e' 1 Giga)

 

fdisk /dev/mmcblk0 <<EOF
p
d
3
n
p
3

+1G

w
EOF

fdisk -l /dev/mmcblk0

echo "----- resize /dev/mmcblk0p3 for swap completed -----"

a questo punto si puo' fare la build del programma sul desktop facendo cross compilazione

export GOOS=linux 

export GOARCH=riscv64 

export CGO_ENABLED=1 

export CC=riscv64-linux-gnu-gcc

go build programma.go

e si copia sul dispositivo tramite (attenzione allo switch -O)

scp -O ./main  root@192.168.42.1:/root/

https://blog.davidburela.com/2020/11/21/cross-compiling-golang-for-risc-v/

Ho fatto qualche prova e non sembrano funzionare le goroutines

Nel caso il cui si voglia esporre la scheda verso Internet si puo' usare o la scheda di espansione che monta una scheda Ethernet

oppure se il PC Desktop assume un IP del tipo 192.168.42.68 si lancia sul desktop

sysctl net.ipv4.ip_forward=1 

iptables -P FORWARD ACCEPT 

iptables -t nat -A POSTROUTING -o outgoing_if -j MASQUERADE

mentre sulla scheda

ip r add default via 192.168.42.68

echo "nameserver 8.8.8.8" >> /etc/resolv.conf

https://xyzdims.com/3d-printers/misc-hardware-notes/iot-milk-v-duo-risc-v-esbc-running-linux/