Patente UAS A1 A3

 non facciamo mancare questo patentino

Unmixing spettri sintetici argille

AGGIORNAMENTO

ho provato ad usare questo metodo su campioni di miscele naturali di minerali argillosi (con concentrazioni determinate mediante XRD) ma ho miseramente fallito

Lo spettro dell'illite non viene estratto...anche forzando lo spettro puro nel dataset in modo da influenzare la VCA) non si ottengono risultati

 

=============================================

Per questo prova ho modificato lo script

https://github.com/ricardoborsoi/unmixing_spectral_variability

Non avendo Matlab gli script sono stati eseguiti in Octave con modestissime modifiche al codice per utilizzare i dati del fieldspec

Gli spettri sperimentali dei 3 endmember ssono stati ottenuti da campioni naturali acquistati con un grado di purezza mineralogica superiore al 90% (trattandosi di campioni  naturali di minerali argillosi e' impossibile ottenere campioni puri) in condizioni di laboratorio

Da notare, nonostante siano tutti minerali argillosi, kaolinite e Montmorillonite hanno spettri simili mentre Illite e' molto dissimile.Si vedra' in seguito che cio' avra' ripercusssioni sull'unmixing

 

Esempio di spettro di sintesi

Lo spettro di sintesi viene generato come combinazione linerare degli endmember e applicazione di un livello SNR di 30db e del modello di Hapke (un modello empirico per descrivere di riflettanza direzionale della regolite in assenza di atmosfera)

 Lo script genera 2500 spettri di sintesi con differenti valori di concentrazione calcolate come modello Gaussiano random (mappa 50x50 pixel del 2151 bande)

La distribuzione delle concentrazioni dei 3 endmember e'risultata cosi' distribuita

 

Sugli spettri di sintesi viene applicato VCA per determinare gli endmembers

 

 

 

Gli spettri sono quindi elaborati mediante differenti algoritmi di unmixing (nella matrice A sono contenute le concentrazioni reali). Piu' punti stanno sulla retta y=x migliore e' l'algoritmo

 ELMM

FCLS

 

 

MESMA

RUSAL

In conclusione l'unico algoritmo che e' riuscito ad effettuare l'unmixing corretto e' stato MESMA

 

Sulla Consuma

 

Calcareous Tufa a Montemurlo (PO)

Doverosa premessa: alcune delle foto sono state riprese in aree private dopo avere contattato il proprietario.

Durante una girata nel bosco mi sono trovato in un ambiente inaspettato ovvero la presenza di calcareous tufa (io pensavo che si chiamassero travertini fluviali ma aggiornandomi ho scoperto che il termine travertini e' relativo a precipitazione di carbonato derivante da sorgenti termali con materiale compatto e ben stratificato; in questo caso si deve usare il termine calcareous tufa perche' non si tratta di sedimenti porosi,mal stratificati e scarsamente cementati e la temperatura dell'acqua era di 16 gradi C in tutti i punti misurati)

Gli affioramenti sono molto poco estesi arealmente e partono a monte dalla strada asfaltata che conduce a Villa Barone - San Giorgio sino al Borgo di Bagnolo a valle. (circa 500 m lineari per un dislivello di 50 m)

La formazione affiorante e' la Formazione di M.Morello che passa verso il basso a SIllano. La cosa che mi ha incuriosito e' che mi e' capitato di rilevare su diversi fiumi impostati sulla Formazione di M.Morello ma non avevo mai visto la presenza di calcareous tufa

A monte della strada non c'e' circolazione idrica superficiali negli impluvi mentre e' molto abbondante al di sotto della strada forse in corrispondenza di una linea di sorgenti attorno a quota 200 m slm. Da notare una rottura di pendio in corrispondenza della strada che a valle ha un  versante meno acclive dove sono presenti gli ulivi (c'e' sicuramente un intervento antropico di terrazzamento ma non sembra tale da giustificare la differenza di pendenza)

 

Mappa delle foto

 

Con un conduciumetro portatile ho provato a misurare in vari punti la conducibilita' (valori in carta espressi in microS/cm). In generale si ha una conducibilita' modesta che ha la tendenza ad aumentare verso le quote maggiori)

Mappa della misure di conducibilita' (microS/cm)

 

 

Foto 1 Villa Barone

 

 

Foto 2 Vasca con troppo pieno (probabile sorgente)

 

Foto 3 Fosso Pian di Scalini ramo Ovest

 

Foto 4

 

Foto 5 Cascata

Foto 6 Alveo asciutto a monte della strada asfaltata

Foto 7

Foto 8 Borgo di Bagnolo

Foto 9 Acqua di color turchino

ESP32-2432S028R e LVGL

La scheda ESP32-2432S028R monta un Esp Dev Module con uno schermo TFT a driver ILI9341 di 320x240 pixels 16 bit colore.Il sito di riferimento e' il seguente https://github.com/witnessmenow/ESP32-Cheap-Yellow-Display (oppure https://github.com/hexeguitar/ESP32_TFT_PIO)

Esempio di TFT_eSPI

Per gli schemi elettrici di tutta la famiglia di dispositivi si cerchi https://github.com/rzeldent/platformio-espressif32-sunton in assets

Si puo' usare tramite Arduino Ide importando le due librerie TFT_eSPI and XPT2046_Touchscreen

Iniziando dallo schermo TFT prima di provare gli esempi della libreria si deve modificare il file User_Setup.h nel folder in Arduino/libraries/TFT_eSPI

 ---------------------------------------------------------------

 //USER DEFINED SETTINGS
#define ILI9341_2_DRIVER    
#define TFT_WIDTH  240
#define TFT_HEIGHT 320
#define TFT_BL   21           
#define TFT_BACKLIGHT_ON HIGH  
#define TFT_MOSI 13
#define TFT_SCLK 14
#define TFT_CS   15  
#define TFT_DC   2  
#define TFT_RST  12  
#define TFT_BL   21
#define TOUCH_CS 33  
#define LOAD_GLCD   
#define LOAD_FONT2  
#define LOAD_FONT4  
#define LOAD_FONT6  
#define LOAD_FONT7  
#define LOAD_FONT8  
#define LOAD_GFXFF  
#define SMOOTH_FONT
#define SPI_FREQUENCY  55000000
#define SPI_READ_FREQUENCY  20000000
//Touch Screen: ?????????ß
#define XPT2046_IRQ 36
#define XPT2046_MOSI 32
#define XPT2046_MISO 39
#define XPT2046_CLK 25
#define XPT2046_CS 33
#define SPI_TOUCH_FREQUENCY  2500000

  ---------------------------------------------------------------

 

Per provare la sola componente TouchScreen  si puo' usare il seguente esempio (quello di default non funziona perche' non sono mappati in modo corretto i pin)

#include <SPI.h>

#include <XPT2046_Touchscreen.h>

#define XPT2046_IRQ 36 // T_IRQ

#define XPT2046_MOSI 32 // T_DIN

#define XPT2046_MISO 39 // T_OUT

#define XPT2046_CLK 25 // T_CLK

#define XPT2046_CS 33 // T_CS

SPIClass touchscreenSPI = SPIClass(VSPI);

XPT2046_Touchscreen touchscreen(XPT2046_CS, XPT2046_IRQ);

int x, y, z;

void printTouchToSerial(int touchX, int touchY, int touchZ) {

Serial.print("X = ");

Serial.print(touchX);

Serial.print(" | Y = ");

Serial.print(touchY);

Serial.print(" | Pressure = ");

Serial.print(touchZ);

Serial.println();

}

void setup() {

Serial.begin(38400);

touchscreenSPI.begin(XPT2046_CLK, XPT2046_MISO, XPT2046_MOSI, XPT2046_CS);

touchscreen.begin(touchscreenSPI);

touchscreen.setRotation(1);

while (!Serial && (millis() <= 1000));

}

void loop() {

if (touchscreen.tirqTouched() && touchscreen.touched()) {

// Get Touchscreen points

TS_Point p = touchscreen.getPoint();

// Calibrate Touchscreen points with map function to the correct width and height

x = map(p.x, 200, 3700, 1, 320);

y = map(p.y, 240, 3800, 1, 240);

z = p.z;

printTouchToSerial(x, y, z);

}

}

 

Il led RGB e' controllabile tramite questo script

#define PIN_RED 4 // GPIO23

#define PIN_GREEN 16 // GPIO22

#define PIN_BLUE 17 // GPIO21

void setup() {

pinMode(PIN_RED, OUTPUT);

pinMode(PIN_GREEN, OUTPUT);

pinMode(PIN_BLUE, OUTPUT);

}

void loop() {

// color code #00C9CC (R = 0, G = 201, B = 204)

setColor(0, 201, 204);

delay(1000); // keep the color 1 second

// color code #F7788A (R = 247, G = 120, B = 138)

setColor(247, 120, 138);

delay(1000); // keep the color 1 second

// color code #34A853 (R = 52, G = 168, B = 83)

setColor(52, 168, 83);

delay(1000); // keep the color 1 second

}

void setColor(int R, int G, int B) {

analogWrite(PIN_RED, R);

analogWrite(PIN_GREEN, G);

analogWrite(PIN_BLUE, B);

}

Attaccando uno speaker esterno si puo' generare un suono utilizzando un altoparlante esterno collegando ai pin che sono predisposti sul DAC 2 (GPIO 26) 

 

#define DAC_CH2 26

void setup() {

}

void loop() {

for (int deg = 0; deg < 360; deg = deg + 1) {

  dacWrite(DAC_CH2, int(128 + 64 * sin(deg * PI / 180)));

}

}

 

Per usare LVGL ho provato a passare da Arduino IDE ma ho trovato un mondo di problemi. La soluzione piu' semplice e' il progetto PlatformIO (sempre con base codice Arduino)

Si clona il progetto

git clone --recursive https://github.com/rzeldent/esp32-smartdisplay-demo

in seguito si toglie il commento in platformio.ini in corrispondenza della propria scheda (ci sono molti modelli con differenti risoluzione e touch sia capacitivi che resistivi) e si fa il build

[platformio]

#default_envs = esp32-1732S019C

#default_envs = esp32-1732S019N

#default_envs = esp32-2424S012C

#default_envs = esp32-2424S012N

#default_envs = esp32-2432S022N

#default_envs = esp32-2432S022C

#default_envs = esp32-2432S024C

#default_envs = esp32-2432S024N

#default_envs = esp32-2432S024R

default_envs = esp32-2432S028R

#default_envs = esp32-2432S028Rv2

#default_envs = esp32-2432S028Rv3

Per personalizzare l'interfaccia grafica non sono riuscito ad importare il progetto dentro SquareLine Studio, un programma per creare interfacce di LVGL (il programma non e'stabile in nessuna delle versioni ed ha la necessita' di funzionare con sudo sotto Linux per non meglio chiariti motivi)

Per aggirare il problema ho creato un progetto ex novo Arduino in SquareLine

impostante le dimesioni dello schermo a 320x240x16 colori e nominando la prima finestra scrMain

Dopo aver testato l'interfaccia ho esportato la UI ho copiato il folder /scr/ui nel folder ui di esp32-smartdisplay-demo

 

Regressione per illite su suoli naturali

Il dataset visto nel precedente post e' fornito anche da determinazione mineralogiche come la speciazione delle argille. Ho provato a vedere se la regressione con la rete neurale riusciva a fare previsioni dove il metodo della profondita' di picco normalizzata non mi ha mai funzionato nel dottorato 

Lo spettro e' stato associato quindi al contenuto in illite e fatto girare il medesimo script del post precedete

Grafico Loss

Dataset di validazione

Dataset di test

i risultati seppure non eccezionali sono molto migliori di quelli che ho mai ottenuto in dottorato

Regressione con tensorflow su dati di carbonati in suoli naturali

 Dopo aver trovato questo esempio sulla regressione con Tensorflow/Keras ho ritirato fuori un set di misure iperspettrali di laboratorio effettuato con FieldSpec in laboratorio per vedere se il metodo poteva essere utilizzato per la regressione della concentrazione di carbonati in campioni di terreno naturali

I campioni analizzati erano stati tutti setacciati a 0.075 mm ed erano stati passati in forno per eliminare l'umidita'. Di seguito gli spettri

Tutti i campioni sono stati analizzati in laboratorio per la determinazione chimica del contenuto in carbonato di calcio

Gli spettri sono stati letti dai file originali in .asd e convertiti in un csv mediante la libreria Python SpecDal 

L'ultima colonna e' il dato di laboratorio mentre le altre colonne corrispondono alla riflettanza alle differenti lunghezze d'onda e costituiscono le features

Ho provato a non effettuare la rimozione del continuum perche' le misure sono fatte in condizioni controllate su materiale preparato (con parita' di granulometria ed umidita')

Mediante lo script sottostante e' stata effettuata la regressione fino a 100 epochs (non si avevano vantaggi per numeri superiori). Il dataset originario di 40 misure e' stato diviso an 80% di addestramento (di cui 20% di validazione) e 20% di test

Dataset di validazione

Dataset di test

Durante il dottorato, su una serie differente ed usando la profondita' di picco normalizzata a 2345 nm, avevo avuto una regressione migliore utilizzando anche una matematica piu' semplice

L'aspetto interessante di questo approccio e' che non e' necessario conoscere a priori la lunghezza d'onda di assorbimento desiderato. L'algoritmo pur non conoscendolo esplicitamente lo invidua nelle features in modo autonomo

-*- coding: utf-8 -*-

import matplotlib.pyplot as plt

import numpy as np

import pandas as pd

np.set_printoptions(precision=3, suppress=True)

import tensorflow as tf

from tensorflow import keras

from tensorflow.keras import layers

from google.colab import drive

drive.mount('/content/drive')

raw_dataset = pd.read_csv("/content/drive/MyDrive/calcite_vol_75.csv", sep=',')

dataset = raw_dataset.copy()

train_dataset = dataset.sample(frac=0.8, random_state=1)

test_dataset = dataset.drop(train_dataset.index)

print(train_dataset)

train_features = train_dataset.copy()

test_features = test_dataset.copy()

train_labels = train_features.pop('Calcite')

test_labels = test_features.pop('Calcite')

normalizer = tf.keras.layers.Normalization(axis=-1)

normalizer.adapt(np.array(train_features))

def build_and_compile_model(norm):

  model = keras.Sequential([

      norm,

      layers.Dense(64, activation='relu'),

      layers.Dense(64, activation='relu'),

      layers.Dense(1)

  ])

  model.compile(loss='mean_absolute_error',

                optimizer=tf.keras.optimizers.Adam(0.001))

  return model

def plot_loss(history):

  plt.plot(history.history['loss'], label='loss')

  plt.plot(history.history['val_loss'], label='val_loss')

  plt.ylim([0, 10])

  plt.xlabel('Epoch')

  plt.ylabel('Error')

  plt.legend()

  plt.grid(True)

dnn_model = build_and_compile_model(normalizer)

dnn_model.summary()

plot_loss(history)

test_predictions = dnn_model.predict(test_features).flatten()

a = plt.axes(aspect='equal')

plt.scatter(test_labels, test_predictions)

plt.xlabel('True Values')

plt.ylabel('Predictions')

lims = [0, 30]

plt.xlim(lims)

plt.ylim(lims)

_ = plt.plot(lims, lims)

error = test_predictions - test_labels

plt.hist(error, bins=25)

plt.xlabel('Prediction Error ')

_ = plt.ylabel('Count')