Batimetria Venezia da Landsat con Decision Tree

Visto lo scarso successo del metodo analitico visto qui ho provato un metodo alternativo citato spesso il letteratura che prevede la determinazione della batimetria da dati ottici usando la rete neurale decision tree

Per cambiare ho preso i dati Landsat sulla Laguna di Venezia (la batimetria della Laguna di Venezia e' molto piu' variabile rispetto a quella della lagunan di Orbetello) usando come dato di verita' a terra questo geotiff http://cigno.ve.ismar.cnr.it/layers/geonode%3Alag02_okart_export

Su Qgis sono stati importate le bande RGB,NIR di Landsat8  e dopo avere creato una griglia regolare di punti spaziati di 30 m e' stata estratta una tabella con i valori di riflettanza per ogni banda e la profondita'

 Una volta ottenuto il file CSV i dati di batimetria sono stati divisi in classi di 0.5 m per rendere possibile la successiva elaborazione tramite un semplice script in GO 

package main

import (

    "encoding/csv"

    "fmt"

    "io"

    "log"

    "math"

    "os"

    "strconv"

)

func main() {

    f, err := os.Open("tree.csv")

    if err != nil {

        log.Fatal(err)

    }

    defer f.Close()

    csvReader := csv.NewReader(f)

    for {

        rec, err := csvReader.Read()

        if err == io.EOF {

            break

        }

        if err != nil {

            log.Fatal(err)

        }

        tt, _ := strconv.ParseFloat(rec[0], 'f')

        t := math.Abs(tt)

        fmt.Print(math.Floor(t / 0.5))

        fmt.Println("," + rec[1] + "," + rec[2] + "," + rec[3] + "," + rec[4])

    }

}

il file finale ha un formato del tipo

 classe,red,nir,gren,blue
3,6707,5566,8241,9397
3,6714,5575,8221,9375
3,6696,5573,8184,9369
3,6665,5577,8144,9331
3,6638,5584,8089,9287
3,6636,5568,8080,9281

In totale sono emerse 23 classi per un totale di 16000 punti

Come si vede la distribuzione e' fondamentalmentre asimmetrica con le prima 4 classi che rappresentano la gran parte dei dati. E' stato effettuato un taglio dei dati alle prime 6 classi

 Il file CSV e' stato utilizzato  all'interno dello script seguente in Colab (si tratta di un semplice adattamento del programma di esempio di Tensorflow per la rete  decision tree)

# -*- coding: utf-8 -*-

"""decisiontree_venezia.ipynb

Automatically generated by Colaboratory.

Original file is located at

    https://colab.research.google.com/drive/1f8HLdjHiDNvpplKzNOVrXuIXrKTay0TS

"""

!pip install tensorflow_decision_forests

import numpy as np

import pandas as pd

import tensorflow_decision_forests as tfdf

path = "/content/classi_nobat_ridotto.csv"

pandas_dataset = pd.read_csv(path)

# Display the first 3 examples.

pandas_dataset.head(3)

np.random.seed(1)

# Use the ~10% of the examples as the testing set

# and the remaining ~90% of the examples as the training set.

test_indices = np.random.rand(len(pandas_dataset)) < 0.1

pandas_train_dataset = pandas_dataset[~test_indices]

pandas_test_dataset = pandas_dataset[test_indices]

print("Training examples: ", len(pandas_train_dataset))

print("Testing examples: ", len(pandas_test_dataset))

tf_train_dataset = tfdf.keras.pd_dataframe_to_tf_dataset(pandas_train_dataset, label='classe')

model = tfdf.keras.CartModel()

model.fit(tf_train_dataset)

tfdf.model_plotter.plot_model_in_colab(model, max_depth=10)

model.compile("accuracy")

print("Train evaluation: ", model.evaluate(tf_train_dataset, return_dict=True))

tf_test_dataset = tfdf.keras.pd_dataframe_to_tf_dataset(pandas_test_dataset, label='classe')

print("Test evaluation: ", model.evaluate(tf_test_dataset, return_dict=True))

from keras.utils import plot_model

plot_model(

    model,

    to_file='model.png',

    show_shapes=False,

    show_dtype=False,

    show_layer_names=True,

    rankdir='TB',

    expand_nested=False,

    dpi=96,

    layer_range=None,

    show_layer_activations=False,

    show_trainable=False

)

!pip install keras-tuner

import keras_tuner as kt

def build_model(hp):

  model = tfdf.keras.CartModel(

      min_examples=hp.Choice("min_examples",

          # Try four possible values for "min_examples" hyperparameter.

          # min_examples=10 would limit the growth of the decision tree,

          # while min_examples=1 would lead to deeper decision trees.

         [1, 2, 5, 10]),

      validation_ratio=hp.Choice("validation_ratio",

         # Three possible values for the "validation_ratio" hyperparameter.

         [0.0, 0.05, 0.10]),

      )

  model.compile("accuracy")

  return model

tuner = kt.RandomSearch(

    build_model,

    objective="val_accuracy",

    max_trials=10,

    directory="/tmp/tuner",

    project_name="tune_cart")

tuner.search(x=tf_train_dataset, validation_data=tf_test_dataset)

best_model = tuner.get_best_models()[0]

print("Best hyperparameters: ", tuner.get_best_hyperparameters()[0].values)

# >> Best hyperparameters:  {'min_examples': 2, 'validation_ratio': 0.0}

model = tfdf.keras.CartModel(min_examples=2, validation_ratio=0.0)

model.fit(tf_train_dataset)

model.compile("accuracy")

print("Test evaluation: ", model.evaluate(tf_test_dataset, return_dict=True))

tfdf.model_plotter.plot_model_in_colab(model, max_depth=10)

Training examples: 13463 Testing examples: 1520

 

al termine si ha una accuracy della porzione di dati di test superiore al 70%

14/14 [==============================] - 1s 8ms/step - loss: 0.0000e+00 - accuracy: 0.7761 Train evaluation: {'loss': 0.0, 'accuracy': 0.7761271595954895} 2/2 [==============================] - 0s 19ms/step - loss: 0.0000e+00 - accuracy: 0.7388 Test evaluation: {'loss': 0.0, 'accuracy': 0.7388157844543457} 

In generale la rete nel caso di incertezza di una classe seleziona sempre classi contingue