Visualizzazione post con etichetta Google. Mostra tutti i post
Visualizzazione post con etichetta Google. Mostra tutti i post

venerdì 18 novembre 2022

Landsat Google Cloud Bucket

Oltre alle immagini Sentinel e' possibile scaricare da Google  anche i dati Landsat Collection 1



Si trovano su un bucket pubblico

 https://cloud.google.com/storage/docs/public-datasets/landsat

il contenuto del folder indicizzato dal file index.csv.gz

il contenuto dell'indice (dimensione di oltre 1 Gb)contiene i seguenti campi

SCENE_ID,
PRODUCT_ID,
SPACECRAFT_ID,
SENSOR_ID,
DATE_ACQUIRED,
COLLECTION_NUMBER,
COLLECTION_CATEGORY,
SENSING_TIME,
DATA_TYPE,
WRS_PATH,
WRS_ROW,
CLOUD_COVER,
NORTH_LAT,
SOUTH_LAT,
WEST_LON,
EAST_LON,
TOTAL_SIZE,
BASE_URL

non e' disponibile un sistema di interrogazione non usando BigQuery...in pratica si scariva il csv e lo si elabora. Un metodo sbrigativo puo' essere l'utilizzo di csvq , lento ma che permette una sintassi in stile SQL. Per esempio

csvq "select * from index where WRS_PATH=192 and WRS_ROW=30

tramite la base URL si puo' scaricare il prodotto come da esempio successivo utilizzando le gsutil    

gsutil -m cp -r gs://gcp-public-data-landsat/LC08/01/044/034/LC08_L1GT_044034_20130330_20170310_01_T2/ .


giovedì 10 novembre 2022

Sentinel 2 in Google Cloud

 Le immagini Sentinel2 sono rilasciate in modo gratuito ma i repository delle immagini le forniscono con una interfaccia utente interattiva mentre e' a pagamento l'accesso automatico via API

In modo abbastanza casuale mi sono imbattuto in questo bucket su Google Cloud

https://console.cloud.google.com/storage/browser/gcp-public-data-sentinel-2/tiles/33/U/UP;tab=objects?prefix=&forceOnObjectsSortingFiltering=false

che puo' essere utilizzato mediante questa libreria Python (per la selezione e download)

https://github.com/QuantuMobileSoftware/sentinel2tools

per l'installazione si usa

pip3 install 
git+https://github.com/QuantuMobileSoftware/sentinel2tools.git@ca232cb66106db6cac729defdab91aad9aecb15b.

Lo scripthe puo' essere utilizzato mediante questa libreria Python (per la selezione e download)

Il criterio di selezione geografica avviene tramite un geojson che puo' essere creato mediante il servizio on line geojson.io

from sentinel2download.downloader import Sentinel2Downloader
from sentinel2download.overlap import Sentinel2Overlap

if __name__ == '__main__':
verbose = True
aoi_path = "./firenze_geojson_utm.json"

overlap = Sentinel2Overlap(aoi_path, verbose=verbose)
tiles = overlap.overlap()

print(f"Overlapped tiles: {tiles}")

api_key = f"./api_key.json"

loader = Sentinel2Downloader(api_key, verbose=verbose)

product_type = 'L2A' # or L1C
start_date = "2022-09-01"
end_date = "2022-09-30"
output_dir = './utm'
cores = 3
BANDS = {'TCI', 'B04', }
CONSTRAINTS = {'NODATA_PIXEL_PERCENTAGE': 15.0, 'CLOUDY_PIXEL_PERCENTAGE': 10.0, }

loaded = loader.download(product_type,
tiles,
start_date=start_date,
end_date=end_date,
output_dir=output_dir,
cores=cores,
bands=BANDS,
constraints=CONSTRAINTS)

print(f"Load information")
for item in loaded:
print(item)

print("Execution ended")

Visto che i dati sono in un bucket di Gooogle Cloud e' richiesta anche 'autenticazione a GCloud. 

Per avere il file json di autenticazione si deve aprire la consolle di GCloud, creare un progetto e seguire le istruzioni al link seguente

https://cloud.google.com/api-keys/docs/get-started-api-keys

Le immagini vengono scaricate in formato JP2, una per banda, a 16 bit e georiferite in UTM (attenzione a questo dato). Oltre alle 12 bande sono presenti un truecolor (TCI) 




Viene scaricata tutta l'immagine che comprende la selezione geografica. Per effettuare il taglio si possono usare le GDAL. Le coordinate devono essere UTM

from osgeo import gdal

upper_left_x = 674882
upper_left_y = 4854678
lower_right_x = 688882
lower_right_y = 4844623
window = (upper_left_x,upper_left_y,lower_right_x,lower_right_y)

gdal.Translate('output_tci.jp2', 'tci.jp2', projWin = window)





venerdì 3 gennaio 2020

Colab e TensorFlow

Colab e' una piattaforma cloud offerta da Google per sviluppare utilizzando i Jupiter Notebook..con la possibilita' di utilizzare anche una GPU con ovvi vantaggi nell'uso di Tensorflow

I dati si possono caricare su Google Drive ed essere condivisi con Colab tramite il codice sottostante.


Prima di poter utilizzare Colab si deve cliccare sul link, ottenere una chiave che dovremo incollare sulla pagina

La configurazione della GPU si trova su Notebook settings e dai log di Tensorflow risulta essere una Tesla P100-PCIE-16GB (la disponibilita' della CPU non e' garantita)


Di seguito la rete neurale dei foraminiferi in esecuzione su Colab. Da notare che dalla seconda epoch
entra in funzione la GPU con un significativo incremento delle prestazioni






lunedì 30 dicembre 2019

Corso How Google does Machine Learning

Visto che il precedente corso dava dei crediti su Coursera ho provato il corso offerto da Google




Non avevo mai provato Coursera, anche perche' i corsi interessanti sono costosi. Il livello delle lezioni non e' altissimo ed i test sono piuttosto banali rispetto al corso tenuto direttamente da Google ma c'e' stata la possibilita' di avere sessioni gratuite di utilizzo di Google Cloud...non male

giovedì 19 dicembre 2019

martedì 12 marzo 2019

giovedì 5 aprile 2018

Project Tango

Visto che il Progetto Tango di Google e' stato dismesso a Marzo 2018 i prezzi dei dispositivi Tango sono scesi ad un livello umano e mi sono preso un Project Tango Tablet Development Kit. In estrema sintesi si tratta di una tablet Android NVidia con processore Tegra K1 e 128 Giga di memoria dotato di sensori simili a quelli del Kinect per il calcolo della distanza degli oggetti inquadrati


Il nome in codice del tablet e' Yellowstone altrimenti conosciuto con la sigla NX-74751 (in Star Trek la nave USS Yellowstone ha il codice NX-74751) ed e' stato sviluppato internamente da Google presso Google's ATAP (Advanced Technology and Projects). Per sapere quale hardware c'e' dentro si rimanda a questo link

Attualmente la documentazione delle API di Tango sono sparite dal sito sviluppatori di Google ma sono sempre recuperabili su Archive.org mentre il codice di esempio e' stato spostato qui. Al momento non sono riuscito a trovare una immagine del firmware da poter scaricare
Il sensore di profondita' e' un OV4682 con una matrice di 320x180 pixels (risoluzione molto lontana dal Kinect) ed ha funzione anche di camera RGB. Ci sono inoltre una camera standard da 4 Megapixels piu' una camera fisheye da 120° ed una da 180° (in totale di sono 4 camere)

OSAndroid™ 4.4 (KitKat®)
Screen7.02” 1920x1200 HD IPS display (323 ppi)
Scratch-resistant Corning® glass
Camera1 MP front facing, fixed focus
4 MP 2µm RGB-IR pixel sensor
Size119.77 x 196.33 x 15.36 mm
Weight0.82 lbs (370 g)
Battery4960 mAH cell (2 x 2480 cells)
ProcessorNVIDIA Tegra K1 with 192 CUDA cores
Network/Wireless4G LTE¹
Dual-band Wi-Fi (2.4GHz/5GHz) WiFi 802.11 a/b/g/n
Bluetooth 4.0
NFC (reader and peer to peer modes)
Memory128 GB internal storage (actual formatted capacity will be less)
4 GB RAM
ConnectivityMicro HDMI
USB 3.0 host via dock connector²
Micro SD card
Nano SIM slot
SensorsMotion tracking camera
3D depth sensing
Accelerometer
Ambient light
Barometer
Compass
aGPS
Gyroscope
Audio OutputDual stereo speakers
3.5 mm audio connector (OMTP)

Viene riportato che il sensore della bussola non sia funzionante

Il tablet viene fornito con un dock che funziona da ricarica ed ha una porta USB. La porta USB serve solo per connettere eventuali USB drive o simili, non funziona come canale Adb. Inoltre il tablet e' talmente assetato di risorse che se si connette il solo cavo USB (e non l'alimentazione del dock, 12V 2A con connettore positivo al centro del jack) il dispositivo si scarica invece di caricarsi)

Alcune applicazioni gia' pronte risultano essere
  • App Discovery Project Tango 
  • Room Scanner
  • RTAB-Map (permette esportazione in ply)
  • Tango Scan View (converte i file OBJ in PLY)
  • ADF Tools
  • Tango Explorer
  • Java Point Cloud Example (dagli esempi Java)
Scansione con RTAB-Map visualizzata con MeshLab

E' possibile ancora ricompilare gli esempi ma non sono riuscito a ricompilare questo progetto


Per ottenere i permessi di root si usa TangoRoot e ChainFireSU (io non sono riuscito ad eseguire il root perche' Android continua a dire che e' TangoRoot e' una applicazione pericolosa e non la mette in esecuzione)

I dati delle immagini di profondita' vengono immagazzinati di default in formato super compresso binario proprietario ADF che risulta poco documentato. In ogni caso ci sono applicazione di terze parti che esportano in formati piu' comuni come PLY. La directory di salvataggio dei file ADF e' mutata nel tempo ma in ogni caso sembra richiedere i permessi di root


mercoledì 25 gennaio 2017

Google Home

Nonostante non sia ancora in vendita in Italia (piu' che altro perche' manca localizzazione in italiano...su Amazon Italia si puo' comprare ma e' un po' inutile se non si e' madrelingua inglesi) ho provato ad usare l'emulatore di Google Home perche' e' possibile creare i propri comandi vocale e le proprie azioni mediante Api.ai

L'idea e' quella, un po' banale, di fare un gioco carta/sasso/forbice, usando i tre comandi vocali ed ottenendo dal sistema una risposta ovvero la contromossa vincente









Ovviamente per come e' congegnato il sistema vince sempre..



Google IO : Save the date

Google ha lanciato, a modo suo, la data del nuovo Google IO...per sapere il posto ed il luogo e' necessario risolvere 5 puzzle.

Premetto che non intendo spoilerare i risultati (anche se le soluzioni sono gia' disponibili su Internet su Reddit) ..questo e' solo un racconto dei miei due successi e degli insuccessi

Si parte da questo link http://goo.gl/oqro8L. (attenzione a disattivare uBlock e simili)
Da notare che la soluzione per ogni quiz e' una coppia di coordinate geografiche

Il primo link punta a GitHub

basta leggere il codice Javascript per ottenere la prima coordinata

Data la prima soluzione viene fornito il primo indizio e si ha il link per il secondo quesito



Il secondo passo e' un video di Youtube pubblico ma non negli elenchi. L'immagine e' fissa senza audio


Il titolo del video e' See What Cannot Be Heard
attivando i sottotitoli si ottiene la sequenza

Magic I.see_a beach,-yes._i explore daylight

Non sono riuscito a risolverlo..certo che sapere che la soluzione doveva essere una coordinata mi ha dato la certezza che la virgola non era messa li' a caso
Ecco il secondo indizio



Il terzo quiz e' decisamente piu' facile. Una radio ed un microscopio pulsante play (si tratta di una slide di una presentazione)

La voce pronuncia il seguente codice

053 050 046 049 056 050 049 044 032 050 048 046 057 057 054 053

salta subito all'occhio lo 032 centrale e sapendo che si tratta del codice di una coordinata si desume che 032 indichi la virgola separatrice. Basta un confronto col codice ASCII della virgola (32) per capire che la coordinata e' una semplice codifica ascii dei numeri
Il


ed arriviamo ai due quiz per me impossibili
il quarto puzzle rimanda ad una cartella GDrive con alcune immagini

da notare anche il proprietario delle immaigni ovvero Pei Xiu , cartografo cinese
queste sono le immagin

caves.jpg

pillar.jpg

shrine.jpg

spire.jpg

ho provato a vedere se per caso negli Exif ci fosse il geotag con le coordinate. Niente da fare.
Ho provato a cercare le immagini con TinEye ma niente da fare


con Google Image (anche con l'immagine corrotta) si arriva a capire che le immagini sono relative al tempio di Gunung Kawi


pensavo di avere vinto una volta trovate le coordinate del tempio



ma e' tutto sbagliato....non si sono andato nemmeno vicino
con l'aiuto della rete comunque questo e' il quarto indizio


ed arriviamo al quinto quiz..inutile dire che su questo non sono riuscito nemmeno a partire


e questa e' la soluzione finale


2 su 5 e' sempre meglio che 0 su 5 (impegnandomi avrei potuto fare 3 su 5 ma l'enplein era praticamente impossibile)

giovedì 26 marzo 2015

Yubico Security Key su Ubuntu


In preda ad una smania di sicurezza ho attivato l'autenticazione a due passi su Google e mi sono comprato anche una chiavetta compatibile con il protocollo FIDO


In pratica nella chiave e' contenuta una firma digitale non modificabile che viene letta da Chrome per accedere ai servizi di Google senza la necessita' di un codice via telefono
La chiave era vendita come perfettamente trasparente su tutti i sistemi operativi dato che si presenta come una periferica USB di tastiera senza nessun driver da installare

L'indirizzo per registrare la chiave e' il seguente
https://security.google.com/settings/security/securitykey/add?pli=1

Su Windows XP e MacOsX nessun problema. Chrome ha visto la chiave al primo tentativo senza nessuna operazione aggiuntiva oltre all'inserimento nella porta

Su Ubuntu le cose sono state differenti. Per problemi di sicurezza interni a Linux la periferica USB non viene letta in automatico dal sistema operativo. Si deve creare il file 70-u2f.rules
------------------------------------------------------------
# this udev file should be used with udev 188 and newer
ACTION!="add|change", GOTO="u2f_end"

KERNEL=="hidraw*", SUBSYSTEM=="hidraw", ATTRS{idVendor}=="1050", ATTRS{idProduct}=="0113|0114|0115|0116|0120|0402|0403|0406|0407|0410", TAG+="uaccess"

LABEL="u2f_end"
------------------------------------------------------------
ed inserirlo /etc/udev/rules.d/. Al successivo riavvio la chiavetta funziona correttamente

lunedì 15 dicembre 2014

Google CardBoard

In vena di sperimentazione mi sono comprato la Google CardBoard
Si tratta di un esperimento presentato da Google per convertire un comune telefono (vedremo poi non poi cosi' comune) in un visore tridimensionale (come Oculus Rift) dal basso costo

Il kit puo' essere autoprodotto con del cartone (Google fornisce le istruzioni) ma non e' cosi' semplice perche' servono due lentine di una lunghezza focale ben determinata. Il kit ufficiale si trova sui 25 euro ma ho trovato su TinyDeal una offerta ad un paio di euro (spese di spedizione comprese, basta saper aspettare)



Come si vede il kit non e' gran che come precisione ed sono dovuto ricorrere al nastro adesivo per tenere tutto insieme. Il telefono deve essere inserito all'interno dell'alloggiamento (ATTENZIONE!!! puo' scivolare lateralmente quindi puo' cadere durante l'uso e' trattenuto dalle mani ma in altri casi no)
Come si vede dalla foto lo schermo del telefono viene diviso in due settori (uno per ogni occhio) per la visione stereoscopica


questo e' l'aspetto montato
Primo avviso: essendo fatto di cartone ed appoggiandosi sulla fronte, inevitabilmente il sudore della fronte sporca la parte interna (vedi foto sottostante) anche dopo un solo utilizzo


Secondo avviso: non tutti i telefoni sono adatti. Google certifica come funzionanti Nexus 5, Nexus 4 (alcuni utenti lamentano che non funziona perfettamente) e pochi altri. Sul mio Moto G 2013 l'esperienza 3D e' ottima ma NON funziona la funzione click con il magnete (posto sulla sinistra del visore) ed e' necessario avere un telefono con giroscopi (per esempio nei demo si deve inclinare il visore per scorrere a destra e sinistra e sul Moto G 2013 non funziona)

Terzo avviso: il visore puo' funzionare anche con IPhone. Ho provato con le applicazioni 3D compatibili con il 4S ma lo schermo e' decisamente troppo piccolo. Probabilmente si deve utilizzare IPhone 5

Oltre alle applicazioni su PlayStore sono molto carine le applicazioni 3D che si trovano su Chrome Experiment

lunedì 21 aprile 2014

Chrome Remote Desktop

Contrariamente a quanto prevede il nome Chrome Remote non e' una estensione in senso stretto del browser. Pur installando una componente dal WebStore di fatto in seguito viene scaricato un eseguibile indipendente dal browser che effettua tutto il lavoro di server di remote desktop

Il componente di Google Remote Desktop nelle Applicazioni di Chrome

Definizione dei pin di sicurezza
Installazione del server
Giusto per confermare come Chrome Remote Desktop sia distaccata dal browser Chrome e' possibile accedere alla macchina remota anche se sulla macchina remota non e' avviato il browser

Rispetto ad altri esempi di software di desktop remoto, Chrome Remote Desktop ha un fantastico client perfettamente integrato in Android 


In alto a destra l'icona per aprire la tastiera remote





Geologi

  E so anche espatriare senza praticamente toccare strada asfaltata