Ancora sui Flat field

[dbologna]

Ciao a Tutti,
in questi giorni stavo valutando la bontà dei Flat file che utilizzo per l'elaborazione delle immagini astronomiche utilizzando PixInsight.
Tutte le immagini Bias, Light, flat e Dark le acquisisco tramite una camera QHY8L raffreddata a -30 gradi.
Oggi ho voluto valutare la bontà dei Flat andando a generare il Master Flat utilizzando i seguenti passi :
1) generazione Master Bias ed anche Super Bias con il processo di Integrazione dei files Bias
2) generazione Master Dark con il processo di integrazione dei file Dark
3) calibrazione dei file Flag utilizzando il SuperBias e il Master Dark
4) integrazione dei Flat file calibrati ottenendo il Master Flat
naturalmente ho eseguito questi processi settando i parametri riportati in alcuni forum o in alcuni video su YouTube.
Ottenuto il Master Flat ho applicato all'immagine l'operatore Screen Transfer Function che esegue uno stretch visivo e mi aspettavo di trovare un'immagine in cui era presente vignettatura, i soliti cerchi che evidenziano polvere sulle lenti, le parti esterne dell'immagine più scura, ma nulla di questo.
Ritengo che questo Master Flat non apporti miglioramenti alla mia immagine anzi forse potrebbe aggiungere altri difetti.
Ritengo che il tempo di esposizione dei Flat file sia errato.
Attualmente utilizzo 700ms come tempo di esposizione per i Flat file utilizzando una Flat box.

In questi giorni ho letto in internet una tecnica per l’acquisizione corretta di Flat File che portano alla generazione di un Master Flat affidabile. Il tutto si base sul calcolo della dinamica del sensore.
Riporto di seguito i dati trovati in internet sul mio sensore :
- sensore Sony ICX413Q
- FWC Full Well Capacity per pixel di 25Ke-
- RON Readout noise compreso tra i 6e- ed i 7e-.
- La dinamica del convertitore Analogico digitale della camera è a 16 bit per cui 65535 valori di grigio.
Tenendo conto del valore di Readout noise del sensore la sua dinamica dovrebbe essere data dalla formula FWC/RON e quindi 4166.66 che convertito in ADU corrisponde a 10918.92 ADU. Ho letto in internet, e spero di aver compreso bene, che per calibrare bene i miei light sarebbe utile ottenere un Master Flat con valore Medio pari a 10918.92 ADU. Se come citato questa tecnica è corretta io partirei dai dati di una serie di Master Flat per determinare il tempo di esposizione dei Flat file. La tecnica che ho sempre utilizzato è quella di avere un Master Flat il cui valore medio fosse 1/3 della dinamica della camera ovvero 21845 ADU.
Presumo che la mia tecnica non funzioni per cui, visto il tempo a disposizione, tenterei la tecnica che ho trovato in internet e riportata sopra.

Qualcuno può dirmi se i passaggi che vado a descrivere sono corretti per effettuare l’analisi dei Master Flat per verificare della tecnica sopra.
Passaggio per l’analisi
1) Genero il Master Flat utilizzando il processo indicato sopra per diverse serie di Falt file generati con tempi di esposizione differenti
2) Eseguo Histogram Transformation per ogni Master Flat utilizzando i valori dell’operatore Screen Transfer Function
3) Eseguo l’operatore di Statistic sull’immagine stirata dei Master Flat ed estraggo il valore medio
4) Confronto il valore medio con i valori indicato sopra (10918.92 ADU). Se il valore è vicino dovrei avere un Master Flat in grado di calibrare i miei Light. In questo caso l’immagine stirata dovrebbe evidenziare vignettatura, polveri e la corona nella parte esterna dell’immagine.

Ringrazio anticipatamente
Dimitri

[Nicobugi]

ciao ma hai verificato che il master flat effettivamente non apporta migliorie alla foto? se non hai riscontrato granelli di polvere forse non ne hai, io di recente ho pulito bene il vetrino sul sensore ed ora logicamente i miei flat non evidenziano alcuno sporco, per la vignettatura dipende, ad esempio io non ne ho molta, e piazzando il picco dell'istogramma a poco più di un terzo (21/22000 adu) il flat mi corregge perfettamente

[iaco78]

Dovresti postare i due file con lo stretch e allora si vede se ci sono differenze.
Io cerco di stare attorno ad un valore di 19.000 - 22.000 ADU durante la ripresa dei flat e non ho nessun problema.

Con i 700 ms di tempo che valore di ADU hai? Credo sia un dato importante da valutare.

Anche io faccio la generazione manuale dei file di calibrazione .

[dbologna]

ciao ma hai verificato che il master flat effettivamente non apporta migliorie alla foto? se non hai riscontrato granelli di polvere forse non ne hai, io di recente ho pulito bene il vetrino sul sensore ed ora logicamente i miei flat non evidenziano alcuno sporco, per la vignettatura dipende, ad esempio io non ne ho molta, e piazzando il picco dell'istogramma a poco più di un terzo (21/22000 adu) il flat mi corregge perfettamente

Grazie Nicobugi,
guardando l'immagine stirata che esce fuori dal processo di calibrazione e integrazione noto una forte vignettatura ai bordi cosa che mi aspetterei venga rimossa da un buon Master
Flat. Inoltre stirando il Master Flat vedo un'immagine piatta che non può dare alcuno contributo.
Ti allego l'immagine stirata che esce fuori del processo di calibrazione e integrazione in cui si nota una forte vignettatura. Giudica tu stesso.
Grazie
Dimitri

[Nicobugi]

mmm, hai riscontrato sempre questo problema? magari sbagli qualche passaggio nella calibrazione, hai provato a buttare i file singoli in batch preprocessing o in deepsky stacker giusto per vedere se il problema sta nella calibrazione di pixinsight?

[etruscastro]

sposto in -Deep Sky-

[dbologna]

Dovresti postare i due file con lo stretch e allora si vede se ci sono differenze.
Io cerco di stare attorno ad un valore di 19.000 - 22.000 ADU durante la ripresa dei flat e non ho nessun problema.

Con i 700 ms di tempo che valore di ADU hai? Credo sia un dato importante da valutare.

Anche io faccio la generazione manuale dei file di calibrazione .

Grazie Iaco78.
L'ultima volta che ho fatto dei Light ho anche fatti differenti Flat a diverse esposizioni (almeno 10 per diverse esposizioni a partire dai 100ms fino ai 900ms).

Di seguito allego :
1) Master Flat stirato generato con Flat da 700ms con il valore medio in ADU pari a 54321 che direi eccessivo
2) Master flat stirato generato con Flat da 200ms con il valore medio in ADU pari a 17246 che direi vicino hai valori che hai indicato
3) Master Flat stirato generato con Flat da 100ms con il valore medio in ADU pari a 8736 vicino al valore indicato nel blocco iniziale della discussione

SE il valore medio in ADU per ogni immagine è calcolato correttamente non trovo in nessuna delle immagini la tipica immagine di un Master Flat.
Grazie

Dimitri

[dbologna]

mmm, hai riscontrato sempre questo problema? magari sbagli qualche passaggio nella calibrazione, hai provato a buttare i file singoli in batch preprocessing o in deepsky stacker giusto per vedere se il problema sta nella calibrazione di pixinsight?

Ciao Nicobugi,
per il processo iniziale utilizzo Batch Processing caricando tutti i Bias, tutti i Dark ,tutti i Flag e tutti i Light ma eseguendo l'integrazione finale all'esterna al processo.
Non ho mai usato deep sky stacker m potrei provare.

Ritengo che Pixinsight sia un buon software di Elaborazione dell'immagine astronomica, per cui vorrei sfruttarlo al meglio.
Una informazione che forse ho omesso all'inizio della discussione e che io faccio foto dal centro citta con un Rifrattore APO Tecnosky AG86.
Grazie
Dimitri

[Jerry]

Cosa vuol dire masterdark generato da flat?
Con il flat devi generare il masterflat

[dbologna]

Cosa vuol dire masterdark generato da flat?
Con il flat devi generare il masterflat

Scusa Jerry, in effetti ho scritto male si tratta, per i 3 punti, di Master Flat e non di Master Dark.
Scusate
Ciao
Dimitri

[Jerry]

Non capisco il punto 2 del tuo primo messaggio, se applichi HT con i valori di STF passi in zona non lineare e tutti i tuoi numeri non valgono più.
Dovresti postare l'istogramma di un solo flat debayerizzato e poi il suo stretch con STF per capire meglio perché potresti essere molto sottoesposto o la creazione del master flat non è corretta.
Lascia stare per adesso dark e superbias.

[iaco78]

Sulle foto che hai postato dei master flat si vede tipo la matrice di Bayer...bho, io nn conosco i sensori a colori ma puo' esser un problema di debayer?
Indubbiamente comunque sono sbagliati...Come dice Jerry bisogna vedere il grafico per capire se stai esponendo correttamente...
Ma se tu fai il processo in due step, immagino che prima fai solo la calibrazione.....
In questi caso Pix ti dovrebbe gia' creare i master Flat...

Non mi e' molto chiaro il processo che usi per ottenere questi master....
Io solitamente calibro tutto a mano avendo i vari master. Solo quando aggiorno i file rifaccio tutto.
Non trovo mai nessuna differenza (sui master di calibrazione) tra calibrazione manuale, batch Preprocessing di Pixinsight o DDS....

37730

Questo e' un mio master Flat , c'e' di tutto sul mio treno ottico ma zero vignettatura...:biggrin:

[dbologna]

Ciao Jerry, Ciao iaco78
in generale il processo iniziale di elaborazioni delle immagini lo eseguo utilizzando il modulo Batch Preprocessing di Pixinsight
lasciando manuale l'integrazione finale. Per cui io inserisco 20 bias, 20 Dark, 20 Flat ed un numero N > 30 file di Light e dopo
l'integrazione ho l'immagine di partenza per l'elaborazione. Sono ritornato al processo manuale perché l'immagine integrata
riportava molta vignettatura per cui ho presupposto che i Flat file non andassero bene.

Per capire se i flat file sono esposti correttamente ho provato a generale il Master Flat che viene utilizzato nel processo di Bach Preprocessing ed ho provato a visualizzarlo per vedere il suo contenuto. Quello che ho visto non mi ha per niente soddisfatto ecco
perché sto analizzando le tempistiche dei flat file.

Scusa Iaco78 ma il Master Flat che hai allegato è stato stirato con Screen Transfer Function on con Histogram Transformation ?

HO aggiunto anche le immagini che ha richiesto Jerry
di seguito riporto l'immagine di un flat file debayerizzato, i suoi dati e la stessa immagine stirata con SFT
Ho preso un flat file da 200ms che sembra quello più vicino ad un flat
Grazie
Ciao
Dimitri


377473774837749
Grazie
Dimitri

[Jerry]

I flat che riprendi mi sembrano corretti, avevo chiesto l'istogramma dell'immagine debayerizzata per capire dove si posiziona il Picco Ma dai valori che leggo sembra buono. Potrebbe essere allora qualche impostazione nel Batch preprocessing.
Qui potrebbe venirti in aiuto Iaco che è più esperto di me.

[dbologna]

I flat che riprendi mi sembrano corretti, avevo chiesto l'istogramma dell'immagine debayerizzata per capire dove si posiziona il Picco Ma dai valori che leggo sembra buono. Potrebbe essere allora qualche impostazione nel Batch preprocessing.
Qui potrebbe venirti in aiuto Iaco che è più esperto di me.

Grazie Jerry,
ho notato anche un'altra cosa nelle immagini debayerizzate dei singoli Flat file, più aumento il tempo di esposizione del flat e più l'immagine tende al rosso.
Il mio generatore di Flat field è il tipico disco rotondo acquistato in commercio con alimentazione fissa. Il disco è stato attaccato ad un pezzo quadrato di plexiglass bianco. La luce che parte dal generatore di Flat field attraversa il plexiglass e raggiunge la camera. Potrebbe essere che il plexiglass non sia il materiale corretto da inserire tra la fonte luminosa e la camera ?
Forse sarebbe meglio utilizzare un foglio bianco oppure utilizzare direttamente il generatore di Flat Field senza interporre nessun materiale ?
Grazie
Dimitri

[rick]

Ciao, ieri sera sono riuscito a far lavorare i flat per la prima volta nella mia vita :D
Nel mio caso ho trovato la "quadra" usando una tshirt bianca ben tesa sul tubo e il pannello di plexiglass appoggiato sul tubo tra la tshirt e la flat box. In questo modo ho ottenuto la tanto sudata uniformitá che ha corretto in modo impeccabile.
Uso l'ASI294MCPro e da quello che ho letto in giro, per il mio sensore, i tempi di esposizioni devono essere tali da consentire un mean value di circa 25000/30000 ADU.
Come suggerito in precedenza su questo thread, fai delle prove anche con DSS. Di solito la calibrazione la faccio fare a lui e poi riprendo il lavoro su Pixinsight

[dbologna]

...Come suggerito in precedenza su questo thread, fai delle prove anche con DSS. Di solito la calibrazione la faccio fare a lui e poi riprendo il lavoro su Pixinsight

Ciao a Tutti,
anche questa settimana di smart working è finita e mi posso dedicare al mio hobby.
Ho provato ad usare DDS e dopo aver caricato light, dark, bias e flat ho cliccato su Register checked pictures ho settato tutti i parametri e alla partenza del processo ho ricevuto il seguente messaggio

The checked pictures are not compatibles (width, height, number of colors, number or channel, only one master dark, offset and flat)

non capisco , le immagini hanno tutte la stessa dimensione e l'analisi con Compute Offset mi fornire informazioni corrette per ogni file caricato, sono gli stessi files che utilizzo con Pixinsight.

Qualche suggerimento ?
Grazie

Dimitri

[Jerry]

Nella finestra dove carichi i file in DSS se scorri a destra ti mostra la dimensione, profondità e altri valori e dovresti capire se non sono uguali, magari manda una schermata con due o tre file per tipo, bias, dark, flat, img.
Forse è per questo che Pix non ti prende in considerazione i flat perchè sono incompatibili ( ma dovrebbe darti errore però )

[iaco78]

Ciao Dimitri
Controlla di aver ripreso tutti i file nello stesso formato RAW. Non magari RAW+JPEG ...non ho trovato alrti suggerimenti...
https://www.cloudynights.com/topic/568007-dss-help-checked-pictures-not-compatible/

Puoi anche provare a cambiare il valore di star detection threshold per fare qualche prova...
37883

Avevo perso le domande di prima...:)
Quel mio master flat del canale L e' la somma di 21 flat calibrati con 21 dark e 200 bias trasformato in non lineare con STF e poi applicati i parametri su HT.
Venendo al tuo, l'ultimo che hai postato sembra esser corretto, pero' ancora troppo pulito...non saprei, dovresti postare l'istogramma cosi da capire come stai esponendo...Poi si vedono i parametri di calibrazione che usi in PIX...puo' darsi in un problema anche li...
Un altro suggerimento puo' esser questo:
Scaricati un software di ripresa che abbia la possibilita' di generare automaticamente i tempi dei flat e prova ad aquisire i flat con quello. Puoi ad esempio utilizzare APT, un software gratuito che ti puo' gestire tutta la sessione fotografica (guida, fuoco, scatti ecc) e anche automaticamente trovare i tempi ideali per i Flat file.
Riguardo al flat generator e, importante che al sensore arrivi una luce il piu' uniforme possibile.
Io ho il generatore classico tipo il tuo credo:
37882
Pero' non gli metto niente davati....
Spero che riesci a risolvere..i flat sono i file piu' importanti devono esser fatti bene...

[dbologna]

Nella finestra dove carichi i file in DSS se scorri a destra ti mostra la dimensione, profondità e altri valori e dovresti capire se non sono uguali, magari manda una schermata con due o tre file per tipo, bias, dark, flat, img.
Forse è per questo che Pix non ti prende in considerazione i flat perchè sono incompatibili ( ma dovrebbe darti errore però )

Ciao Jerry,
grazie del suggerimento, sulle dimensioni ho verificato immediatamente, come potrai verificare dall'immagine allegata, unico dubbio e che non sono definiti i valori di disallineamento tra le immagini light. I valori dx, dy, Angle per le immagini light hanno valore N/A potrebbe essere questa la causa del messaggio ?

37884

[Jerry]

Hai dei Gray a 16bit e 32bit mischiati

[dbologna]

Hai dei Gray a 16bit e 32bit mischiati

Grazie Jerry,
non avevo notato la differenza.
Ho recuperato le immagini originali, le ho caricate insieme ai Dark, Flat e Bias e tutti è andato a buon fine.
Le immagini che stavo utilizzando sono il risultato del processo SubframeSelector di Pixinsight, in particolare in questo caso siccome avevo eliminato un po' di frame fuori range avevo applicato la funzione Output Subframes che spostai frame buoni frame dalla directory originale ad una secondaria.
Ho appena verificato e la procedura di Output Subframe cambia i file spostati cambiando la profondità da 16 bit a 32 bit.

Ho anche iniziato a fare dei test con Astro Photography Tool con la camera QHY8L ed ha un numero di funzionalità molto maggiori di EXCAP.
Non riesco però a portare la temperatura del CCD a -30 gradi cosa che riuscivo a fare tranquillamente con EXCAP.
Qualcuno con la stessa camera è riuscito a portare il CCD a quella temperatura.
Grazie
Dimitri

[Jerry]

Dipende che delta riesci a raggiungere con il tuo raffreddamento. Più la temperatura esterna è alta e meno scenderai. Sconsiglio di far funzionare la peltier sempre al 100% per non rovinarla velocemente.