Power Query database management

[@frachiar4444]

trucchi e consigli preziosissimi!

[@antonioascione6589]

ciao ho un problema con power query, in pratica cliccando aggiorna tutto non mi va ad aggiornare i dati provenienti da due fonti esterne sql, se invece apro il pannellino di power query e clicco sulle rotelline piccole accanto alle query i dati si aggiornano

[@LodovicoDIncau]

Ciao Antonio, presumo che sia perchè non hai tolto il flag "Dati in Background" dalle proprietà delle query in stato sola connessione. Click destro nelle query=>proprietà e togli quel flag malefico ;-)

[@emilioscaccaglia6134]

Ottimo, bravo!

[@Francalberto71]

Ciao Lodovico, avrei bisogno della tua esperienza e competenza per riuscire ad ottimizzare i tempi di elaborazione di una Powerquery. Allora... provo a descrivere la situazione: Io ho 2 file: a) un file CSV da circa 360.000 righe e dal peso di 40 Mb b) un file excel dentro cui ho 3 PowerQuery La Powerquery #1 va a caricare i dati presenti nel file csv, li semplifica subito togliendo tutto il superfluo, e poi modella tutto quanto fino a dargli una forma soddisfacente. Al termine di queste operazioni viene salvata come "connessione". La salvo come connessione perché questa per me è la base dati da cui partire per creare 2 diversi report che - grazie ad altrettante PowerQuery - dovrò poi visualizzare su excel. La PowerQuery #2, come anticipato, ha come origine un "riferimento" alla PowerQuery #1 e attraverso successive elaborazioni (poche) produce una tabella di circa 2000 righe che viene salvata su un foglio excel. La PowerQuery #3 fa una cosa analoga. Ha cioé come origine un "riferimento" alla PowerQuery #1 e attraverso una pivotizzazione produce una seconda tabella di circa 12000 righe che viene salvata su un foglio excel. Qual è il problema? Il problema è che l'elaborazione complessiva di tutto questo (che avviene con cadenza quotidiana, con l'opzione dell'aggiornamento in background deselezionata in modo da riservare tutta la potenza di calcolo a questo task) richiede circa 15 minuti, che a me sembrano francamente troppi. Lo dico non soltanto perché ho visto che tu hai dipendenze delle Query ben più complesse delle mie e con dbase da milioni di record che a queste condizioni dovrebbero richiedere ore e ore per essere elaborate, ma anche perché - ed è questo secondo me il problema - mi sono reso conto che la PowerQuery #2 e poi anche la #3, quando vengono elaborate, caricano una quantità di dati che ha un peso triplo rispetto a quello che fa la PowerQuery #1 da cui dipendono. In altre parole la PowerQuery #1 carica i 40 Mb del file CSV e poi li elabora. La PowerQuery #2, invece, carica circa 80 Mb di dati prima di iniziare a elaborarli e nel farlo perde un sacco di tempo. La stessa cosa poi avviene con la PowerQuery #3. Il mio timore è che le PowerQuery #2 e #3, per produrre i loro output, non partano dall'output semplificato/alleggerito della PowerQuery #1, ma si vadano a rileggere anche loro il file csv, facciano le elaborazioni della PowerQuery #1 per poi, soltanto alla fine, fare le elaborazioni loro richieste. Se il mio timore è fondato, la domanda è: come posso configurare il tutto affinché le elaborazioni delle PowerQuery #2 e #3 abbiano come punto di partenza l'output della PowerQuery #1? Ci sono accorgimenti che posso prendere per ottimizzare il flusso dei dati, evitare rilavorazioni, ed efficientare i tempi di elaborazione del tutto? Grazie mille, come sempre!

[@LodovicoDIncau]

Ciao Francalberto, è un po' difficile risponderti senza avere il file sotto mano, la velocità dipende molto anche dal tipo di passaggi che vai a creare, ci sono molti modi di calcolare le stesse cose, con l'esperienza e a volte a tentativi si scoprono i sistemi più performati per far rollare il tutto più velocemente. Diciamo che se ti dovessi indirizzare verso una soluzione rapida "anche se non è il top" ti direi di scaricare i dati della Q1 su Excel e poi di ricaricarli sulla Q2 e Q3, così parti da un dato "storato e privo di calcoli" dove Q2 e Q3 saranno mooolto più veloci. Per fare bene bisognerebbe analizzare il file con calma e capire bene cosa è meglio fare.

[@Francalberto71]

@@LodovicoDIncau Innanzitutto grazie per la prontissima risposta Lodovico. Quindi il fatto di salvare la Q1 come tabella, su un foglio excel, anziché come connessione paradossalmente potrebbe portare benefici? Dico "paradossalmente" perché la trascrizione dell'output della Q1 su una tabella richiede tempo e credo faccia anche aumentare le dimensioni del file. Tuttavia il tempo di lavorazione potrebbe ridursi perché le Q2 (e poi anche la Q3) inizierebbero le lavorazioni dove aveva terminato la Q1, anziché rifare ogni volta il caricamento del CSV + Elaborazioni Q1 + Elaborazioni Q2? Se fosse così sarebbe esattamente quello che avevo bisogno di capire per fare un passo avanti e uscire da quest'impasse. In questo caso un dubbio: potrebbe essere meglio (più veloce) salvare la Q1 come PowerPivot anziché come tabella o non ci sono differenze significative? L'altra cosa che devo cercare di capire meglio e che non ti chiedo per non tediarti è cosa significhi esattamente "aggiungere al modello dei dati" una PowerQuery. Quando vada fatto e per quali effetti/benefici. Ho visto tutti i tuoi video sulle Pq ma non ricordo di essermi imbattuto nella risposta a questa domanda. Comunque approfondirò. Grazie ancora e scusa la verbosità dei miei interventi.

[@LodovicoDIncau]

Ciao Franco, si è come dici, con i csv purtroppo funziona così, io personalmente caricherei il csv in SQL Server e PQ lo attaccherei li (ti cambia il mondo). Puoi mettere la Q1 in PP per risparmiare spazio ma poi non la puoi riprendere con PQ a meno che non ti aggiungi lo script che ti esporta quel dato in CSV così poi la Q2 e Q3 riprendi da quel CSV che hai generato al volo. Per gli approfondimenti al modello dati devi spararti anche la playlist di PowerPivot (prima magari sparati velocemente quei 4 video che trovi nella playlist del 2017 così ti fai una overdue moolto rapida dello strumento) Caricare sul modello dati significa passare i dati al motore di PowerPivot "PP" che lavora in modo compresso e molto veloce. Fatti una pensata sul SQL Server, se ci prendi dentro non torni più indietro :)

[@Francalberto71]

@@LodovicoDIncau Quando parli di script ti riferisci ad una macro che salva la PP in un file csv "esterno" e poi fa in modo che l'istruzione successiva importare quel file tramite PQ? Se è così la logica mi torna e posso senz'altro fare una cosa del genere ma se l'obiettivo di far pescare i dati delle Q2 e Q3 dall'output delle Q1 si ottiene ugualmente, voglio anche provare gli eventuali incrementi prestazionali che si ottengono nel salvare la Q1 come semplice tabella, all'interno di un foglio ad hoc dello stesso file. Così valuto. Ciò premesso l'idea di approfondire il SQL Server mi intriga molto perché ne ho sempre sentito parlare e vedo che è utilizzato molto diffusamente anche nella mia Azienda. Ho poi visto che stai facendo dei tutorial anche su questo solo che mi sono fermato sia perché volevo prima attendere che li finissi in modo da sciropparmeli tutti quanti di fila, sia perché ho avuto la sensazione che non fosse un applicativo dalle logiche di utilizzo esattamente immediate e, con tutte le cose che ho da fare, questo mi ha un po' scoraggiato. Però è una di quei temi che ho da tempo idea di approndire e che ora che mi dici queste cose, mi intriga ancora di più. Mi riprometto quindi di studiare per bene i tuoi tutorial (sia su PP che su SQL). Grazie ancora Lodovico. Ti sono veramente riconoscente.

[@LodovicoDIncau]

@@Francalberto71 Si corretto come dici, caricando la Q1 su powerpivot la puoi poi esportare in csv per riprenderlo dalla q2 e q3 per tutte queste soluzioni non sono molto ottimali. Io approcerei a una gestione del dato lato database (SQL o MSAccess) e solo poi passerei ad excel. Per SQL inizia, idem per access, non serve che te li spari tutti d'un fiato, o se vuoi fallo e poi riprendi i video man mano che devi fare le cose specifiche che ti servono (io stesso riprendo i miei video a volte) :) Ma per un sistema di reportistica è fondamentale avere un database, cosa che Excel non è. PQ fa miracoli però per usarlo escludendo totalmente il supporto di un database bisogna saperlo usare molto bene (se si ha a che fare con ETL complessi) sennò si rischia di avere i tempi di update che vanno alle stelle. Con quell'ordine di grandezza che mi hai detto, io sono convinto che se avessi il dato su SQL, in start ti fai un piccolo scrit SQL abbassi i tempi di caricamento a 30/60 secondi (penso) poi bisogna sempre valutare e vedere bene il contesto delle cose.

[@francescosaveriolafronza2913]

Ciao Lodovico , trovo i tuoi video utili e ben spiegati...potresti consigliarmi qualche testo per approfondire power query e power BI ma sopratutto uno che introduca al concetto di business Intelligence? Grazie e continua cosi. S.

[@LodovicoDIncau]

Ciao Francesco, grazie mille! Io personalmente non sono un grande lettore di testi però l'altra sera se non erro ne avevano citati alcuni in live, provo a chiedere ai colleghi se hanno qualcosa di interessante da consigliarti e ti faccio sapere replicando in questo post.

[@LodovicoDIncau]

Eccomi, Enrico Galli che è ferrato di manuali mi consiglia questo: - Power Pivot and Power BI: The Excel User's Guide to DAX, Power Query, Power BI & Power Pivot in Excel 2010-2016 (di Rob Collie e Avi Singh): più consigliato per i principianti, anche perché è una lettura più scorrevole e a tratti anche divertente. Tratta un po' tutti gli argomenti, da Power Query al DAX (i primi rudimenti, che però già aprono numerosissimi scenari impensabili con le pivot classiche) - The Definitive Guide to DAX - 2nd Edition (di Alberto Ferrari e Marco Russo): questa è la "bibbia" del DAX, dedicato a chi vuole approfondire davvero questo linguaggio. Preparatevi a una lettura impegnativa Aggiungo anche, sempre di Ferrari-Russo, e anzi consiglio caldamente come lettura propedeutica alla precedente (come ha fatto lo stesso Marco Russo con me): - Analyzing Data with Power BI and Power Pivot for Excel (di Alberto Ferrari e Marco Russo): questo libro, benché ci siano delle formule DAX mostrate, si pone l'obiettivo di insegnare cos'è un modello dati, e come ottimizzando quest'ultimo si possa ridurre o semplificare di molto l'utilizzo del DAX

[@francescosaveriolafronza2913]

@@LodovicoDIncau Grazie 1000 :-)

[@stefanovalentino8009]

Ciao Lodovico, complimenti per i tuoi video, molto chiari e professionali. Vorrei chiederti se esiste la possibilità, una volta creato un modello dati di power pivot (proveniente da tabelle create tramite PQ) di importare lo stesso in power BI per pubblicare su mobile alcune Dashboard. Ho dei forti dubbi su questa operazione, perché nel modello dati ci sono formule creare con linguaggio DAX che non credo siano compatibili con il “language m” di Power BI. Nel caso avessi ragione, come mi consiglieresti di pubblicare i dati ?

[@LodovicoDIncau]

Ciao Stefano, I modelli di Excel possono essere importati su pbi (mi pare ci sia una lezione sulla mc di pbi, però non ricordo se é già visibile per tutti) in ogni caso quando importi lui replica tutto in pbi (excel ha meno funzionalità di pbi quindi sicuramente tutto é compatibile.. Il problema può esserci se prendi dati dal foglio del file) Ps se sei iscritto sei inserito in lista per l'estrazione che farò nella live del 22 alle 20!

[@paolotombolato4497]

Ciao Ludovico, ho notato che nell'indice dei capitoli manca il 4

[@LodovicoDIncau]

Ciao Paolo, ho appena scaricato il file e trovo la lezione 4, forse ho frainteso io il tuo messaggio?

[@paolotombolato4497]

@@LodovicoDIncau intendo che nell'indice dei capitoli di questa lezione manca il 4, si passa da 3 a 5 (sia chiaro che per accorgersene bisogna avere disturbi gravi, ma tant'è!)

[@LodovicoDIncau]

@@paolotombolato4497 ora ho capito, lol. Grazie della segnalazione.. domani lo sistemo :)