DataBase and Data Mining Group

Business Intelligence per i Big Data

Table of content

• Informazioni generali
• Orario delle lezioni
• Avvisi
• Esami
• Lezioni
  • Materiale di ripasso (Basi di dati)
• Temi d’esame
• Progetto di analisi di dati
• Esercitazioni
  • Materiale di ripasso (Basi di dati)
  • Software
• Esercitazioni da consegnare  
• Esercitazioni in Laboratorio

Informazioni generali

• CFU: 8
• Docente: Tania Cerquitelli
• Esercitatori: Evelina Di Corso, Stefano Proto

Orario delle lezioni

Avvisi

• Sono stati pubblicati i risultati della prova scritta del 11 Luglio 2019
• Giovedì 14 marzo 2019 si svolgerà la prima esercitazione di laboratorio presso il LEP.
• Sono state pubblicate le soluzioni degli esercizi del ripasso di basi di dati.
• Sono state pubblicate le soluzioni degli esercizi della prima esercitazione.
• Giovedì 11 aprile 2019 si svolgerà la seconda esercitazione di laboratorio presso il LEP.
• Sono state pubblicate le soluzioni degli esercizi della seconda esercitazione.
• Giovedì 2 maggio 2019 si svolgerà la terza esercitazione di laboratorio presso il LEP.
• Giovedì 16 maggio 2019 si svolgerà la quarta esercitazione di laboratorio presso il LEP.
• Giovedì 23 maggio 2019 si svolgerà la quinta esercitazione di laboratorio presso il LEP.
• Giovedì 30 maggio 2019 si svolgerà la sesta esercitazione di laboratorio presso il LEP.
• E’ stato pubblicato il testo della prima esercitazione da consegnare.
• Giovedì 6 giugno si terrà la consulenza per i progetti di analisi dati presso il LEP. E’ possibile prenotarsi per una consulenza con gli esercitatori attraverso il seguente Doodle. Ciascun gruppo potrà prenotarsi per un solo slot, indicando entrambi i cognomi del gruppo. Ciascuno slot ammette al massimo 2 gruppi diversi (uno per ciascun esercitatore).
• Giovedì 13 giugno 2019 si svolgerà la settima esercitazione di laboratorio presso il LEP.
• E’ stato pubblicato il testo della seconda esercitazione da consegnare.

Esami

• Appello del 11 Luglio 2019
  • Risultati (pdf)
• Appello del 27 Giugno 2019
  • Risultati (pdf)
• Esercitazione con valutazione del 6 Maggio 2019
  • Risultati (pdf)

Lezioni

• Introduzione al corso (6 per pag. , 2 per pag.)

Data Warehouse

• Introduzione ai data warehouse (6 per pag., 2 per pag.)
• Progettazione di data warehouse (6 per pag., 2 per pag.) [NEW (6 per pag)]
• Analisi OLAP (6 per pag., 2 per pag.)

Data Mining

• Introduzione (6 slides per page, 2 slides per page)
• Data mining: introduzione (6 slides per page,2 slides per pag.)
• Data mining: Data (6 slides per page,2 slides per page)
• Regole di associazione (6 slides per page,2 slides per page)
• Classification I (6 slides per page, 2 slides per page) – versione ridotta (6 slides per page,2 slides per page)
• Classification II (2 slides per page, 6 slides per page)
• Clustering (2 slides per page, 6 slides per page)
  1. K-means parameter setting and Silhouette (pdf)

Big Data e NoSQL

• Beyond Relational Databases (2 per pag., 6 per pag.)
• MongoDB (pdf)

Materiale di ripasso (Basi di dati)

• • Modello relazionale (6 per pag., 2 per pag.)
  • Il linguaggio SQL: Istruzione SELECT – fondamenti (6 per pag., 2 per pag.)
  • Il linguaggio SQL: Istruzioni nidificate (6 per pag.,2 per pag.)
  • Il linguaggio SQL: istruzioni di aggiornamento (6 per pag.,2 per pag.)
  • Il linguaggio SQL: gestione delle tabelle (6 per pag.,2 per pag.)

Temi d’esame

• Testo DW Organizza Fiere
• Testo DW GiocoXTutti
• Appello del 1 Luglio 2016
• Appello del 20 luglio 2016

Progetto di analisi di dati

• Specifiche (pdf)
•  
• Per dedicare un quantitativo maggiore di memoria RAM alla JVM su cui gira RapidMiner è possibile utilizzare una delle seguenti opzioni:
  • modificare lo script RapidMinerGUI.bat (in Windows) o RapidMinerGUI (sotto Linux), aumentando il valore di default assegnato alla variabile MAX_JAVA_MEMORY (in MB)
  • lanciare RapidMiner dalla directory lib col comando java -jar -Xmx4096m rapidminer.jar. Sostituendo 4096 col la quantità di memoria in MB che volete dedicare a RapidMiner

Esercitazioni

SQL esteso

• SQL esteso e viste materializzate in Oracle (2 per pag, 6 per pag )
• Esercizi  SQL esteso  Testo e soluzione

Progettazione di data warehouse

Esercizi 

• Esercizio: StraSport
  • Testo
• Esercizio: Ditta elettrodomestici
  • Testo

• Esercizio: Annunci di affitti
  • Testo
  • Bozza di soluzione  
    
• Esercizio: Ditta trasporti
  • Testo
  • Bozza di soluzione
• Esercizio: Alberghi
  • Testo
  • Bozza di soluzione
• Esercizio: Autogrill
  • Testo  
  • Bozza di soluzione
• Esercizio: Network televisivo
  • Testo
• Esercizio: Societa’ di treni
  • Testo
• Esercizio: Turismo
  • Testo
• Esercizio: Societa’ SkiPass
  • Testo
  • Bozza soluzione
• Esercizio: Ditta di spedizioni internazionali
  • Testo 
  • Bozza soluzione
• Esercizio: Telepass
  • Testo 
  • Bozza soluzione
• Esercizio: Poste Italiane
  • Testo 
  • Bozza soluzione

Materiale di ripasso (Basi di dati)

• • Il linguaggio SQL: Istruzione SELECT – fondamenti
    • Testi di esercizi   Bozza di soluzione   
  • Il linguaggio SQL: Istruzioni nidificate
    • Testi di esercizi   Bozza soluzione

Software

• Per gli interessati, è possibile installare il DBMS Oracle sul proprio PC personale. La versione gratuita da scaricare è Oracle Database 11g Express Edition.
• E’ disponibile anche un ambiente di sviluppo per poter interagire in modo più efficace con il DBMS, denominata Oracle SQL Developer. Per lo svolgimento delle esercitazioni di laboratorio l’uso di SQL developer è opzionale.
  • Installazione del DBMS Oracle 11g Express Edition – Scaricare Oracle Database 11g Express Edition all’indirizzo https://www.oracle.com/technetwork/database/database-technologies/express-edition/downloads/xe-prior-releases-5172097.html. La relativa documentazione è reperibile all’indirizzo http://download.oracle.com/docs/cd/E17781_01/index.htm.
  • Installazione dell’ambiente di sviluppo SQL Developer – SQL Developer è scaricabile all’indirizzo http://www.oracle.com/technetwork/developer-tools/sql-developer/overview/index.html
• Tutorial sulla procedura di download e installazione del DBMS Oracle 11g Express Edition e di SQL Developer
  • Tutorial installazione DBMS Oracle 11g Express Edition e SQL Developer (pdf)

Documentazione

• Oracle Database Express Edition 11g documentation home page
• Oracle Database 11g documentation library

Installazione

• Oracle XE – documentazione e download (link)
• Guida all’installazione su Windows
• Guida all’installazione su Linux

Note importanti

• Per utilizzare Oracle XE sul proprio PC personale: la password dell’utente system è quella specificata durante la fase di installazione del software.
• Per poter svolgere delle esercitazioni è possibile installare ed utilizzare la versione a 32 bit anche su sistemi a 64 bit
• Per poter effettuare download del software è necessario accettare il License Agreement e creare (se non se ne possiede già uno) un account Oracle utilizzando come nome utente l’indirizzo email da studenti del Politecnico di Torino

Piattaforma di data mining e predictive analytics:

• RapidMiner
  • Esempi di processi Rapid Miner (download)
  • RapidMiner 9 (Download_link) – bisogna creare un account sul sito durante il download
  • RapidMiner 5 (Download_link) – versione utilizzata in laboratorio
  • Guida all’installazione
  • Suggerimenti: Dopo l’installazione base di RapidMiner 5, installare i seguenti plug-in (Menù Help->Updates and Extensions (Marketplace) RapidMiner):
    • Parallel Processing Extension
    • Weka Extension
    • Wordnet Extension
    • Text Mining Extension
  • Suggerimenti: Dopo l’installazione base di RapidMiner 9, installare i seguenti plug-in (Menù Extensions-> Marketplace (Updates and Extensions)):
    • Text Processing
    • Weka Extension

Esercitazioni da consegnare  

In questa sezione sono riportate le indicazioni per la consegna delle esercitazioni da consegnare. La consegna nei tempi e nei modi previsti permetterà agli studenti di ottenere un bonus all’esame (previa verifica del contenuto dell’elaborato sottomesso a cura del docente).

Svolgimento

L’esercitazione consiste nello svolgimento dei punti indicati nel testo di ogni esercitazione. L’attività si svolge individualmente e consiste nella redazione di un report contenente lo svolgimento dell’esercitazione. Il report va salvato in formato PDF. Il nome del file deve contenere nome, cognome, matricola dello studente e il numero dell’esercitazione secondo il seguente formato  Cognome_Nome_Matricola-EsN.PDF). Inoltre, la prima pagina del report deve contenere:

• nome del corso
• data
• titolo dell’elaborato
• nome, cognome e matricola dello studente.

Il mancato rispetto delle suddette specifiche comporterà l’annullamento dell’elaborato. Non sarà possibile effettuate correzioni manuali dei nomi dei file dopo la consegna.

Consegna

Caricare il file PDF sul portale della didattica, nella sezione di consegna elaborati del corso, entro la scadenza prevista per ogni esercitazione. Fa fede la data di caricamento indicata dal portale della didattica. Siccome i file caricati sono processati in modo automatico, il caricamento oltre la scadenza comporta l’annullamento della consegna della relativa esercitazione. Durante la procedura di upload viene richiesto l’inserimento di un campo “Descrizione”. Riportare lo stesso nome assegnato al file secondo le specifiche sopra descritte (con o senza estensione, nel campo descrizione è ininfluente).

Testi delle esercitazioni da consegnare

Esercitazione N1, classificazione: (pdf). Usare il seguente dataset (dataset_breast). La data di consegna dell’esercitazione N1 è il 20 Giugno 2019.

Esercitazione N2, MapReduce per Big Data: (pdf) . La data di consegna dell’esercitazione N 2 è il 20Giugno2019 .