Hacking the Tech Nation Report

Hacking the Tech Nation Report

Tech Nation’s Henri Egle Sorotos explains why they’ve decided to make all of the data used in the report open and publicly available.

Just over a year ago I visited the Leeds node of the Open Data Institute (ODI) for the first time – a pioneering centre for radically open data in the UK. I saw first hand the power of open data, and you could say I had a professional epiphany. Since this moment, I have embraced the open data revolution, and we have fully integrated it into this year’s Tech Nation report.  

Our society is saturated with data, yet much of it is hidden away and inaccessible.

Adopting an open data principle means making data available, as far as possible, to all. In the words of the ODI, open data is “data that’s available to everyone to access, use and share. Yep, even your nan”.

The push to make open data more readily available is gaining ground and empowering people. It means anyone can use data for all sorts of things. Some of the most innovative examples include using open data to save lives in humanitarian disastersimproving healthcare information or creating apps such as CityMapper. In fact, any third party app displaying travel information is almost certainly benefitting from open data. Without realising it, we are all gaining from this phenomenon.

Open data is transforming the way we do research.  In the past, a research project was written up, it was published as a PDF, and the underlying data was nowhere to be seen ever again. It remained lost in a password protected spreadsheet or database for ever and ever. How sad.

Keeping data closed like this is bad. First, researchers are not able to validate the data and methods used by their peers. Second, it wastes valuable resources. Like many resources, data is perishable. If we leave it to rot, it can become outdated and corrupted. Finally, closed data stifles innovation. Open data encourages others to collaborate and innovate with others. Closed data prohibits this.

Fortunately, a few research bodies are starting to change, and publish the data underlying report findings. The practice is starting to gather pace, and this is what we are doing for the Tech Nation Report 2018.

We believe that by making the data behind our Tech Nation report open, we will stimulate innovation and encourage further research or modelling.

All the data used for the report will be open and publicly available so anyone (with even a small amount of interest) can use it for whatever they see fit. In many cases, this means a full granular dataset will be available with as much detail as possible. There are a few instances where we can only publish a more aggregated dataset due to legal constraints, but we have minimised this as far as possible.

The data will be available on the data.world platform – a huge playground of open data which anyone can access and use the intelligence gathered for the report, as well as thousands of other great datasets. Crucially, all datasets are being published with an identifiable primary key such as an Office for National Statistics geographical code. This means users can merge and manipulate the data with external sources.

The report is being published differently this year too. Whereas previously we used PDFs, this year we will have online visualisations. PDFs are the scourge of open data – figures can’t be copied or manipulated with ease. The online visualisations allow users to highlight areas of interest to them, select specific variables, and even copy the images they create for their personal use.

For the first time in the history of the Tech Nation report, all the data has been procured and processed in-house by Tech Nation staff. So everything from meetup data to Office for National Statistics information has been gathered by us. As a result, we spent a significant amount of time documenting the methodology. This means future researchers can replicate and build upon the work we have published this year. We like to think that’s a worthwhile peer to peer innovation. And our openness extends beyond our data – please share your research with us, if you use the Tech Nation Report data, we would love to showcase and blog about it.

I’m super excited to see what innovative creations arise from us making this data radically open. The Tech Nation Report is published on 17th May 2018. If you are interested in making your research projects open, get in touch with the ODI Leeds or ODI HQ, or follow #RadicallyOpen. If you have any questions or ideas, please get in touch with the team at Tech Nation.

 

×

Subscribe

Our BQ Bulletin emails will land in your inbox at 7.30am, Monday to Friday, with a mix of the latest local business news, national news, and features to inspire you. Sign up here!

User registration

Gentile Utente,
ai sensi dell'art. 13 del D.Lgs. 196/2003 recante disposizioni a tutela delle persone e degli altri soggetti trattamento dei dati personali, desideriamo informarLa che i dati personali da Lei comunicati al momento della registrazione sul Sito e della compilazione dell'ordine saranno utilizzati da al fine di svolgere le operazioni da Lei richieste. I dati da Lei comunicati saranno infatti inseriti in un archivio anagrafico clienti al momento della prima registrazione sul Sito, con digitazione di un codice identificativo ed una password che dovrà essere da Lei conservata ed utilizzata per le successive operazioni

I dati forniti saranno trattati direttamente da per le seguenti finalità:
- per l'elaborazione e trasmissione delle comunicazioni previste dalle condizioni del contratto;
- per l'invio di fatture commerciali

In merito alle modalità di trattamento, si precisa che gli indicati trattamenti potranno essere eseguiti soltanto dai responsabili e dagli incaricati autorizzati da usando supporti cartacei o informatici e/o telematici. In ogni caso il trattamento avverrà con modalità idonee a garantirne la sicurezza e la riservatezza in conformità con la disciplina vigente. I dati conferiti non saranno oggetto di diffusione a terzi, salvo per la gestione stessa dei dati da parte di soggetti specializzati ed incaricati da .
In ottemperanza alla suddetta Normativa, di seguito riepiloghiamo le metodologie applicate per il trattamento dei dati da parte della nostra Società che implicano raccolta, conservazione ed elaborazione dei dati in nostro possesso e gli scopi che perseguiamo con ciascuna di esse:
Marketing e Strategie Commerciali: elaborazione dei dati da Lei forniti e di quelli desunti dalle Sue navigazioni in rete allo scopo di definire delle statistiche inerenti gli interessi da Lei manifestati nei confronti dei Prodotti e Servizi offerti da per finalità di marketing e/o attività promozionali in genere;
Gestione amministrativa: raccolta, conservazione ed elaborazione dei dati per scopi amministrativo - contabili, compresa l'eventuale trasmissione per posta elettronica di informative e/o fatture commerciali;
In particolare, per quanto concerne, le modalità del trattamento dei dati, gradiamo comunicare che tutti i dati sono conservati in un apposito archivio tenuto sotto costante controllo e continuo aggiornamento da parte di personale adeguatamente formato. Inoltre è stata redatta una procedura operativa interna (Documento Programmatico Sulla Sicurezza - DPSS). In tale documento viene definito più nel dettaglio il metodo utilizzato per l'applicazione di adeguate misure di sicurezza per la protezione e la riservatezza dei dati. Per completezza, desideriamo infornarla che il conferimento dei dati personali è necessario nella misura in cui essi sono utilizzati per l'esecuzione da parte della nostra Società di obblighi contrattuali e/o di legge.
Dati di navigazione Il sito web raccoglie informazioni tecniche relative all'hardware e al software utilizzati dai visitatori, autonomamente attraverso l'ausilio di strumenti per l'analisi dei file di collegamento. Tali informazioni riguardano:

- indirizzo IP
- tipo di browser
- Internet service provider
- sistema operativo
- nome di dominio e indirizzi di siti Web dai quali ha effettuato l'accesso o l'uscita (referring/exit pages)
- informazioni sulle pagine visitate dai lettori all'interno del sito
- orario d'accesso
- permanenza sulla singola pagina
- analisi di percorso interno (clickstream)
- risoluzione video
- tipo di connessione
- nazione da cui l'utente si collega
- presenza di plugin java installati

Tali informazioni non forniscono dati personali del lettore, ma solo dati di carattere tecnico/informatico che sono raccolti ed utilizzati in maniera aggregata ed anonima al solo scopo di migliorare la qualità del servizio e fornire statistiche concernenti l'uso del sito, suddetti dati vengono cancellati subito dopo l'elaborazione.
Registrazione
Nell'ambito del processo di registrazione, il lettore è tenuto a scegliere una propria user ID ed una password. Inoltre il lettore è tenuto a fornire specifiche informazioni che dovranno essere corrette ed aggiornate. Il lettore non può scegliere la user ID di un'altra persona con l'intento di utilizzarne l'identità. Inoltre non può utilizzare la user ID di un'altra persona senza la sua espressa autorizzazione. E' inoltre vietato l'uso di user ID che l'editore, discrezionalmente, riterrà lesivi di diritti di terzi, o comunque offensivi o scurrili. La password scelta dai lettori al momento della registrazione ai servizi e inserita nel relativo modulo o form di registrazione è personale e non può essere ceduta. I lettori sono tenuti a custodire con la massima diligenza e a mantenere riservata la password al fine di prevenire l'utilizzo del servizio da parte di terzi non autorizzati. Essi saranno pertanto responsabili di qualsiasi utilizzo, compiuto da terzi autorizzati o non autorizzati, dei suddetti identificativi nonchè di qualsiasi danno arrecato al titolare del blog, all'editore e/o a terzi, in dipendenza della mancata osservanza di quanto sopra.
Il lettore non può inviare, distribuire o in ogni modo pubblicare negli spazi abilitati a tale scopo contenuti che presentino rilievi di carattere diffamatorio, calunniatorio, osceno, pornografico, abusivo, o a qualsiasi titolo illegale.
Il lettore si impegna a non assumere atteggiamenti violenti o ad aggredire verbalmente gli altri lettori, astenendosi dall'utilizzo di termini calunniosi, e a non interrompere intenzionalmente le discussioni con messaggi ripetitivi, con messaggi privi di significato o con azioni finalizzate alla vendita di prodotti o servizi.
Il lettore si impegna ad utilizzare un linguaggio rispettoso, tenendo conto che la comunità cresce solo se i suoi membri si sentono ben accetti e rispettati. Il lettore si impegna a non utilizzare termini violenti o che discriminino sulla base della razza, religione, genere, inclinazioni sessuali, disabilità fisiche o mentali e altro. L'uso di linguaggio violento sarà motivo per la sospensione immediata e per l'espulsione definita a tutti o a parte dei servizi del sito.

Accedendo al sito e ai relativi servizi, il lettore si obbliga a:
a.non utilizzare il sito o il materiale in esso inserito per perseguire scopi illegali
b.non utilizzare il sito in modo da interrompere, danneggiare o rendere meno efficiente una parte o la totalità di esso o in modo da danneggiare in qualche modo l'efficacia o la funzionalità del sito;
c.non utilizzare il sito per la trasmissione o il collocamento di virus o qualsiasi altro materiale che in qualche modo possa creare pregiudizio in ogni sua forma;
d.non utilizzare il sito in modo da costituire una violazione di persone o ditte (compresi, ma ad essi non limitati, i diritti di copyright o riservatezza).
e.non utilizzare il sito per trasmettere materiale a scopo pubblicitario e/o promozionale senza il permesso scritto dell'editore.

Il mancato rispetto di queste regole comporta la violazione di queste condizioni generali di utilizzo e può determinare l'immediato annullamento dell'account del soggetto autore della violazione. In caso di effettivo o potenziale utilizzo non autorizzato del proprio account, il lettore è invitato a segnalarlo, fornendo ogni dettagliata notizia in merito alla violazione, e dando comunicazione di perdita, sottrazione non autorizzata, furto, della propria password e delle proprie informazioni personali. Il lettore è consapevole che deve avere compiuto i 18 anni di età per iscriversi al servizio, anche se persone di ogni età possono accedere allo stesso. I minori di anni 18 devono essere assistiti ed autorizzati dagli esercenti la potestà di genitore. Il lettore è pienamente responsabile per ogni azione intrapresa attraverso il suo account, sia direttamente sia attraverso terzi da lui autorizzati. Ogni utilizzo abusivo, fraudolento o in ogni caso illegale è causa dell'immediato annullamento dell'account, ad insindacabile giudizio dell'editore o del gestore del sito, fermo restando l'esercizio di ogni azione legale da parte degli aventi diritto.
Con l'accettazione della presente il lettore dichiara la veridicità di tutte le dichiarazioni rese in fase d'iscrizione al sito.
La informiamo, inoltre, che ogni interessato può esercitare i diritti di cui all'art. 7 del D.Lgs. 196/2003: In relazione al trattamento di dati personali:

1. L'interessato ha diritto di ottenere la conferma dell'esistenza o meno di dati personali che lo riguardano, anche se non ancora registrati, e la loro comunicazione in forma intelligibile.
2. L'interessato ha diritto di ottenere l'indicazione:
a) dell'origine dei dati personali;
b) delle finalità e modalità del trattamento;
c) della logica applicata in caso di trattamento effettuato con l'ausilio di strumenti elettronici;
d) degli estremi identificativi del titolare, dei responsabili e del rappresentante designato ai sensi dell'articolo 5, comma 2;
e) dei soggetti o delle categorie di soggetti ai quali i dati personali possono essere comunicati o che possono venirne a conoscenza in qualità di rappresentante designato nel territorio dello Stato, di responsabili o incaricati.
3. L'interessato ha diritto di ottenere:
a) l'aggiornamento, la rettificazione ovvero, quando vi ha interesse, l'integrazione dei dati;
b) la cancellazione, la trasformazione in forma anonima o il blocco dei dati trattati in violazione di legge, compresi quelli di cui non è necessaria la conservazione in relazione agli scopi per i quali i dati sono stati raccolti o successivamente trattati;
c) l'attestazione che le operazioni di cui alle lettere a) e b) sono state portate a conoscenza, anche per quanto riguarda il loro contenuto, di coloro ai quali i dati sono stati comunicati o diffusi, eccettuato il caso in cui tale adempimento si rivela impossibile o comporta un impiego di mezzi manifestamente sproporzionato rispetto al diritto tutelato.
4. L'interessato ha diritto di opporsi, in tutto o in parte:
a) per motivi legittimi al trattamento dei dati personali che lo riguardano, ancorchè pertinenti allo scopo della raccolta;
b) al trattamento di dati personali che lo riguardano a fini di invio di materiale pubblicitario o di vendita diretta o per il compimento di ricerche di mercato o di comunicazione commerciale.
Per esercitare i diritti previsti all'art. 7 del D.Lgs. 196/2003 e sopra riassunti l'utente dovrà rivolgere richiesta scritta indirizzata a


Rimozione
Se non desiderate essere contattati in futuro, potete chiederlo collegandoVi o inviando una mail all'indirizzo inff@mail indicando l'indirizzo e-mail (o tutti gli indirizzi facenti capo ad un dominio, nella vostra disponibilità) e/o fax di cui volete l'esclusione.

Titolare del trattamento dei dati è - per l'elaborazione e trasmissione delle comunicazioni previste dalle condizioni del contratto;
- per l'invio di fatture commerciali

In merito alle modalità di trattamento, si precisa che gli indicati trattamenti potranno essere eseguiti soltanto dai responsabili e dagli incaricati autorizzati da usando supporti cartacei o informatici e/o telematici. In ogni caso il trattamento avverrà con modalità idonee a garantirne la sicurezza e la riservatezza in conformità con la disciplina vigente. I dati conferiti non saranno oggetto di diffusione a terzi, salvo per la gestione stessa dei dati da parte di soggetti specializzati ed incaricati da .
In ottemperanza alla suddetta Normativa, di seguito riepiloghiamo le metodologie applicate per il trattamento dei dati da parte della nostra Società che implicano raccolta, conservazione ed elaborazione dei dati in nostro possesso e gli scopi che perseguiamo con ciascuna di esse:
Marketing e Strategie Commerciali: elaborazione dei dati da Lei forniti e di quelli desunti dalle Sue navigazioni in rete allo scopo di definire delle statistiche inerenti gli interessi da Lei manifestati nei confronti dei Prodotti e Servizi offerti da per finalità di marketing e/o attività promozionali in genere;
Gestione amministrativa: raccolta, conservazione ed elaborazione dei dati per scopi amministrativo - contabili, compresa l'eventuale trasmissione per posta elettronica di informative e/o fatture commerciali;
In particolare, per quanto concerne, le modalità del trattamento dei dati, gradiamo comunicare che tutti i dati sono conservati in un apposito archivio tenuto sotto costante controllo e continuo aggiornamento da parte di personale adeguatamente formato. Inoltre è stata redatta una procedura operativa interna (Documento Programmatico Sulla Sicurezza - DPSS). In tale documento viene definito più nel dettaglio il metodo utilizzato per l'applicazione di adeguate misure di sicurezza per la protezione e la riservatezza dei dati. Per completezza, desideriamo infornarla che il conferimento dei dati personali è necessario nella misura in cui essi sono utilizzati per l'esecuzione da parte della nostra Società di obblighi contrattuali e/o di legge.
Dati di navigazione Il sito web raccoglie informazioni tecniche relative all'hardware e al software utilizzati dai visitatori, autonomamente attraverso l'ausilio di strumenti per l'analisi dei file di collegamento. Tali informazioni riguardano:

- indirizzo IP
- tipo di browser
- Internet service provider
- sistema operativo
- nome di dominio e indirizzi di siti Web dai quali ha effettuato l'accesso o l'uscita (referring/exit pages)
- informazioni sulle pagine visitate dai lettori all'interno del sito
- orario d'accesso
- permanenza sulla singola pagina
- analisi di percorso interno (clickstream)
- risoluzione video
- tipo di connessione
- nazione da cui l'utente si collega
- presenza di plugin java installati

Tali informazioni non forniscono dati personali del lettore, ma solo dati di carattere tecnico/informatico che sono raccolti ed utilizzati in maniera aggregata ed anonima al solo scopo di migliorare la qualità del servizio e fornire statistiche concernenti l'uso del sito, suddetti dati vengono cancellati subito dopo l'elaborazione.
Registrazione
Nell'ambito del processo di registrazione, il lettore è tenuto a scegliere una propria user ID ed una password. Inoltre il lettore è tenuto a fornire specifiche informazioni che dovranno essere corrette ed aggiornate. Il lettore non può scegliere la user ID di un'altra persona con l'intento di utilizzarne l'identità. Inoltre non può utilizzare la user ID di un'altra persona senza la sua espressa autorizzazione. E' inoltre vietato l'uso di user ID che l'editore, discrezionalmente, riterrà lesivi di diritti di terzi, o comunque offensivi o scurrili. La password scelta dai lettori al momento della registrazione ai servizi e inserita nel relativo modulo o form di registrazione è personale e non può essere ceduta. I lettori sono tenuti a custodire con la massima diligenza e a mantenere riservata la password al fine di prevenire l'utilizzo del servizio da parte di terzi non autorizzati. Essi saranno pertanto responsabili di qualsiasi utilizzo, compiuto da terzi autorizzati o non autorizzati, dei suddetti identificativi nonchè di qualsiasi danno arrecato al titolare del blog, all'editore e/o a terzi, in dipendenza della mancata osservanza di quanto sopra.
Il lettore non può inviare, distribuire o in ogni modo pubblicare negli spazi abilitati a tale scopo contenuti che presentino rilievi di carattere diffamatorio, calunniatorio, osceno, pornografico, abusivo, o a qualsiasi titolo illegale.
Il lettore si impegna a non assumere atteggiamenti violenti o ad aggredire verbalmente gli altri lettori, astenendosi dall'utilizzo di termini calunniosi, e a non interrompere intenzionalmente le discussioni con messaggi ripetitivi, con messaggi privi di significato o con azioni finalizzate alla vendita di prodotti o servizi.
Il lettore si impegna ad utilizzare un linguaggio rispettoso, tenendo conto che la comunità cresce solo se i suoi membri si sentono ben accetti e rispettati. Il lettore si impegna a non utilizzare termini violenti o che discriminino sulla base della razza, religione, genere, inclinazioni sessuali, disabilità fisiche o mentali e altro. L'uso di linguaggio violento sarà motivo per la sospensione immediata e per l'espulsione definita a tutti o a parte dei servizi del sito.

Accedendo al sito e ai relativi servizi, il lettore si obbliga a:
a.non utilizzare il sito o il materiale in esso inserito per perseguire scopi illegali
b.non utilizzare il sito in modo da interrompere, danneggiare o rendere meno efficiente una parte o la totalità di esso o in modo da danneggiare in qualche modo l'efficacia o la funzionalità del sito;
c.non utilizzare il sito per la trasmissione o il collocamento di virus o qualsiasi altro materiale che in qualche modo possa creare pregiudizio in ogni sua forma;
d.non utilizzare il sito in modo da costituire una violazione di persone o ditte (compresi, ma ad essi non limitati, i diritti di copyright o riservatezza).
e.non utilizzare il sito per trasmettere materiale a scopo pubblicitario e/o promozionale senza il permesso scritto dell'editore.

Il mancato rispetto di queste regole comporta la violazione di queste condizioni generali di utilizzo e può determinare l'immediato annullamento dell'account del soggetto autore della violazione. In caso di effettivo o potenziale utilizzo non autorizzato del proprio account, il lettore è invitato a segnalarlo, fornendo ogni dettagliata notizia in merito alla violazione, e dando comunicazione di perdita, sottrazione non autorizzata, furto, della propria password e delle proprie informazioni personali. Il lettore è consapevole che deve avere compiuto i 18 anni di età per iscriversi al servizio, anche se persone di ogni età possono accedere allo stesso. I minori di anni 18 devono essere assistiti ed autorizzati dagli esercenti la potestà di genitore. Il lettore è pienamente responsabile per ogni azione intrapresa attraverso il suo account, sia direttamente sia attraverso terzi da lui autorizzati. Ogni utilizzo abusivo, fraudolento o in ogni caso illegale è causa dell'immediato annullamento dell'account, ad insindacabile giudizio dell'editore o del gestore del sito, fermo restando l'esercizio di ogni azione legale da parte degli aventi diritto.
Con l'accettazione della presente il lettore dichiara la veridicità di tutte le dichiarazioni rese in fase d'iscrizione al sito.
La informiamo, inoltre, che ogni interessato può esercitare i diritti di cui all'art. 7 del D.Lgs. 196/2003: In relazione al trattamento di dati personali:

1. L'interessato ha diritto di ottenere la conferma dell'esistenza o meno di dati personali che lo riguardano, anche se non ancora registrati, e la loro comunicazione in forma intelligibile.
2. L'interessato ha diritto di ottenere l'indicazione:
a) dell'origine dei dati personali;
b) delle finalità e modalità del trattamento;
c) della logica applicata in caso di trattamento effettuato con l'ausilio di strumenti elettronici;
d) degli estremi identificativi del titolare, dei responsabili e del rappresentante designato ai sensi dell'articolo 5, comma 2;
e) dei soggetti o delle categorie di soggetti ai quali i dati personali possono essere comunicati o che possono venirne a conoscenza in qualità di rappresentante designato nel territorio dello Stato, di responsabili o incaricati.
3. L'interessato ha diritto di ottenere:
a) l'aggiornamento, la rettificazione ovvero, quando vi ha interesse, l'integrazione dei dati;
b) la cancellazione, la trasformazione in forma anonima o il blocco dei dati trattati in violazione di legge, compresi quelli di cui non è necessaria la conservazione in relazione agli scopi per i quali i dati sono stati raccolti o successivamente trattati;
c) l'attestazione che le operazioni di cui alle lettere a) e b) sono state portate a conoscenza, anche per quanto riguarda il loro contenuto, di coloro ai quali i dati sono stati comunicati o diffusi, eccettuato il caso in cui tale adempimento si rivela impossibile o comporta un impiego di mezzi manifestamente sproporzionato rispetto al diritto tutelato.
4. L'interessato ha diritto di opporsi, in tutto o in parte:
a) per motivi legittimi al trattamento dei dati personali che lo riguardano, ancorchè pertinenti allo scopo della raccolta;
b) al trattamento di dati personali che lo riguardano a fini di invio di materiale pubblicitario o di vendita diretta o per il compimento di ricerche di mercato o di comunicazione commerciale.
Per esercitare i diritti previsti all'art. 7 del D.Lgs. 196/2003 e sopra riassunti l'utente dovrà rivolgere richiesta scritta indirizzata a


Rimozione
Se non desiderate essere contattati in futuro, potete chiederlo collegandoVi o inviando una mail all'indirizzo info@bqlive.co.uk indicando l'indirizzo e-mail (o tutti gli indirizzi facenti capo ad un dominio, nella vostra disponibilità) e/o fax di cui volete l'esclusione.

Titolare del trattamento dei dati è

Fields marked with an asterisk (*) are required

Click here to read our privacy statement