Die Welt mit Open Data und Python retten
Die politische Seite
Auch wenn es manchen Entwicklern so vorkommen mag, dass Open Data schon ewig existiert und wir wahrscheinlich nicht mehr darüber reden müssen, ist es wichtig zu bedenken, warum Open Data etwas ist, das die Leute mit Nachdruck vorantreiben.
Wenn ein Open Data-Standard erstellt und beworben wird, ist es wichtig, darüber nachzudenken, warum – welche Veränderung soll damit bewirkt werden? Was werden die Leute mit diesen Daten tun, was sie vorher nicht konnten?
Zum Beispiel macht der Open Contracting Data Standard die Details, mit denen Regierungen Dienstleistungen und Projekte an private Unternehmen vergeben, offen zugänglich. Er macht die Daten nutzbar und versucht, den Leuten tatsächlich bei der Nutzung zu helfen. Dadurch sollen Korruption ausgerottet, der Prozess für mehr Bieter geöffnet und die Effizienz gesteigert sowie Regierungen Geld gespart werden.
Bei Open Data Services arbeiten wir an vielen Standards – zum Beispiel macht der Beneficial Ownership Data Standard Daten über Personen, die letztendlich Unternehmen auf der ganzen Welt besitzen, kontrollieren oder von ihnen profitieren, offen zugänglich. Da immer mehr Länder versuchen, Steuervermeidung einzudämmen, helfen diese Daten wirklich.
Und das ist ein Teil dessen, was wir tun – wir arbeiten mit unseren Kunden an ihren politischen Zielen und stellen sicher, dass der von ihnen erstellte Open Data-Standard ihren politischen Zielen entspricht und darauf aufbaut.
So können wir behaupten, dass unsere Arbeit die Welt rettet – es ist großartig, wenn wir sehen, wie Leute wie ProZorro in der Ukraine Open Contracting Data nutzt, um Korruption zu bekämpfen und ihrer Regierung 1,2 Milliarden Pfund zu sparen.
Die Python-Seite
Wir nutzen Python als unser bevorzugtes Werkzeug; von der Analyse in Jupyter mit Google Colab Notebooks bis hin zu vollständigen Sphinx-Websites und den Tabellenkalkulationen. Moment, die Tabellenkalkulationen?
Ja – verbringen Sie nur etwas Zeit in der Welt von Open Data und Sie werden bald feststellen, dass die Leute ihre Tabellenkalkulationen lieben. Und während einige Entwickler jetzt die Augen verdrehen werden, ist es wichtig zu bedenken, dass Tabellenkalkulationen für manche Leute ein sehr mächtiges Werkzeug sind, das es ihnen ermöglicht, großartige Datenarbeit zu leisten, die sie sonst nicht leisten könnten.
Also müssen wir das annehmen, und das führte zu einem der Python-Tools, die wir als Open Source veröffentlicht haben – Flatten Tool.
Flatten Tool nimmt eine JSON-Datendatei entgegen und erstellt eine Tabellenkalkulation ihres Inhalts. Natürlich ist eine JSON-Datendatei möglicherweise keine flache Struktur und kann Listen innerhalb von Listen usw. enthalten – wir handhaben das, indem wir mehrere Blätter in einer Excel-Datei oder mehrere CSV-Dateien erstellen.
Flatten Tool nimmt auch eine Reihe von Tabellenkalkulationen entgegen und erstellt eine JSON-Datei Ihrer Daten. Wenn Sie eine JSON-Schema-Datei haben, die Ihren Standard beschreibt, hilft das. Außerdem können wir schließlich eine JSON-Schema-Datei entgegennehmen und eine Reihe von Tabellenkalkulationsvorlagen erstellen.
Dies erleichtert den Leuten die Arbeit mit ihren bevorzugten Werkzeugen – Tabellenkalkulationen – und ermöglicht es uns, immer noch problemlos mit den Daten zu arbeiten, sowohl beim Senden von Daten an sie als auch beim Umgang mit Daten von ihnen.
Dank Pythons PyPi und pip binden wir dies als Bibliothek in andere Projekte ein, die wir durchführen. Wir erstellen Websites für die Datenstandards, an denen wir arbeiten, auf denen die Leute einige Daten hochladen können – in ihrer offiziellen JSON-Standardform oder als Tabellenkalkulation – und wir nehmen die Daten entgegen, analysieren sie und heben Probleme und Statistiken zu den Daten hervor. Wir bieten auch Konvertierung an – so können Sie eine Tabellenkalkulation hochladen und, wenn sie gut ist, eine JSON-Datei im richtigen Format herunterladen.
Danke, Python!
Bei Open Data Services sind einige unserer Mitglieder* Entwickler und einige Analysten – aber selbst unsere Analysten sind sehr technisch und können sich mit unseren Entwicklern in die Tiefen der Probleme stürzen. Wir zweifeln nicht daran, dass die einladende Python-Sprache und das Ökosystem dabei helfen – Danke, Python!
- Mitglieder? Wir sind auch eine Arbeiterkooperative – aber das ist eine Geschichte für einen anderen Tag!