← Alle Projekte

Strukturierte Datenerhebung in Python

Reproduzierbare Python-Workflows, die Webdaten erheben und zu strukturierten Datensätzen aufbereiten, mit Selenium und requests.

  • Python
  • Selenium
  • requests
  • Web Scraping

Überblick

Nützliche Informationen im Web verteilen sich auf Quellen, die nie dafür gedacht waren, maschinell gelesen zu werden. In dieser Arbeit entstanden reproduzierbare Workflows zum Erheben und Parsen, die daraus strukturierte, analysierbare Daten machen.

Technisches Vorgehen

  • Browserautomatisierung: Selenium für Seiten, die ihren Inhalt erst nach dem Ausführen von JavaScript zusammensetzen
  • HTTP-Abruf: requests, wo eine Seite direkt abrufbar war, ohne den Aufwand eines vollständigen Browsers
  • Ausgabe: bereinigte Datensätze, exportiert für die weitere Analyse

Was ich daraus mitnehme

Praktische Erfahrung mit den Teilen der Web-Datenerhebung, die entscheiden, ob sie sich lohnt: die Wahl zwischen Browserautomatisierung und direktem HTTP-Abruf und eine Ausgabestruktur, mit der die Daten tatsächlich auswertbar sind und nicht nur gesammelt.