Database

Einführung

Im Datenbankmanagement ist es entscheidend, sicherzustellen, dass Daten normalisiert und korrekt strukturiert sind, um die Datenintegrität und Nützlichkeit aufrechtzuerhalten. Manchmal stößt man auf Tabellen, die nicht die erforderlichen Beziehungen zwischen den Datenpunkten aufweisen, was zu einer unorganisierten Datenbankstruktur führen kann. Ein häufiges Szenario ist eine Tabelle, die Kundenstandorte aufzeichnet, jedoch kein eigenes Feld für Unternehmensnamen enthält.

Dieser Beitrag zielt darauf ab, ein spezifisches Beispiel zu behandeln, in dem jemand eine Tabelle mit etwa 18.000 Zeilen und einem einzigen Feld für “Standortname” ohne Feld für “Unternehmensname” erhalten hat. Die Situation stellt aufgrund des Fehlens einer ordnungsgemäßen Unternehmensbezeichnung für mehrere Standorte, die von demselben Unternehmen betrieben werden, Herausforderungen dar, was potenziell zu Komplikationen bei der Datenabfrage und Analyse führen kann.

In diesem Blog werden wir einen systematischen Ansatz zur Normalisierung einer solchen Tabelle, zur Generierung einer Unternehmensliste basierend auf unterschiedlichen Standortbeschreibungen und zur Wiederherstellung der Effizienz der Datenbank erforschen.

Verständnis der aktuellen Tabellenstruktur

Die bestehende Standtorttabelle hat eine einfache Struktur:

 ID  Standort_Name     
 1   StadtGeschäft#1        
 2   Stadt Geschäft - Ort 2 
 3   Das Stadt Geschäft     
 4   TTS - An einem Ort   
 5   Stadt Geschäft, die 3   
 6   Toen Geschäft4

Unser Ziel ist ein strukturiertes Ergebnis, das eine “Unternehmens_ID” für jeden Standort enthält:

 ID  Unternehmens_ID   Standort_Name     
 1   1                 StadtGeschäft#1       
 2   1                 Stadt Geschäft - Ort 2 
 3   1                 Das Stadt Geschäft     
 4   1                 TTS - An einem Ort   
 5   1                 Stadt Geschäft, die 3   
 6   1                 Toen Geschäft4

Neben dieser Standorttabelle werden wir auch eine separate Unternehmens Tabelle erstellen:

 Unternehmens_ID  Unternehmens_Name  
 1                Das Stadt Geschäft

Generierung von Unternehmensnamen

Da es keine bestehende Liste von Unternehmensnamen gibt, müssen wir diese aus den bereitgestellten Standortnamen generieren. Hier ist ein schrittweiser Ansatz, um dies zu erreichen:

Schritt 1: Kandidat Unternehmensnamen identifizieren

  • Standortnamen extrahieren: Eine Liste von Standortnamen erstellen, die hauptsächlich aus alphabetischen Zeichen bestehen.
  • Reguläre Ausdrücke verwenden: Verwenden Sie reguläre Ausdrücke, um irrelevante Einträge (wie Standorte mit numerischen oder Sonderzeichen) zu filtern.

Schritt 2: Manuelle Überprüfung

  • Liste sortieren: Die filtrierte Liste der Standortnamen alphabetisch sortieren.
  • Unternehmensnamen auswählen: Die sortierte Liste manuell überprüfen, um zu bestimmen, welche Standorte am besten als repräsentative Unternehmensnamen dienen.

Schritt 3: Übereinstimmungsbewertung

  • Softwarealgorithmus für das Matching: Verwenden Sie die Levenshtein-Distanz oder einen ähnlichen Algorithmus zum Vergleich von Strings, um die Nähe zwischen jedem potenziellen Unternehmensnamen und den verschiedenen Standortnamen zu bewerten.
  • Punktesystem erstellen: Speichern Sie diese Ergebnisse in einer neuen Tabelle, die UnternehmensName, StandortName, und ihre entsprechenden MatchScore widerspiegelt.

Schritt 4: Schwellenwerte implementieren

  • Übereinstimmungen filtern: Definieren Sie einen Schwellenwert; jede Übereinstimmung, die unter diesem vorher festgelegten Punkt liegt, wird von weiterer Betrachtung ausgeschlossen.

Schritt 5: Manuelle Prüfung

  • Daten überprüfen: Überprüfen Sie manuell jeden Eintrag, der mit UnternehmensName, StandortName und MatchScore aufgeführt ist, und finalisieren Sie, welche Namen tatsächlich jedes Unternehmen repräsentieren.
  • Für Effizienz organisieren: Ergebnisse nach MatchScore ordnen, um den Überprüfungsprozess zu rationalisieren und die Arbeitslast zu reduzieren.

Fazit

Obwohl der skizzierte Prozess zeitaufwändig erscheinen mag, nutzt er Automatisierung und algorithmische Techniken, um die Komplexität der Bearbeitung von rund 18.000 Datensätzen zu bewältigen. Dieser strukturierte Ansatz spart nicht nur Zeit, sondern hilft auch, Daten vertrauensvoll zu kategorisieren, was letztendlich zu besserer Datenbankintegrität und aussagekräftigen Analysen in der Zukunft führt.

Durch die Anwendung dieser Methode sollten Sie feststellen, dass es erheblich einfacher ist, Tabellen mit geringer Integrität zu normalisieren und die Benutzerfreundlichkeit Ihrer Datenbank zu verbessern. Denken Sie immer daran: das Ziel der Normalisierung besteht nicht nur darin, Daten zu strukturierten, sondern auch, deren Zugänglichkeit und Zuverlässigkeit zu verbessern.