Wie kann ich Azure Data Factory mit StackOverflow verbinden?

Führen Sie die folgenden Schritte aus um Azure Data Factory mit StackOverflow zu verbinden. Sie brauchen nur Kenntnisse über Azure Data Factory, Ihr eigenes Unternehmen und die StackOverflow Verwaltung.

StackExchange ist eine Online-Kollaborationssoftware. Die beliebteste Variante ist StackOverflow, das von Millionen von Softwareentwicklern weltweit verwendet wird.

Es sind weder technische Kenntnisse noch Kenntnisse über die StackOverflow APIs erforderlich, um StackOverflow mit Azure Data Factory zu verbinden. In diesem Schritt-für-Schritt-Plan erfahren Sie genau, welche Schritte Sie auf Invantive Cloud durchführen müssen um Ihr eigenes Azure Data Warehouse mit Daten von StackOverflow zu erstellen.

Die Schritte zur Verbindung von Azure Data Factory mit StackOverflow sind:

  1. Registrieren Sie ein Invantive Cloud-Konto.
  2. StackOverflow Datenbank erstellen
  3. Machen Sie die Datenbank StackOverflow über den Microsoft OData Connector verfügbar.
  4. Verbinden Sie Azure Data Factory mit StackOverflow über den Konnektor.
  5. Laden Sie Daten aus StackOverflow in Azure Data Factory Data Warehouse.

Invantive Cloud offers a StackOverflow connector to download data from StackOverflow into Azure Data Factory, but there are over 75 other connectors available also for SQL, Power BI, Power Query or Azure Data Factory.

Mit dem StackOverflow Connector für Azure Data Factory rufen Sie standardmäßig die Daten aller verbundenen StackOverflow Buchhaltungen in Ihrem Dashboard ab. Sie können die Anzahl der StackOverflow Buchhaltungen die in Azure Data Factory abgerufen werden über die Datenbankeinstellungen begrenzen. Sie können beispielsweise den Connector für Azure Data Factory auch auf die Daten von genau eine StackOverflow Buchhaltung beschränken. Natürlich können Sie die Daten auch nach eine bestimmte StackOverflow Buchhaltung filtern indem Sie einen Filterschritt in Azure Data Factory verwenden. Der StackOverflow Connector für Azure Data Factory verfügt über erweiterte Optimierungen für eine hervorragende Echtzeitleistung sowohl bei eine einzelne StackOverflow Buchhaltung als auch bei Hunderten von StackOverflow Buchhaltungen.

Wenn Sie Fragen haben, besuchen Sie bitte die Foren für StackOverflow. Jede Organisation hat Anspruch auf 1 Stunde kostenlose Schulung um Ihnen den Einstieg zu erleichtern. Diese kostenlose Stunde gilt auch für kostenlose Pläne.

Benutzer auf Invantive Cloud registrieren

Überspringen Sie diesen Schritt wenn Sie bereits ein Benutzerkonto bei Invantive Cloud haben. Andernfalls führen Sie die folgenden Schritte einmal aus, um ein Benutzerkonto bei Invantive Cloud zu registrieren:

  1. Gehen Sie zur Invantive Cloud-Startseite.

  2. Wählen Sie die Schaltfläche Anmelden.

  3. Wählen Sie die Schaltfläche Einschreiben. Melden Sie sich bei Invantive Cloud an.

  4. Geben Sie Ihre E-Mail-Adresse ein. Geben Sie eine geschäftliche E-Mail-Adresse ein.

  5. Wählen Sie die Schaltfläche Weiter.

  6. Geben Sie Ihre persönlichen Daten ein. Persönliche Daten eingeben.

  7. Wählen Sie die Schaltfläche Weiter.

  8. Geben Sie Ihr Kennwort ein und wiederholen Sie das angegebene Kennwort.

  9. Wählen Sie die Schaltfläche Weiter. Geben Sie zwei identische Kennwörter ein.

  10. Sie erhalten innerhalb von 2 Minuten einen sechsstelligen Bestätigungscode per E-Mail.

  11. Geben Sie den sechsstelligen Prüfcode ein. Sechsstelliger Verifizierungscode zur Bestätigung der E-Mail-Adresse.

  12. Wählen Sie die Schaltfläche Einschreiben.

  13. Melden Sie sich jetzt an. Eintragen.

  14. Stellen Sie sicher dass Sie eine Authentifizierungs-App auf Ihrem Telefon installiert haben. Wählen Sie die Schaltfläche Weiter. TOTP-Konfiguration vorbereiten.

  15. Fügen Sie den angezeigten QR-Code zur Authentifizierungs-App hinzu, geben Sie den aktuellen Verifizierungscode ein und wählen Sie "Fertig stellen". QR-Code in TOTP-App scannen und aktuellen Code eingeben.

  16. Überspringen Sie die Registrierung der Organisation. Überspringen Sie die Unternehmensregistrierung.

  17. Füllen Sie Ihre persönlichen Daten aus und wählen Sie "Speichern". Vervollständige persönliche Daten.

  18. Zum Dashboard Navigieren Sie zum Dashboard.

  19. Es wird das Invantive Cloud Dashboard angezeigt.

Sie haben jetzt einen Anmeldecode auf Invantive Cloud mit dem Sie die Verbindung mit StackOverflow und zahlreichen anderen Plattformen einrichten können. Für alle anderen Plattformen verwenden Sie denselben Invantive-Anmeldecode und Arbeitsablauf.

StackOverflow Datenbank erstellen

In diesem Schritt richten wir eine Datenbank mit Daten aus StackOverflow ein. Die Datenbank ist "virtuell", da es sich nicht um eine herkömmliche Datenbank handelt, sondern sie wird in Echtzeit von StackOverflow gespeist. Invantive Cloud bietet Azure Data Factory eine Echtzeitverbindung zu StackOverflow. Die Datenbank wird für Ihre gesamte Berichterstattung von StackOverflow mit Azure Data Factory verwendet. Sie müssen diese Schritte also nur einmal durchführen.

  1. Klicken Sie auf die Schaltfläche Datenbank hinzufügen. Datenbank hinzufügen.

  2. Wählen Sie StackOverflow aus einer Liste. Wählen Sie den StackOverflow Konnektor.

  3. Bitte füllen Sie das Formular mit den Anmeldeinformationen für StackOverflow aus.

  4. Wählen Sie die OK-Schaltfläche.

Herzlichen Glückwunsch! Sie können jetzt Daten von StackOverflow innerhalb der Invantive Cloud-Website verarbeiten. Sie können dies zum Beispiel mit dem interaktiven SQL-Editor tun.

Gewähren Sie Verbindung von Azure Data Factory Zugriff auf StackOverflow

Um die Daten von Azure Data Factory abzurufen erstellen wir eine Verknüpfung über Invantive Bridge Online. Dies schafft eine "Brücke" zwischen der Cloud von Invantive und dem Standard OData-Connector der in jeder Version von Azure Data Factory verfügbar ist. Sie müssen nichts lokal installieren: keinen Konnektor, keinen ado.NET Provider und auch kein Azure Data Factory Add-on.

Führen Sie die folgenden Schritte aus, um die Daten von StackOverflow außerhalb von Invantive Cloud sicher zu nutzen:

  1. Neben der Datenbank finden Sie einen orangefarbenen Text der Sie auffordert den Zugriff von Ihrem aktuellen Standort (IP-Adresse) aus zuzulassen. Wählen Sie diese orangefarbene Schaltfläche.

  2. Sie müssen die IP-Adressprüfung vollständig deaktivieren indem Sie ein Sternchen ("*") eingeben, da Microsoft Azure Data Factory aus Hunderttausenden von Servern in der ganzen Welt besteht.

Sie können nun die Daten von StackOverflow in Azure Data Factory importieren.

Konfigurieren Sie Azure Data Factory Konnektor für StackOverflow

Sie werden nun Azure Data Factory Daten von StackOverflow über die hergestellte Verbindung einholen.

Bitte beachten Sie noch einmal, dass Invantive Cloud unter der Haube die gesamte Komplexität wie das Einrichten von Anmeldeinformationen wie einem Refresh Token, das Erwerben eines Access Token, das Optimieren und Parallelisieren des Zugriffs, den Zugriff auf eine API innerhalb der Ratengrenzen, Bereiche und Sicherheitseinschränkungen übernimmt. Es sind keinerlei Kenntnisse über komplexe technische Themen wie OAuth Access Tokenoder API erforderlich Die Microsoft Azure Data Factory-Schritte, -Aktivitäten und -Pipelines können nur mit dem OData-Feed und einer einfachen Authentifizierung erstellt werden.

Führen Sie die folgenden Schritte aus:

  1. Starten Sie Microsoft Azure Data Factory und wählen Sie "Ingest". Kopieren Sie StackOverflow Daten mit der Microsoft Azure Data Factory-Aktivität "Erfassen" ("Ingest").

  2. Wählen Sie "Integrierte Kopieraufgabe". Eingebaute Kopie mit StackOverflow als Quelle

  3. Wählen Sie den Quellentyp "OData" und wählen Sie "Neue Verbindung". OData-Verbindung für StackOverflow zu Microsoft Azure Data Factory

  4. Geben Sie im Fenster die Bridge Online-URL der Datenbank Azure Data Factory ein. Diese URL, die die Daten enthält, finden Sie im Datenbankformular von Invantive Cloud. Wählen Sie die Authentifizierungsart "Basis Authentifizierung". Geben Sie den Invantive Cloud-Benutzernamen und das Kennwort ein. OData-URL für StackOverflow mit Anmeldeinformationen

  5. Die Liste der verfügbaren StackOverflow Tabellen wird angezeigt. Wählen Sie die gewünschten Tabellen aus und bauen Sie Ihre Pipeline in Microsoft Azure Data Factory auf. Wählen Sie StackOverflow Tabellen und verarbeiten Sie sie in Microsoft Azure Data Factory