Scraping Xing mit Code und ohne Code (einer ist 100x schneller)

Hallo 🇩🇪 ! 

Scraping ist wohl meine Lieblingsdisziplin im Growth-Bereich und deshalb erkläre ich heute, wie man ein wenig Xing-Scraping auf verschiedene Arten betreiben kann.

Zuerst erkläre ich, wie man Xing mit einem etwas fortgeschrittenen Stack scrapen kann, da die Technologie von Xing es nicht erlaubt, den üblichen Scraping-Stack wie Python's Scrapy oder BeautifulSoup zu verwenden.

Zweitens erkläre ich Ihnen, wie Sie es selbst mit XingZap und ohne andere Tools oder Kenntnisse machen können, was Ihnen im schlimmsten Fall Stunden an Entwicklungszeit und Debugging erspart.

Wenn Sie nicht wissen wollen, wie man den technischen Tauchgang macht, scrollen Sie einfach nach unten oder holen Sie sich ein XingZap-Konto! (Sie erhalten 1000 Credits kostenlos für den Anfang.

Kommen wir zur Sache.

Scraping Xing mit Python, Selenium und Chrome

Hier finden Sie, was Sie für einen reibungslosen Start benötigen:

• Erfahrung in Python
• Erfahrung mit der Selenium-Bibliothek
• Erfahrung mit einem Python-HTML-Parser (ich verwende BeautifulSoup)
• Erfahrung mit HTML/CSS und CSS-Selektoren
• Ein Xing-Konto

Bevor wir irgendetwas tun, müssen wir uns programmatisch bei Ihrem Konto anmelden, aber ich beginne mit einem Haftungsausschluss.

Bitte beachten Sie, dass es zu Unterbrechungen kommen kann, wenn Sie sich zu oft von verschiedenen IPs/Standorten aus einloggen.
Xing (wie Linkedin) hat seine eigenen Richtlinien für die Sperrung von Accounts, und deren Wort ist endgültig.
XingZap und ich können nicht für die Aktionen verantwortlich gemacht werden, die Sie mit Ihrem eigenen Account durchführen.

Damit ist das Thema erledigt:

• Als Erstes müssen Sie das Fenster mit der Cookie-Zustimmung abwarten und alle Cookies akzeptieren
• Dann geben wir unsere E-Mail und Passwörter in die entsprechenden Felder ein und drücken die Eingabetaste.
• Ich arbeite mit CSS-Selektoren, um jedes Element, das gefüllt oder angeklickt werden muss, genau zu bestimmen

So könnte die endgültige Protokollierungsfunktion im Rohzustand aussehen:

‍

Das war erst der Anfang!

Wir müssen noch die Selektoren für die gewünschten Daten (Name, Position, Firma...) finden und ausgeben, der Einfachheit halber zeige ich nur, wie ich die erste Ergebnisseite einer gegebenen Xing-Suche erhalten würde:

• Ich lade eine Suche, hier habe ich nach "fullstack developers"gesucht
• Ich warte darauf, dass die Suchergebnisse mit Puppeteer geladen werden und speichere den HTML-Quelltext, damit ich ihn mit BeautifulSoup, einem sehr leistungsfähigen Python-HTML-Parser, parsen kann
• Nach der Überprüfung mit der Entwicklerkonsole werden die Ergebnisse im div mit dem Attribut data-qa mit einem Wert von results-listgespeichert
• Nehmen wir an, ich möchte nur die Namen und die URLs abrufen:

• Ich wähle alle Spannen, die den x85e3j-0-Klassennamen haben, und erhalte die hrefs aus den a-Tags, die den Klassennamen"search-card-style-containerLink-70ccdd46 " haben:

• Mit ein wenig Python-Listenverständnis erhalte ich die tatsächlich formatierten sauberen Daten

Zusammengefasst würde es nach der Änderung des ersten Skripts wie folgt aussehen:

‍

Dieses Skript ist ab Dezember 2021 funktionsfähig, aber ich sollte anmerken, dass es keine Garantie dafür gibt, dass es auch in Zukunft noch funktioniert, wie Sie vielleicht schon wissen.

Zu Beginn müssen Sie den Rest selbst testen und lernen, um die Grenzen zu erkennen und das Xing-Scraper-Skript an Ihre Bedürfnisse anzupassen.

Es gibt natürlich noch weitere Schritte, um dieses Skript produktionsreif zu machen: Wir müssen noch das Paging implementieren, die Eingaben und Ausgaben verbessern, menschliches Verhalten und Wartezeiten hinzufügen und schließlich sicherstellen, dass unsere Fehler mit Screenshots behandelt werden, falls Xing sein Layout ändert.

Sie können all dies berücksichtigen oder einfach den nächsten Abschnitt lesen, um in Sekundenschnelle loszulegen.

‍

Xing-Scraping mit XingZap

Hier ist, was Sie für den Anfang brauchen:

• Nichts, außer einem Xing-Konto

Um loszulegen, erstellen Sie ein Konto auf XingZap.

Um zu wiederholen, was ich beim Scrapen gemacht habe, geben Sie fullstack developer ein und klicken Sie auf search:

Und schon ist man fertig 🎉 !

Sie können die Exportdatei, die bereits formatiert ist, herunterladen.

Alles war im Handumdrehen erledigt und deshalb haben wir XingZap entwickelt.

Wenn Sie es ausprobieren möchten, bieten wir Ihnen bei der Anmeldung 1000 kostenlose Suchergebnisse an 🚀.

‍

Bis zum nächsten Mal,

Tschüss!