Statistische Auswertungen, Datenaufbereitung, Filterung oder Bereitstellung per API.
Wichtige Informationen automatisch von Websites auslesen lassen und in gewünschter Form abspeichern.
Statistische Auswertungen, Datenaufbereitung, Filterung oder Bereitstellung per API.
Bots können wiederkehrende Arbeitsaufgaben automatisiert ausführen, das spart Zeit und Nerven.
Du suchst regelmäßig auf Marktplätzen nach Immobilien oder Produkten und hast dabei ganz spezielle Anforderungen? Spare Sie Arbeitszeit und lassen Sie Listings automatisch auslesen und eingrenzen.
Automatische Benachrichtigung wenn Konkurrenten Preise oder Produkte ändern bzw. neu hinzufügen.
Bots können auch beim Umzug von statischen Websites in CMS-Systeme eingesetzt werden. Statische Seiten werden dabei automatisiert ausgelesen und anschließend in neue Systeme importiert. Besonders interessant bei großen in die Jahre gekommenen Projekten ohne Datenbank-Anbindung oder Export-Funktionen.
Du möchtest Daten aus dem Internet automatisch auslesen lassen und die gesammelten Informationen anschließend speziell aufbereiten? Oder suchst du nach einem spezialisierten Bot der im Internet z.B. wiederkehrende Arbeiten für erledigt? Vielleicht möchten du ja einfach mehr über deine Konkurrenz erfahren und regelmäßig über Neuerungen oder Änderungen informiert werden. Crawler besuchen automatisiert Websites, „scrapen“ gewünschte Informationen und sammeln diese in Datenbanken. Abseits des passiven Besuches können Bots auf Wunsch auch mit Formularen interagieren, automatisiert E-Mails abschicken, Mausbewegungen simulieren und vieles mehr.
Der für deinen Anwendungsfall erstellte Crawler wird auf deine Ansprüche zugeschnitten und verwendet so wenig Ressourcen wie möglich. Manchmal reicht ein einsamer Crawler aber nicht aus um Informationen effektiv auslesen zu können. Crawler können in mehreren Instanzen ans Werk gehen und auf Wunsch auch unterschiedliche Proxy-Server verwenden. Jeder Crawler kann natürlich auch im Funktionsumfang erweitert werden. Möglich ist dabei z.B. das automatisierte auslesen weiterer Websites oder die Aufbereitung der gesammelten Daten in einer praktischen Web Oberfläche. Auch die Aufbereitung der gesammelten Informationen kann komplett auf die Anforderungen des Kunden angepasst werden.
Für die Erstellung von Crawlern nutze ich die folgenden Technologien. Jedes Projekt ist einzigartig und bietet unterschiedliche Anforderungen. Für die Umsetzung deines Projekts können gegebenenfalls auch andere Technologien zum Einsatz kommen. Mehr dazu erfährst du z.B. im persönlichen Gespräch.
Python ermöglicht den Einsatz des entwickelten Crawlers Plattform agnostisch. Der fertige Crawler kann dadurch unter Windows, Linux oder auf Wunsch auch unter OSX gestartet werden kann.
Selenium wurde eigentlich für den Einsatz als automatisierter Softwaretest von Webanwendungen konzipiert, bietet sich aber auch für den Einsatz im Web-Scraping an.
Für aufwendige Projekte arbeite Ich mit dem Scrapy Framework. Mit Scrapy ist es möglich komplizierte Bots zu entwickeln die nicht nur Informationen auslesen sondern auch mit einer Website interagieren. Dies trifft z.B. bei Websites zu die Informationen erst nach einem erfolgreichen Login anzeigen.
BeautifulSoup hilft dabei Informationen aus dem HTML Code einer Website zu extrahieren und ermöglicht gleichzeitig die bessere Lesbarkeit des Programmcodes.
Python Requests ermöglichen schnelle und ressourcensparende Aufrufe.
Websites die in Javascript entwickelt wurden sind eine besondere Herausforderung für Bots, da Inhalte oft dynamisch geladen werden. Für das Scraping dieser Websites kommen bekannte Browser zum Einsatz die zwar weitaus mehr Ressourcen benötigen dafür aber eine größere Kompatibilität bieten.
Für eine einwandfreie Funktionsweise des Web-Crawlers empfiehlt sich der Einsatz eines eigenständigen Servers. Je nach Umfang des Projekts kann dies ein sogenannter virtueller oder ein eigenständiger Server sein. Gerne empfehle ich Ihnen mögliche Hosting Provider bzw. Pakete. Auf Wunsch können Projekte auch direkt von mir gehosted werden.
Um die richtige Funktionsweise Ihres Crawlers garantieren zu können empfehle ich regelmäßig Wartungsarbeiten durchführen zu lassen. Während dieser Wartungen wird kontrolliert ob der Crawler seine Arbeit wie gewünscht durchführt die richtigen Daten erhebt und verlässlich ausgeführt wird. Besonders bei spezialisierten Crawlern sind Nachbesserungen notwendig wenn Websites die als Datenquellen dienen z.B. ein Redesign durchlaufen und dadurch Informationen anders darstellen. Auf Wunsch können Wartungen auch erst dann durchgeführt werden, wenn der Crawler nicht mehr richtig arbeitet.
Du arbeitest an einem Projekt das viel Arbeitszeit für besonders repetitive Arbeitsschritte verschlingt? Möglicherweise kann ich dir weiterhelfen.
Schick mir einfach eine E-Mail oder melde dich direkt telefonisch. Es gibt keine Hotline, mit der unten angegeben Nummer hast du einen direkten Draht zu mir.
WordPress erfreut sich seit einigen Jahren einer immer größeren Beliebtheit. Mittlerweile ist das CMS sogar das am weitest verbreitetste Publishing System. Neben der Umsetzung Ihres Designs als eigenständiges Theme biete ich auch die Entwicklung spezialisierter Plugins.
Spezialisierte Lösungen für viele Anwendungsgebiete. Mithilfe von Laravel setze ich aufwändige Web-Projekte um. Funktionelle Lösungen für dein Unternehmen, API-Schnittstellen oder Kundenbereiche. Erfahre was alles möglich ist.
Bürozeiten:
Montag – Donnerstag: 9:00 – 17:00 Uhr
Freitag: 9:00 – 14:00 Uhr
