Kimono war ein SaaS-Anbieter, mit dem man Webseiten scrapen konnte und der die Daten dann in einer komfortablen API bereitgestellt hat. Nun schaltet er ab:
Was mich daran so ärgert sind die zwei Wochen bis zur Abschaltung. Mir ist bewusst, dass externe Dienste wegfallen können, und entsprechend war die Nutzung von kimono für pc-kombo so abstrahiert, dass es relativ leicht ersetzbar ist. Aber trotzdem sind die externen APIs ein kritischer Bestandteil der Seite. Und jeder kritische Bestandteil ist in zwei Wochen nur schwer ersetzbar.
Das ist auch nicht üblich. Wenn externe Dienste wegfallen versuchen verantwortungsvolle Betreiber normalerweise, ordentliche Migrationszeiten zu schaffen. Das nun abschaltende Copy zum Beispiel gibt bis Mai Zeit, die hochgeladenen Dateien zu sichern, drei Monate. Und Google, die das mit dem Abschalten ja nun wirklich nicht toll machen, hat das sogar durchdefiniert und garantiert immer monatelange Migrationszeiten und Warnungen.
Konsequenzen:
Wieder ein externer Anbieter? Nicht ganz: Ein externer Anbieter einer FLOSS-Lösung, die auch selbsthostbar ist. Das gewann ganz knapp den Kampf in meinem Kopf gegen die Alternative, so etwas selbst zu implementieren. Auch, weil ich die Scraper lokal definieren werde (die ja im Grunde nur eine URL mit mehreren Xpaths sind) und sie dann nochmal einfacher in einer selbstgebauten API-Software nutzen kann, falls scrapy doch nicht passen sollte.
Ich fand kimono toll und hilfreich. Es ist so richtig ärgerlich, eigentlich unfassbar, dass sie ihren Abgang so verkacken. Was für Gründe kann es geben, so unnötig verbrannte Erde zu hinterlassen?
Hallo, ich benutze seit neuestem Scrapy. Das Problem ist das manchmal die seiten nciht gecrawled werden können weil der Server abblockt. Deswegen arbeite ich gerade an einer Java Lösung(die nicht so schnell ist). Jedoch kann ich sagen das Jdownloader einen Perfekten User Agent Faker hat, welches wirklich bis jetzt für jede Seite funkt. Wenn du eine Lösung bei Scrapy gegen den HTTP-Code 403 hast, immer nur her damit :).
Ich musste selbst noch nicht damit spielen, aber es gibt mehrere Lösungsansätze. Du könntest mit http://doc.scrapy.org/en/latest/topics/settings.html#download-delay die Seite langsamer crawlen, das könnte verhindern dass sie dich blockt. In den Einstellungen kannst du auch den Useragent wechseln. Und schließlich gibt es mit crawlera eine Proxylösung, die helfen könnte.
Ich würde mit dem ersten Tipp anfangen. Den Server nicht stark zu belasten ist immer eine gute Idee.
