Entwicklung & Design

Yahoos Web-Crawler wird Open Source: Anthelion jetzt unter Apache-Lizenz verfügbar

Mit Anthelion hat Yahoo seinen Web-Crawler für strukturierte Daten unter Open-Source-Lizenz veröffentlicht. Die Software arbeitet als Plugin für Apache Nutch.

Quelloffener Web-Crawler: Yahoos Anthelion durchsucht das semantische Web

Semantische Annotationen wie beispielsweise mittels RDFa machen Web-Inhalte auch für Maschinen verständlich. Jetzt hat Yahoo mit Anthelion einen Web-Crawler veröffentlicht, der genau diese Daten auslesen soll. Die Software arbeitet als Plugin für Apache Nutch und wurde unter der freien Apache-2.0-Lizenz veröffentlicht.

Anthelion ist ein Crawler für das semantische Web. (Grafik: Yahoo)

Anthelion ist ein Crawler für das semantische Web. (Grafik: Yahoo)

Wer sich für die Funktionsweise des Crawlers interessiert, sollte das Paper „Focused Crawling for Structured Data“ von Mitarbeitern des Yahoo-Labs und Robert Meusel von der Universität Mannheim lesen. Den Quellcode der Software findet ihr auf der GitHub-Seite des Anthelion-Projekts.

Anthelion: Einsatzgebiete für den Web-Crawler

Anthelion wurde dazu konzipiert, möglichst effektiv nach passenden Daten im Web zu suchen. Als mögliches Einsatzgebiet nennt Yahoo beispielsweise die Suche nach Webseiten, die Informationen über Filme bereithalten. Der Clou: Dank Online-Learning-Algorithmen soll Anthelion extrem effektiv darin sein, weitere relevante Webseiten zu finden.

Ebenfalls interessant in diesem Zusammenhang ist unser Artikel „In der Hand der Roboter: Von Bots verursachter Web-Traffic steigt dramatisch“.

via venturebeat.com

Bitte beachte unsere Community-Richtlinien

Wir freuen uns über kontroverse Diskussionen, die gerne auch mal hitzig geführt werden dürfen. Beleidigende, grob anstößige, rassistische und strafrechtlich relevante Äußerungen und Beiträge tolerieren wir nicht. Bitte achte darauf, dass du keine Texte veröffentlichst, für die du keine ausdrückliche Erlaubnis des Urhebers hast. Ebenfalls nicht erlaubt ist der Missbrauch der Webangebote unter t3n.de als Werbeplattform. Die Nennung von Produktnamen, Herstellern, Dienstleistern und Websites ist nur dann zulässig, wenn damit nicht vorrangig der Zweck der Werbung verfolgt wird. Wir behalten uns vor, Beiträge, die diese Regeln verletzen, zu löschen und Accounts zeitweilig oder auf Dauer zu sperren.

Trotz all dieser notwendigen Regeln: Diskutiere kontrovers, sage anderen deine Meinung, trage mit weiterführenden Informationen zum Wissensaustausch bei, aber bleibe dabei fair und respektiere die Meinung anderer. Wir wünschen Dir viel Spaß mit den Webangeboten von t3n und freuen uns auf spannende Beiträge.

Dein t3n-Team

Schreib den ersten Kommentar!

Melde dich mit deinem t3n Account an oder fülle die unteren Felder aus.