Was ist eine TOR-Suchmaschine?

Wie funktioniert sie?

Und warum ist es so schwierig, das TOR-Netzwerk zu überwachen, im Vergleich zum offenen Web?

Eine TOR-Suchmaschine ist im Grunde die Art und Weise, das TOR-Netzwerk zu durchsuchen, das den größten Teil des Dark Web oder Darknet umfasst.

Aber um zu verstehen, was eine TOR-Suchmaschine ist, braucht man zunächst ein grundlegendes Verständnis des TOR-Netzwerks und des Browsers. Sie müssen auch verstehen, wie sie zusammenwirken, um anonymes und privates Surfen im Internet anzubieten.

TOR und das Zwiebelnetzwerk im Darknet

TOR (The Onion Router) ist eine Software, die eine anonyme Kommunikation durch Zwiebelrouting ermöglicht. Die Daten werden verschlüsselt und über Netzwerkknoten, die Zwiebelrouter genannt werden, gesendet, die jedes Mal, wenn das Datum an einen anderen Knoten gesendet wird, eine Verschlüsselungsschicht entfernen, bis es an seinem endgültigen Ziel ankommt. Durch diese mehrschichtige Netzwerkverschlüsselung – ähnlich wie bei einer Zwiebel – erhielt die TOR ihren Namen. Das TOR-Netzwerk besteht aus Benutzern, die freiwillig ihre Computer an das Netzwerk anschließen. Sobald sie dies tun, fungieren sie als Knoten, die das Netzwerk unterstützen und seine Sicherheit erhöhen. Die Weiterleitung von Daten durch diese Knoten gibt den TOR die Anonymität, die Privatsphäre und die Dezentralisierung, die sie für Informanten, Journalisten und Bürger von Unterdrückungsregimes sicher macht. Oder einfach nur Privatpersonen, die nicht wollen, dass ihr Internetanbieter die Browsing-Aktivitäten sehen kann. Da TOR jedoch ein so hohes Maß an Sicherheit bietet, wird es auch von Kriminellen, Hackern und Terroristen genutzt, um illegale Waren und Dienstleistungen zu kaufen und zu verkaufen, Daten zu verletzen und Angriffe auf Länder und Organisationen zu planen.

Das TOR-Netzwerk und der TOR-Browser

Sites im TOR-Netzwerk sind leicht zu identifizieren, da sie in der URL auf „.onion“ enden und mit einem normalen Browser nicht zugänglich sind. Das TOR-Netzwerk enthält einen eigenen TOR-Browser, so dass Sie auf diese .onion-Sites zugreifen können. Er ermöglicht es Ihnen auch, nicht nur TOR – den größten Teil des Dark Web – sondern auch das „normale“ Internet (was wir das offene Web nennen) anonym und privat zu betrachten. Benutzer des offenen Webs können TOR benutzen, um zu verhindern, dass Internet Service Provider (ISPs) und Werbetreibende Daten über ihre Online-Aktivitäten sammeln.

Der TOR-Browser und DuckDuckGo

2016 wurde DuckDuckGo die offizielle Suchmaschine für den TOR-Browser.

DuckDuckGo ist eine Suchmaschine, die dafür bekannt ist, privates Browsen zu ermöglichen, da sie keine Benutzerinformationen wie IP-Adressen oder Suchverlauf speichert. Wenn sie mit dem TOR-Netzwerk kombiniert wird, ergänzt sie die Benutzererfahrung, um noch mehr Anonymität und Privatsphäre zu bieten.

Aber die Sache ist die: DuckDuckGo als Suchmaschine gibt keine Ergebnisse aus dem Zwiebelnetz zurück. Sie gibt nur Suchergebnisse für das „Clearnet“, also das offene Web, zurück. Um tiefer einzutauchen und die Berichterstattung über das Dark Web und das TOR-Netzwerk zu erhalten, benötigen Sie eine TOR-Suchmaschine, eine mit Zugang zu .onion-Sites.

Die Notwendigkeit einer TOR-Suchmaschine für das Darknet

Derzeit gibt es mehrere TOR-Suchmaschinen wie Candle, Torch, Kilos, AHMIA und Tor66 , die das TOR-Netzwerk erforschen. Das Problem ist, dass die meisten Dark-Web-Suchmaschinen – abgesehen von AHMIA – nur eine teilweise Abdeckung dunkler Websites wie Marktplätze und Foren bieten. Außerdem haben sie – mit Ausnahme von Kilos – auch keine granularen Filtermöglichkeiten – so dass Ihre Suchergebnisse nicht immer relevant sind. Und keine von ihnen sind in der Lage, Suchergebnisse für Inhalte zurückzugeben, die durch Logins und Paywalls blockiert sind.

Es gibt einige wenige TOR-Verzeichnisse, die ebenfalls existieren, wie Dark.fail, Darknetmarketslink und andere, die Hyperlinks von aktiven Websites im Dark Web auflisten und sie in Kategorien einteilen. Diese Verzeichnisse sind jedoch oft veraltet und können defekte Links enthalten. Ihre Abdeckung des Dark Web ist begrenzt. Und da Sie in verschiedenen Verzeichnissen unterschiedliche Links finden, müssen Sie ständig Querverweise darauf erstellen, um sicherzustellen, dass Sie nicht irgendwo eine aufgelistete Site verpasst haben.

Mit anderen Worten, wenn Sie eine solide Abdeckung des TOR-Netzwerks und die relevantesten Suchergebnisse wünschen, können Sie sich nicht auf die Dark-Web-Suchmaschinen oder Verzeichniseinträge verlassen, die derzeit existieren.

Warum es schwierig ist, eine TOR-Suchmaschine aufzubauen

Es stellt sich heraus, dass die oben genannten Dark-Web-Suchmaschinen Grenzen haben, weil es ziemlich kompliziert ist, eine TOR-Suchmaschine aufzubauen. Als Experten in der Entwicklung von Technologien, die Daten aus dem offenen Web crawlen und extrahieren, dachten wir, dass das Hinzufügen von Dark-Web-Daten zu unseren Datenspeichern ziemlich einfach sein würde. Aber hier sind nur einige wenige Herausforderungen, auf die wir gestoßen sind.

Das Fehlen eines Suchverzeichnisses im Darknet

Das Dark Web wird nicht auf die gleiche Weise indiziert wie das Open Web. Im Gegensatz zum offenen Web wollen Sites im Dark Web nicht entdeckt werden. Externe Links zu anderen Sites sind selten, und es gibt eine begrenzte Anzahl von Verzeichnissen, die das Dunkle Web abbilden. Während also die Fähigkeit, Suchergebnisse zurückzugeben, automatisiert werden kann, ist immer noch menschliches Eingreifen erforderlich, um die wichtigen Quellen zu lesen und zu entdecken, die es zu durchsuchen gilt. Und auch das reicht nicht aus, denn das Dunkle Netz dehnt sich exponentiell aus. Man muss sich also auch auf eine spezielle Technologie zur Überwachung des Dark Web verlassen, die ständig neue Websites, Netzwerke und Marktplätze innerhalb der Komplexität des Dark Web entdecken kann.

Relevante Ergebnisse zurückgeben

Da das dunkle Web nicht so schön und ordentlich indiziert ist wie das offene Web in der Suchmaschine von Google und anderen, kann es schwierig sein, relevante Ergebnisse zu erhalten. Ohne die Möglichkeit, Daten in verschiedene Kategorien zu kategorisieren: Drogen, Terror, PII (persönlich identifizierbare Informationen), werden Sie nur schwer finden, was Sie wollen. Aus diesem Grund haben wir maschinelles Lernen eingesetzt, um den Inhalt automatisch zu kategorisieren und spezifische und mehrere Entitäten wie Kreditkartennummern, Sozialversicherungsnummern, Telefonnummern, E-Mails zu extrahieren, so dass die Benutzer relevante Informationen auf einfache und bequeme Weise über die Cyber-API schnell finden können.

CAPTCHAs und Passwörter blockieren das Crawling

Die meisten Domains im Dark Web werden über eine CAPTCHA- oder Login-Seite gesteuert. Sie benötigen eine effektive Möglichkeit, diese Formular-Authentifizierungsprozesse zu umgehen, sonst werden Sie auf die meisten Daten im Dark Web nicht zugreifen können, selbst wenn Sie ständig neue Websites und Marktplätze entdecken. Sie werden blockiert werden.

Rechtliche Implikationen

Schließlich gibt es rechtliche Probleme bei der Bereitstellung von Dark-Web-Daten an Einzelpersonen und Organisationen. Die Dark-Web-Überwachungstechnologie, für die Sie sich letztlich entscheiden, sollte die KYC-Prinzipien (Know Your Customer) einhalten und strenge Vereinbarungen darüber treffen, wie Kunden sie nutzen können. Wir achten sorgfältig auf die Einhaltung dieser Vorschriften, und wir sind besonders darauf bedacht, sensible Informationen wie Kreditkartennummern und Passwörter zu säubern, um Missbrauch zu verhindern.

Licht in das dunkle Web bringen

Die TOR-Suchmaschine, das Netzwerk und der Browser sind allesamt Werkzeuge, die zusammen die Erkundung des Dark Web und des Open Web mit einem hohen Maß an Anonymität ermöglichen. Viele der derzeit der Öffentlichkeit zur Verfügung stehenden Tools wie die aktuellen Suchmaschinen und Verzeichnisse des Dark Web und sogar DuckDuckGo haben, wie wir bereits festgestellt haben, erhebliche Nachteile. Hier bei TSSO haben wir hart daran gearbeitet, Ihnen eine umfassende Berichterstattung sowohl über offene als auch über Dark-Web-Daten im TOR-Netzwerk und darüber hinaus zu bieten.

Möchten Sie mehr darüber erfahren, wie Sie das TOR-Netzwerk mit einer Cyber-API überwachen können?

Bildrechte

Zwiebel @K8
Eisberg macrovector