Die offengelegten Datensätze enthielten laut Fowler Benutzernamen und Passwörter von Opfern aus aller Welt, für eine Vielzahl häufig genutzter Online-Dienste und nahezu alle erdenklichen Arten von Konten. Dazu gehörten Social-Media-Plattformen wie Facebook, Instagram, Tiktok und X (ehemals Twitter) sowie Dating-Websites oder -Apps und OnlyFans-Konten, die die Anmeldedaten sowohl von Erstellern als auch von Kunden enthielten.

Der Sicherheitsforscher fand auch eine große Anzahl von Streaming-Dienst-Konten für Netflix, HBOmax, DisneyPlus, Roblox und mehr. Auch Konten von Finanzdienstleistern, Krypto-Wallets oder Handelskonten, Bank- und Kreditkarten-Logins tauchten ebenfalls in der begrenzten Stichprobe der von Fowler überprüften Datensätze auf.

Genannt werden Zugangsdaten für Gmail ( 48 Millionen), Yahoo (4 Millionen), Outlook (1,5 Millionen), iCloud (900.000) sowie .edu-Adressen aus dem Bildungsbereich (1,4 Millionen).

Detailinformationen bietet Fowler in diesem Beitrag.

Zusatz: Die Passwörter liegen im Klartext vor. Daher darf nicht außer Acht gelassen werden, dass diese ggf. auf den jeweiligen Geräten abgegriffen wurden. Es empfiehlt sich daher, sämtliche Geräte auf Malware und dergleichen zu untersuchen und ggf. Gegenmaßnahmen einzuleiten.

Der Beitrag 149 Millionen Benutzernamen und Passwörter (Gmail, Instagram, Netflix) und mehr erschien zuerst auf Norbert Eder.

Google Assistant hört versehentlich mit
https://www.heise.de/news/Versehentlich-mitgehoert-Google-zahlt-68-Millionen-US-Dollar-wegen-Assistant-11155112.html

Das Resultat ist, dass der Google Assistant auch private Unterhaltungen mithört, die nicht für den Assistenten gedacht waren. Die Kläger werfen Google sogar vor, diese Unterhaltungen zum Personalisieren von Werbung genutzt zu haben.

Aber damit steht Google nicht alleine da:

Unbeabsichtigte Aktivierungen sind auch bei anderen Sprachassistenten ein Problem: Erst vor einem Jahr einigte sich Apple in einem vergleichbaren Fall über Siri-Aktivierungen ebenfalls außergerichtlich mit US-Sammelklägern. Apple zahlte den Klägern insgesamt 95 Millionen US-Dollar.

Amazon’s Ring to partner with Flock, a network of AI cameras used by ICE, feds, and police
https://techcrunch.com/2025/10/16/amazons-ring-to-partner-with-flock-a-network-of-ai-cameras-used-by-ice-feds-and-police/

Amazon’s surveillance camera maker Ring announced a partnership on Thursday with Flock, a maker of AI-powered surveillance cameras that share footage with law enforcement.

Und weiter …

On the same day that Ring announced this partnership, 404 Media reported that ICE, the Secret Service, and the Navy had access to Flock’s network of cameras. By partnering with Ring, Flock could potentially access footage from millions more cameras.

Die logische Konsequenz kann nur sein, sich vor der Anschaffung derartiger Geräte bewusst zu machen, was mit den aufgezeichneten/bereitgestellten Daten tatsächlich passieren kann und ob man das im Falle der Fälle möchte.

Und falls du dir jetzt denkst: Ich habe nichts zu verbergen.

Der Beitrag Absichtlicher und unabsichtlicher Datenmissbrauch – reale Beispiele erschien zuerst auf Norbert Eder.

Lokalen Windows-Benutzer anlegen

Microsoft möchte, dass wir uns mit dem Microsoft-Account bei Windows anmelden. Damit können alle anfallenden Informationen einem Account zugewiesen und ausgewertet werden. Windows bietet aber noch immer die Möglichkeit, einen lokalen Account zu verwenden.

Um einen lokalen Account anzulegen, starte ein Terminal-Fenster als Administrator (rechte Maustaste auf Windows-Menü und “Terminal (Administrator)”).

Im sich öffnenden Fenster ist folgender Befehl einzugeben:

start ms-cxh:localonly

Nun ist lediglich der Wizard zu folgen.

Nach der Anmeldung mit dem neuen lokalen Account sind noch diverse Fragen nach Location etc. ablehnend zu beantworten.

Die weiteren Schritte funktionieren sowohl mit einem lokalen als auch einem Onlinekonto.

Windows Telemetrie und mehr deaktivieren

Hierzu gibt es zahlreiche mehr oder weniger vertrauenswürdige Werkzeuge. Ich habe gute Erfahrungen mit Chris Titus Tech’s Windows Utility gemacht:

• Website
• GitHub Repository

Auf beiden Seiten wird genau beschrieben, wie das Werkzeug installiert werden kann.

Der spannende Part ist der Bereich Tweaks. Darin können zahlreiche (auch für das System gefährliche) Einstellungen vorgenommen werden.

Es gibt einige hilfreiche Vorauswahlen. Mit Standard kann wenig passieren und man hat die meisten Datenschleudern deaktiviert. Per Run Tweaks ausführen, was einige Minuten dauert und danach kommuniziert dein Windows-System schon wesentlich weniger nach außen.

Das Werkzeug bietet noch viele weitere Möglichkeiten. So auch das installieren und deinstallieren von Anwendungen. Hier bietet es sich an, sich genauer durchzuklicken und zu prüfen, was man tun möchte und was nicht. Es gibt überall Hilfen bzw. weiterführende Links um zu erfahren, was welche Option bzw. Aktion tatsächlich macht.

Es gibt eine Pro-Variante, diese ist für den Heimgebrauch allerdings nicht notwendig. Dennoch freut sich der Entwickler natürlich über die 10$.

Unter Install und der Sektion Utilities findet sich ein weiteres interessantes Werkzeug: Revo Uninstaller.

Programme deinstallieren und System bereinigen

Der Revo Uninstaller hilft nicht nur beim Deinstallieren von Software, sondern prüft auch noch auf Hinterlassenschaften in der Registry bzw. im Filesystem. Dadurch hilft dieses Tool, Software wirklich (großteils) sauber vom System zu bekommen.

Selbst Microsoft-Anwendungen schaffen es nicht, alle angelegten Registry-Keys beim Uninstall zu entfernen. Ein Werkzeug wie der Revo Uninstaller helfen hierbei.

Die Software bietet noch weitere hilfreich Funktionalitäten:

• Temp-Dateien entfernen
• Browser bereinigen
• MS-Office bereinigen
• Windows bereinigen
• Spurenvernichter (Aktivitäten-History etc. löschen)
• Usw.

Revo Uninstaller bietet auch die Möglichkeit, Systemwiederherstellungspunkte zu erstellen. D.h. sollte etwas schief gehen, kann man die letzte funktionierende Version wiederherstellen.

Vorsicht!

Diese Werkzeuge sind sehr hilfreich, bieten allerdings auch Aktionen an, die das System beschädigen können. Wenn du dir also nicht ganz sicher bist, was du tun sollst, dann verlasse dich auf Standard-Einstellungen aber führe keine weiteren Aktionen aus.

Empfehlung

Generell empfehle ich die Deaktivierung sämtlicher Telemetrien, sowie auch die Deinstallation jeglicher Software, die nicht benötigt wird. Alles, was nicht da ist, keine keine Probleme verursachen.

Zusätzlich empfehle ich die Verwendung eines lokalen Windows-Kontos.

Wenn du weitere seriöse Tipps & Tricks auf Lager hast, bitte um einen Hinweis in den Kommentaren.

Der Beitrag Debloat Windows 11 – Windows bereinigen erschien zuerst auf Norbert Eder.

Bose bietet seit 2013 SoundTech-Lautsprecher an. Diese kabellosen Lautsprecher benötigen für viele Funktionen einen zentralen Server und eine App. Bose hat vor einigen Jahren allerdings auf eine neue Generation umgestellt und möchte die alte Infrastruktur loswerden. Klar, sie bringt keinen Gewinn mehr, schafft hingegen Kosten durch Betrieb und Wartung. Wer schaut durch die Finger? Der Kunde, der damals zwischen mehreren hundert oder tausend Euros ausgegeben hat.

Kundenfrust bei Bose: SoundTouch-Geräte verlieren smarte Funktionen

Die zugehörige SoundTouch-App wird laut einem Bose FAQ ab dem 18. Februar 2026 nicht mehr funktionieren. Damit verlieren die Geräte ihre “smarten” Fähigkeiten. Die App war essenziell für die Integration von Musikdiensten wie Spotify und TuneIn sowie die Multiroom-Wiedergabe, also die gleichzeitige Beschallung mehrerer Räume. Über die Anwendung lassen sich momentan auch noch Voreinstellungen speichern und ändern.

Wer nun glaubt, das sei ein Einzelfall, liegt leider falsch.

Gerade erst hat Vorwerk angekündigt, die Cloud-Server des Tochterunternehmens Neato stillzulegen. Vorwerk hat Neato 2017 übernommen, ausgeschlachtet und 2023 zugesperrt. Wer nun einen Neato-Staubsauger zu Hause hat, muss mit Einschränkungen im Betrieb rechnen.

Vorwerk-Tochter Neato legt Cloud-Server still, Staubsauger verlieren Funktionen

Die Staubsaugerroboter könnten dann nur noch manuell gestartet werden, woraufhin sie aber jeweils nur eine Reinigung des gesamten Haushalts in Angriff nehmen. Vorher gelernte Räume oder Sperrzonen kennen sie dann wohl nicht mehr.

Das sind zwei Beispiele, die nun in nicht einmal einer Woche aufgepoppt sind. Viele andere Fälle gab es und wird es weiter geben.

Wer viel Geld in neuartige Technologie steckt, sollte sich auf jeden Fall im Vorfeld zu einigen Themen Gedanken machen:

• Kleine Start-ups überleben die ersten Jahre entweder nicht, oder werden von einem größeren Unternehmen übernommen. In jedem Fall laufen die Produkte selten weiter. Etwaige Clouddienste laufen Gefahr, eingestellt zu werden und die Produkte verlieren große Teile oder ihre gesamte Funktionalität.
• Jedes Unternehmen kann wirtschaftliche Probleme bekommen und Sparten abstoßen oder ganz schließen. Damit werden auch Cloud-Server abgedreht und alle Funktionieren, die davon abhängig sind, stellen ihren Dienst ein.
• Bei Geräten, die an die Cloud gebunden sind, sehr genau hinterfragen, welche Funktionen daran hängen und ob ein Betrieb ohne Cloud möglich ist. Im Zweifelsfalle nicht kaufen.
• Es lohnt sich auf Alternativen zu warten, die mit freier Software betrieben werden können. Dadurch können Geräte zumindest so lange sie funktionieren betrieben werden.

Man muss sich darüber im Klaren sein, dass im Hintergrund immer eine Kosten-Nutzen-Rechnung steht. Entstehen ausschließlich Kosten, trennen sich Unternehmen von Produkten.

Wem Nachhaltigkeit und Unabhängigkeit wichtig ist, setzt auf Produkte, die nicht vom Hersteller nach dem Kauf eingeschränkt oder deaktiviert werden können.

Der Beitrag Wenn smarte Geräte plötzlich dumm sind erschien zuerst auf Norbert Eder.

Microsofts Sharepoint-Lücken: Die Zero-Days, die vielleicht gar keine waren
https://www.heise.de/news/Microsofts-Sharepoint-Luecken-Die-Zero-Days-die-vielleicht-gar-keine-waren-10505387.html

Nun stellt sich heraus, dass die Angriffe ab dem 17. Juli sich gegen die Patchday-Lücken CVE-2025-49706 und CVE-2025-49704 richteten, wie etwa eye Security einräumt. Allerdings ergaben genauere Untersuchungen der Patchday-Updates, dass Microsofts Sicherheitsflicken sehr stümperhaft gemacht waren und sich trivial umgehen ließen. So demonstrierte Kaspersky, dass man den Patch gegen CVE-2025-49706 durch das einfache Einfügen eines / in eine URL umgehen konnte.

Gestohlener Azure-Master-Key von Microsoft
https://www.security-insider.de/gestohlener-master-key-von-microsoft-a-e13eabefaeb7354292ddd63dfae063d0/

Microsoft hat jetzt bekanntgegeben, dass der Diebstahl des OpenID Signing Key durch einen Serverabsturz verursacht wurde. Im April 2021 ist anscheinend ein Signatur-Server abgestürzt. Dabei hat das Betriebssystem einen Crash-Dump erstellt. In diesem Crash-Dump war dann auch der Schlüssel gespeichert, den die Hacker stehlen konnten. Leider haben die verantwortlichen Sicherheitssysteme das nicht erkannt.

Als ob das nicht genug ist, wurden die Daten des Crash-Dumps aus dem sicheren Netzwerk des Signier-Servers in ein unsicheres Netzwerk verschoben, vermutlich um den Absturz zu untersuchen. Genau an dieser Stelle hat ein Mitglied von Storm-0558 erfolgreich das Unternehmenskonto eines Microsoft-Ingenieurs kompromittiert.

Cyberkriminelle kapern AWS-Images und übernehmen Instanzen
https://www.security-insider.de/sicherheitsluecke-aws-ec2-dienst-workaround-a-15bdb176e17ceff2369a72a4f3f025f2/

Doch eine Sicherheitslücke mache es möglich, dass Angreifer manipulierte AMIs in Softwareprojekte einschleusen, die sich als offizielle Amazon-Images tarnen.

Konkret handle es sich bei dieser Art von Attacke um einen Name-Confusion-Angriff, der eine Unterkategorie der Supply-Chain-Attacken darstelle. Bei einem Name-Confusion-Angriff veröffentlicht ein Angreifer eine bösartige Ressource mit der Absicht, falsch konfigurierte Software dazu zu bringen, diese anstelle der beabsichtigten Ressource zu verwenden. Wird bei der Suche nach AMIs nicht angegeben, wem das Image gehört – also kein „owner“ festgelegt wird – kann ein Cyberkrimineller ein bösartiges AMI mit einem Namen veröffentlichen, der dem eines legitimen Images ähnelt. Wenn die Software in AWS dann das neueste AMI basierend auf dem Namen auswählt, könnte sie versehentlich das bösartige Image des Angreifers verwenden. Dadurch erhält der Angreifer die Möglichkeit, Code innerhalb des AWS-Kontos des Opfers auszuführen.

Amazon’s AI coding assistant exposed nearly 1 million users to potential system wipe
https://www.techspot.com/news/108825-amazon-ai-coding-assistant-exposed-nearly-1-million.html

The attacker was able to inject unauthorized code into the assistant’s open-source GitHub repository. This code included instructions that, if successfully triggered, could have deleted user files and wiped cloud resources associated with Amazon Web Services accounts.

Auch hier, wie schon bei meinem Artikel Datenverlust und geschlossene Accounts, gilt: Das ist nur ein Auszug und gibt einen Hinweis darauf, wie interne Prozesse funktionieren (sofern überhaupt vorhanden)1 bzw. Kompetenzen eingesetzt werden (sofern vorhanden).

Salesforce-Datenklau: Cybergangs erpressen namhafte Unternehmen auf Leaksite
https://www.heise.de/news/Salesforce-Datenklau-Cybergangs-erpressen-namhafte-Unternehmen-auf-Leaksite-10726346.html

Ein Konglomerat von kriminellen Cybergangs hat eine Leaksite im Darknet veröffentlicht. Dort erpresst es 39 namhafte Unternehmen und droht, aus Salesforce-Systemen kopierte Daten zu veröffentlichen, sollten die Unternehmen kein Lösegeld aushandeln. Zudem droht die Erpressergruppe damit, mit Anwaltskanzleien zusammenzuarbeiten, die zivil- und wirtschaftsrechtliche Ansprüche gegen die Opfer geltend machen sollen.

Datenleck bei Sonicwall: Alle Cloud-Backups von Firewalls gestohlen
https://www.heise.de/news/Datenleck-bei-Sonicwall-Alle-Cloud-Backups-von-Firewalls-gestohlen-10748910.html

Mitte September meldete Firewallhersteller Sonicwall einen Einbruch in seine Cloud, bei dem Konfigurations-Backups von Sonicwall-Kunden kopiert worden seien. Das beträfe jedoch nur fünf Prozent der Kunden, hieß es damals in einer ersten Einschätzung des Unternehmens. Diese revidiert Sonicwall nun: Alle Kunden sind betroffen und sollten handeln.

Der Beitrag Cloudanbieter haben die beste Security … erschien zuerst auf Norbert Eder.

15.05.2025 Trump’s sanctions on ICC prosecutor have halted tribunal’s work
https://apnews.com/article/icc-trump-sanctions-karim-khan-court-a4b4c02751ab84c09718b1b95cbd5db3

17.06.2025: Kubernetes verliert seinen privilegierten Slack-Zugang
https://www.heise.de/news/Daten-gehen-verloren-Kubernetes-verliert-seinen-privilegierten-Slack-Zugang-10449968.html

17.06.2025: Youtube löscht Präventionskanal der Deutschen Aidshilfe
https://rp-online.de/panorama/deutschland/youtube-loescht-praeventionskanal-der-deutschen-aidshilfe-verein-protestiert_aid-129470479

19.06.2025: „Debanked“ von Microsoft – ein Fall, der zu denken gibt
https://www.linkedin.com/posts/m-m-o_digitalesouveraeunitaeut-opensource-microsoft-activity-7341130746075500546-rb8z

21.07.2025 – Microsoft sperrt Konto von LibreOffice-Entwickler – https://mikekaganski.wordpress.com/2025/07/25/microsoft-anybody-home/

02.08.2025 – AWS deleted my 10-year account and all data without warning
https://www.seuros.com/blog/aws-deleted-my-10-year-account-without-warning/

21.11.2025 – Digitaler Rückfall in die 90er: US-Sanktionen treffen französischen Richter
https://www.heise.de/news/Wie-ein-franzoesischer-Richter-von-den-USA-digital-abgeklemmt-wurde-11087453.html

Und das ist nur die Spitze des Eisbergs. Sperrungen von einfachen, unbekannten Benutzern kommen in der Regel ja kaum ans Licht.

Wer noch weitere, mir entgangene Links hat, bitte nur her damit.

Wer den Zugriff auf seine Daten behalten möchte, macht sich daher lieber unabhängig.

Der Beitrag Datenverlust und geschlossene Accounts erschien zuerst auf Norbert Eder.

Fitnessdaten

Nehmen wir eine Smartwatch (eine Apple Watch oder ein ähnliches Gerät) oder eine Fitness- bzw. Sportuhr. Tagtäglich zeichnen sie Daten auf. Schritte, Schlafzeiten (Dauer, Intensität, Qualität, div. Schlafphasen), Stresslevel, sportliche Aktivitäten, Puls usw. Zusätzlich sind meist Informationen über das Geschlecht, Alter, Gewicht und mehr vorhanden, meist auch sehr eindeutig zuordenbar (Apple Account usw.).

Was kann man da so rauslesen?

• Machst du Sport, wenn ja, wieviel und welchen? Ist dieser Sport überhaupt für dich gesund? Passt er zu deinem Gewicht oder könnten sich daraus Verschleisserscheinungen für deinen Körper geben?
• Ist deine körperliche Verfassung im Schnitt deiner Altersklasse oder ist sie möglicherweise wesentlich schlechter?
• Stressindikatoren geben ein Bild deines Lebenswandels und lassen in Verbindung mit (Nicht)Bewegung Rückschlüsse zu.
• Smartwatches können Bewegungsmuster erkennen. Darunter nicht nur, ob du läufst. Alle Muster, die du mit der Hand/dem Körper ausführen kannst lassen sich potentiell erkennen und auswerten.
• Zumindest bei sportlichen Aktivitäten werden Positionsdaten erfasst (in der Regel häufiger). Aber dazu unten mehr.

Das ist nur ein Burchteil der erfassten Daten. Stellen wir uns nun vor, diese Daten werden mit unserer Versicherung geteilt (beispielsweise kauft ein großer Versicherer Garmin auf). Was hätte das für Auswirkungen auf deine Versicherungsprämie? Vielleicht hast du einen sitzenden Beruf, Sport ist dir fremd, hast etwas mehr Gewicht. Möglicherweise leitet die Versicherung ein höheres Risiko für Herz-Kreislauferkrankungen ab und erhöht die Prämie.

Eventuell bist du aber auch super fit, aber du fährst Downhill und lebst somit wesentlich gefährlicher als der Durchschnittsmensch. Auch das könnte sich negativ auf deine Prämie auswirken, vielleicht auch auf den gesamten Vertrag.

Fotos

Schnell ein Foto hier mit dem Smartphone gemacht, mit der Cloud synchronisiert und dort noch ein weiteres und schwupp ist auch dieses auf irgendeinem Server. Ist doch praktisch, da muss man sich nicht um ein Backup kümmern (sollte man trotzdem, aber das ist eine andere Geschichte).

Smartphone schreiben viele EXIF und IPTC-Daten aka Metadaten in die Fotodateien. Neben den eigentlichen EXIF-Daten (Blende, Verschlusszeit etc.) werden Positionsdaten, Uhrzeit, Gerät usw. im Foto gespeichert. Alleine daraus können bereits sehr viele Rückschlüsse gezogen werden.

Allerdings liefern Fotos ja auch noch Bildinformationen, die ausgewertet werden können. So kann man nicht nur per Gesichtserkennung herausfinden, wer hier noch alles anwesend ist (bitte daran denken, dass das ja bei anderen Personen auch gemacht werden kann und somit eindeutige Zuordnungen möglich werden) und was gemacht wurde.

Bewegungsdaten

Zuhause – Kindergarten – Arbeit – Kindergarten – zuhause. Oder aber auch zum Arzt zur Gesundenuntersuchung. Mit anschließenden Terminen bei weiteren Ärzten. Vielleicht kommt auch ein Onkologe ins Spiel (was ich niemandem wünsche). Oder verbringen wir immer wieder Zeit beim Orthopäden? Wie häufig sind wir in einer Apotheke, oder beim Röngten? Ich erinnere an die Versicherung.

Mit welchen Personen kreuzen sich unsere Wege, mit wem gehen wir Wege gemeinsam (zum Beispiel durch die jeweilige Aufzeichnung von gemeinsamen Lauftrainings, Wanderungen mit der Alpenvereinsgruppe etc.). Mit wem verbringen wir unsere Nächte?

Es gibt so viele Informationen aus unseren Bewegungsdaten herauszulesen. In Kombination mit den Bewegungsdaten aus unserem Umfeld kann sehr viel rekonstruiert werden.

Allerdings sind natürlich auch viele Fehlannahmen möglich. Darüber mag man sich nun freuen, weil die Daten somit falsch sind, aber in den falschen Händen wird uns das zum Nachteil gereichen.

Dokumentenablage

Immer und überall auf die eigenen Dokumente zugreifen können? Das wünschen sich viele und lagern daher alle ihre Dokumente auf Google Drive, Microsoft OneDrive und wie sie alle heißen.

Auf all diese Informationen haben die Betreiber (wenn man nicht selbst für eine ausreichende Verschlüsselung sorgt) Zugriff. Eh nicht schlimm, denn du hast nichts zu verbergen? Nun, hier ein paar Beispiele, welche Daten auf Onlinespeichern platziert werden:

• Ärztliche Befunde
• Notarielle Urkunden
• Gehaltsabrechnungen
• Versicherungsdokumente
• Betriebskostenabrechnungen
• Mietverträge
• Kaufverträge
• Reisedokumente
• Kreditverträge
• Bankdokumente
• Usw.

Der gläserne Mensch. Interessiert niemanden? Das Thema Gesundheit hatten wir schon. Genaue Eigentumsverhältnisse bzw. Einkommensverhältnisse, Kredite usw. sind für viele interessant.

Gerade aus den Dokumenten können sehr viele stichhaltige Informationen herausgelesen werden. Selbst Historien können so aufgebaut werden. Mal ganz abgesehen davon, mit welchen Ärzten, Rechtsanwälten, Notaren, Vereinen usw. man Kontakt hat.

Zuviele Daten, zuviel Aufwand

Das ist das Killerargument derer, die gewollt naiv an dieses Thema ran gehen, um weiterhin der Bequemlichkeit zu frönen.

Ja, es sind viele Daten, aber das ist heutzutage kein Problem. Es gibt auch die Möglichkeit, diese in Verbindung zu setzen und so einzelne Menschen genau heraus zu filtern.

Das ist der Grund, warum diese Daten so wertvoll und ein lukratives Geschäft sind.

Ich kann tatsächlich nur anraten, darauf zu achten, wohin ihr eure Daten gebt. Je weniger ihr davon im Internet verfügbar habt, umso besser. Dabei empfehle ich auch, auf Open Source zu setzen und den großen Tech-Buden möglichst aus dem Weg zu gehen.

Der Beitrag Ich hab ja nix zu verbergen – oder doch? erschien zuerst auf Norbert Eder.

Das gilt übrigens auch für anderealle Anbieter kostenloser Angebote, die sich hier immer wieder glänzend hervortun, Google zum Beispiel.

Es ist so praktisch!

Nachvollziehbar. Es ist praktisch, einen Account zu haben, dort kann man Dokumente ablegen und bearbeiten, Fotos ablegen, auch eine kostenlose Mail ist auch dabei. Zusätzlich kann man diesen Account dann auch noch benutzen, um sich bei anderen Diensten anzumelden.

Was du vergisst …

… ist die totale Abhängigkeit, in die du dich begibst.

Microsoft, Google und wie sie alle heißen, analysieren schon länger die Accounts auf “Anormalitäten” und sperren gegebenenfalls diese dann – oder löschen sie gleich, soll auch schon vorgekommen sein. Mittlerweile passiert das vollständig automatisiert per KI.

Wenn das passiert, verlierst du mit einem Schlag den Zugriff auf alle deine dort hinterlegten Daten, auf alle verbundenen Services und im Falle von Google wird auch dein Zugriff am Smartphone eingeschränkt.

Vielleicht noch etwas deutlicher, worauf du möglicherweise den Zugriff verlierst:

• Dokumente
• Fotos
• E-Mail-Account
• Kontakte
• Social Media Accounts
• Home-Automatisierung/-Steuerung (Heizung, PV, Licht, …)
• Lokaler PC/Laptop (Windows-Account!)
• XBox
• Office 365-Abo
• Google Workspace
• Google Ads
• uvm.

Aber das passiert doch nicht so einfach …

Doch.

Oder

Und es gibt noch sehr viele weitere Berichte da draußen.

Was auch gerne vergessen wird:

Was ist, wenn die Mail-Adresse in dubiosen Kreisen auftaucht, oder der Account geknackt und für dubiose Machenschaften verwenden wird. Das bekommst du im Schlimmsten Fall erst mit, wenn es zu spät ist.

Was kann ich tun?

Ganz einfach: Finger weg von Cloud-Accounts.

Investiere ein paar Euro und bezahle für E-Mail-Account bei einem seriösen Anbieter, hol dir bei Bedarf für 5€ im Monat eine NextCloud-Instanz.

Minimiere dein Risiko, indem du nicht auf einen einzigen Anbieter setzt.

Der Beitrag Und plötzlich sind die Daten weg … erschien zuerst auf Norbert Eder.

Grundlegende Idee

Die Idee des Webcrawler ist, von einem Startpunkt ausgehend, neue Seiten bzw. Aktualisierungen zu finden. Diese wandern in einen Index und werden in weiterer Folge von einem anderen Prozess thematisch kategorisiert und mit einer Relevanz versehen.

Erste Iterationen und Learnings

Theoretisch ist ein Webcrawler eine einfache Sache. Aber wie immer in der Softwareentwicklung trifft Theorie auf Praxis und es gibt Themen, die unerwartet sind, aber auch solche, die bewusst auf später verschoben werden.

Ich wählte einen iterativen Ansatz mit dem Ziel, einen einfachen Crawler funktional zu haben und diesen in weiterer Folge kontinuierlich zu optimieren und um neue Features anzureichern.

Webcrawler v0.1.0

Wie auch das bisherige Backend, ist der Webcrawler mit Go geschrieben. Er gibt sich als gbbot zu erkennen. Ausgehend von einer Startdomain wird diese durchsucht und sowohl die einzelnen Seiten dieser Domain, als auch weitere Domains persistiert.

Im nächsten Schritt werden die neu gefundenen Domains durchsucht – nach demselben Verfahren.

Mit net/http und net/url bring Go alles mit, was man braucht.

Webcrawler v0.2.0

Bereits nach dem dritten Durchlauf gab es eine Unmenge an Domains, die natürlich mit dem Thema Blogs nichts mehr zu tun hat. Im Grunde finden sich alle Social Media-Plattformen und großen Tech-Buden in der Liste. Es muss also doch eine manuelle Freischaltung her.

Es werden zwar weiterhin alle gefundenen Domains gespeichert, allerdings müssen die zu crawlenden Domains manuell aktiviert werden. Das ist zwar aktuell Handarbeit, aber ohne eindeutige Erkennung, dass es sich hierbei um ein Blog handelt, gibt es keine andere Möglichkeit.

Der bisherige Nachteil: Das Parsen und Verfolgen ist nicht ganz billig.

Webcrawler v0.3.0

Um den gesamten Parsing-Prozess zu verbessern, wird nun zu Beginn überprüft, ob es eine sitemap.xml gibt. Wenn ja, wird diese herangezogen. Sitemap-Index-Dateien werden genauso unterstützt, wie Standard-Sitemap-Dateien.

In diesem Fall werden nur diese Seiten evaluiert und lediglich neue gefundene Domains mitgeschrieben, aber keinen weiteren Links gefolgt.

Das ist in Summe wesentlich performanter bzw. speichereffizienter, als sich alle gecrawlten Seiten zu merken und beim Durchsuchen des Trees zu prüfen, ob der gefundene Link bereits überprüft wurde.

Für die Arbeit mit den Sitemap-Dateien setze ich auf gopher-parse-sitemap. Die Lib ist schon älter, aber die Abhängigkeiten sind überschaubar und am Sitemap-Standard hat sich nichts weiter geändert, also kein Problem.

Learnings

Defensives Programmieren und so, ihr kennt das.

Aber das, was der Crawler da so findet, ist teilweise schon sehr grenzwertig. Auf jeden Fall muss er mit zahlreichen “Edge-Cases” umgehen können:

• Veraltete Links in Form von HTTP statt HTTPS
• Client-Links
• Malformed Links
• Dead-Links
• Nicht mehr existierende Domains

Und da gibt es noch weitere Fälle. Manchmal würde ich tatsächlich gerne einige Domaininhaber*innen anschreiben und ihnen einen Liste von unsinnigen Links mitteilen – aber das ist eine völlig andere Geschichte.

Weitere Verbesserungen

Natürlich gibt es noch viel zu tun, denn der Webcrawler ist bei weitem noch nicht optimal. Das sind die Themen, die als nächstes anstehen.

• Berücksichtigung robots.txt
• Einschränkung Sprache (vorerst Deutsch)
• Berücksichtigung /slashes

Danach wird es in Richtung “Themen-Erkennung” der Beiträge gehen.

Bei Interesse also bitte gerne bei GreatBlogs vorbeischauen.

Der Beitrag GreatBlogs – Ein Webcrawler entsteht erschien zuerst auf Norbert Eder.

Feed-Generierung

Der Beitrags-Feed wurde im ersten Schritt mit Vue.js realisiert. Das ist nett, aber im Grunde ergibt das dann doch bei jedem Aufrung eine Query gegen die Datenbank. Nun ist es nicht so relevant, auf Sekundenbasis neue Beiträge tatsächlich auch zu listen. Die Entscheidung, den Feed-Reader zu generieren und statisch auszuliefern, war daher sehr einfach.

Go bietet eine Templating-Engine an, die für diese Zwecke perfekt ist. Also habe ich Templates und Styles entworfen und per Go hole ich die relevanten Daten, jage sie durch die Templating-Engine und fertig ist das Ergebnis.

Da ohnehin alle 30 Minuten per Cronjob die registrierten Feeds aktualisiert wird, wird im Zuge dessen auch die Feed-Seite im Anschluss neu generiert.

Blogger Auflistung

In dieselbe Kerbe schlägt die neue Blogger-Auflistung. Diese zeigt alle registrierten Blogs an. Da sich diese noch seltener ändert, reicht eine Aktualisierung einmal am Tag. Auch dies wird über einen Cronjob durchgeführt.

RSS-Feeds

Wie im Screenshot oben zu sehen ist, werden mittlerweile auch RSS-Feeds angeboten. Hierfür gibt es eine praktische Go-Bibliothek: Gorilla Feeds.

Mit dieser Bibliothek können Atam bzw. RSS 2.0 Feeds sehr einfach erzeugt werden. Die Einbindung von Feeds ist damit ein Kinderspiel.

Hilfsmittel

Es gibt ja neben der technischen Aspekte weitere Themen zu bedienen: Usability, Accessability, Performance und natürlich auch IT-Themen. Das Einrichten und Konfigurieren von Cronjobs oder des Webservers zum Beispiel. Hier ein paar Links zu hilfreichen Webseiten:

• Crontab Guru (Unterstützung für Crontab-Konfigurationen)
• PageSpeed Insights (Website Performance, Usability, Optimierung)
• nginx Dokumentation

Der Beitrag GreatBlogs – Ressourcen-Optimierung, RSS und Co. erschien zuerst auf Norbert Eder.