Jedem sollten die Panama Papers mittlerweile ja ein Begriff sein. Das ist der Leak der Süddeutschen gewesen, der sehr schön die Steuersünden bekannter Persönlichkeiten aufzeigte. Viele Prominente haben damit versucht Steuern zu sparen mittels Offshore Firmen. Ingesamt unfasst der Leak in etwa 320.000 Brifkastenfirmen und Stiftungen. Aber jetzt existiert mit der Offshote Leaks Database endlich eine Webseite um die Daten besser zu visualisieren. Cool!
Vorgestern gab es wieder eine neue Version (3.2) vom Website Ranking Checker. Hier möchte ich einen kleinen Einblick in die Änderungen geben und warum dieser Ranking Checker nun noch einfacher zu bedienen und zu verwalten ist.
OrientDB ist eine der am schnellsten wachsenden Datenbanken derzeit. Die Gründe dafür sind vielfältig: gute Dokumentation komplett kostenlos und das selbst für kommerzielle Projekte aktive Community schneller Support schnelle Entwicklung und vor allem gute Github Interaktionen auf Probleme Seit heute gibt es zusätzlich auch sehr gut Video-Tutorials. Leider sind sie nicht von mir, aber ich hätte es nicht besser machen können. Also wenn ihr immer noch unschlüssig seid dann schaut euch...
Warum auch immer nutzt Neo4j als Lucene-Indexer den WhitespaceAnalyzer. Dieser hat jedoch viele Nachteile, dass es wünschenswert sein kann diesen abzuändern. Leider bringt Neo4j von Hause aus keine Möglichkeit mit, dies mit einfachen Mitteln vorzunehmen. Es scheint als wenn die Lucene Implementation nicht weit vorangeschritten ist. Es wird auch immer noch die Lucene Version 3.6 verwendet, obwohl bereits Lucene 4.10 die aktuellste ist. Nichtsdestotrotz in einem Projekt brauchte ich den...
Nun möchte ich euch gerne einmal zeigen wie mein derzeitiger Java-Code aussieht, welchen ich zum Importieren großer Datenmengen in Neo4j verwende. Dies stellt einen Real-Beispiel Import Code dar. Genutzt werden könnte er für eine bestimmte kostenpflichtige Datenbank aus dem Internet, welche ich hier nicht weiter erwähne.
Grundsätzlich brauch man sich keine Gedanken machen den Cache zu leeren. Denn der Cache läuft im Hintergrund und optimiert dabei die Query-Geschwindigkeiten. Daher ist in erster Linie ein Abschalten kontra-produktiv. Allerdings benötigt man für Benchmarks saubere Ergebnisse. Ohne weiteres ist dies in Neo4j leider nicht möglich. Neo4j nutzt den System-Cache und lässt sich nicht überzeugen dem System anzuweisen den Cache zu leeren. Das ist schade, weil die enorm Ergebnisse verfälscht....
Nachdem wir gesehen haben wie man Neo4j installiert und angefallene Daten wieder ganz einfach löschen kann, wollen wir jetzt schauen wie man Daten auf unterschiedlicher Weise importieren kann. Auch hier gibt es wieder mehrere Methoden. Wir wählen in diesem Tutorial den Weg über Groovy. Zunächst benötigen wir Groovy auf dem System. Danach wird gezeigt wie das Skript aussehen muss. Dieses Tutorial geht davon aus, dass Neo4j bereits installiert ist und Ubuntu eingesetzt wird. Ebenso verhält...
Nachdem wir gesehen haben wie man Neo4j installiert und angefallene Daten wieder ganz einfach löschen kann, wollen wir jetzt schauen wie man Daten auf unterschiedlicher Weise importieren kann. Auch hier gibt es wieder mehrere Methoden. Wir wählen in diesem Tutorial den Weg über den LOAD CSV Befehl. Dieser vereinfacht das Importieren enorm und ist mit Abstand das Einsteiger-freundlichste Verfahren Daten zu importieren. Dieses Tutorial geht davon aus, dass Neo4j bereits installiert ist und ein...
Die Indexierung in einer Datenbank ist enorm wichtig um performant Abfragen in dieser auszuführen. Bevor man Indizes setzt, sollte man sich jedoch im Klaren sein, dass diese zusätzlichen Festplattenspeicher brauchen und das Erzeugen der Indizes ebenso Zeit in Anspruch nimmt. Von klarem Mehrwert sind jedoch die Auswirkungen, wobei Abfragen nun um ein Vielfaches schneller erfolgen.
Die Konfiguration eines System ist ja bekanntlich ein sehr wichtiger Schlüssel zum Erfolg. Weist man einer Anwendung zu wenig Ressourcen zu, so kann sie sich nicht richtig entfalten. Daher zeige ich euch nun die beiden hauptsächlichen Stellschrauben, welche maßgeblich euren Import beschleunigen können.