Das EBT-Tool (aktuell: 0.99.11.3 vom 11.01.2011)

[ElBarto]

Meine CSV wurde repariert und jetzt liest sie das Programm auch richtig. Warum das bei der editierten nicht ging, weiß ich nicht.

[Nerzhul]

First, thank you for the advance warning avij, that saves some confusion and support work The procedure that splits the data will be modified asap.

It will make the splitting process a little more difficult though (it's a nightmare for someone thinking in regular expressions ) but at least solve the ambiguities that'd come up with data containing semicolons.

I wasn't aware that there could be any in the city name and zip code too ... so are there ANY characters not allowed in city name, zip code and comment?

------------

So, weiter....

@Jörg: Danke für die Fehlerbeschreibung, werde gleich mal alles testen und ggf. den Fehler beheben.

Die neueste Version SOLLTE eigentlich den Reset verhindern sobald eine Fehlermeldung auftaucht...? Teste ich alles gleich nochmal.

@ElBarto: Im Moment gibt es keine "stille" Fehlerbehandlung beim Auslesen der CSV, d.h. das Programm vertraut darauf dass sie vom EBT-Server korrekt erstellt wird und gibt ggf. die entsprechenden Fehlermeldungen aus (z.B. wenn statt einem Integer ein String eingelesen wird).
Ich weiß leider nicht welcher Art der Fehler in der CSV genau war und wie den Reparaturversuch aussah, deswegen kann ich dir dabei auch nicht weiterhelfen.

Die Uhrzeit wird übrigens vom EBT Server generiert, nicht vom Programm.

@BaliBenni: Mir ist diese Problematik bewusst. Im Moment ist die Mindestauflösung für eine sinnvolle Nutzung 1024x768. Wenn das Tool einmal fertiggestellt ist werde ich mich um dieses Problem kümmern und eine Version für kleine Auflösungen erstellen. Dies geht leider nicht so ohne weiteres, da müssen dynamisch Komponenten erstellt und verschoben werden.

Aber das Tool ist ja mittlerweile auch ziemlich weit fortgeschritten, hab vieles von der To-Do-Liste abhaken können. Die verschlüsselte PW-Speicherung ist mittlerweile implementiert und wird in der nächsten Version enthalten sein. Danach kommt noch die automatische lokale Aktualisierung der CSV (zur Entlastung des EBT Servers), und dann kann der Betatest eigentlich auch schon auf die ganze EBT Community ausgeweitet werden. Hoffentlich schaff ich das noch vor meinem Urlaub

-M

[avij]

It will make the splitting process a little more difficult though (it's a nightmare for someone thinking in regular expressions ) but at least solve the ambiguities that'd come up with data containing semicolons.

Yes, I understand that processing the data may be somewhat difficult, but the goal was to make the columns in the data disambiguous. This way, if you just follow the rules you'll get correct data, instead of using heuristics to determine where the field starts and ends. A side effect of this change is that Excel now loads the data correctly

As for semicolons in city and zip, well, they are just text fields and thus can contain whatever the user inputs. In practise people don't use semicolons in those fields, but it's theoretically possible.

[Klazu]

I just wonder, but why these code-experts like Nerzhul won't take part in developing the EBT site itself? I think these guys are tusted enough and the realy have the skills needed! And the will to help EBT! So why make several "third party softwares" instead of improving the EBT site itself!?

Or have Avij wanted to develope this site just by himself?

Please, don't feel offended. I'm just asking.

--- And same thing in finnish ---

Mietinpä vain, miksi taitavat jäsenet tekevät näitä "ulkopuolisia" ohjelmia EBT:n tilastojen näkemiseksi, sen sijaan että tekisivät tällaisia ominaisuuksia suoraan EBT:n sivuille!? Minusta nämä tyypit ovat luotettavia ja he ovat todellakin innostuneita asiastaan! Miksi siis emme hyödyntäisi tätä voimavaraa sivustojen kehittämisessä?

Käsittääkseni Avijkin osaa kyllä tehdä kaiken ja hänellä on tarkka TODO-listakin ominaisuuksista, mutta onko Avij varannut itselleen yksinoikeuden tehdä sivustoa vai minkä takia muita ei ole otettu mukaan? En siis tiedä faktoja ja en todellakaan halua loukata ketään, mutta ihmettelen asiaa. On erittäin sekavaa käyttäjille poimia tilastoja sieltä, täältä ja tuolta, kun kaikki voisi olla sivustolla.

[haemoglobin]

bei "load form" ist mir jetzt aufgefallen, dass er den comment nicht mit abspeichert. man weiss ja hinterher oft nicht mehr wo man diese(n) schein(e) her hat

[Nerzhul]

@haemoglobin: Ooops, kleiner Bug. Der Kommentar wurde nur geladen, wenn er schon bei den vordefinierten Kommentaren eingetragen war, also schon in der ListBox vorkam. Wird in der nächsten Version geändert.
Danke für den Hinweis!

@Klazu: Well, I already offered my help some time ago because there are certain things about the EBT site and interface that I really don't like and which are relatively unnecessary and could easily be changed. That was BEFORE I started developing the EBT-Tool I never got an answer to my email and found out that most of these things can be solved by third party software.

I understand that the EBT codebase is sacred and that only the fewest most trustworthy people should be allowed to even peek in there However, if I ever get the call from EBT administration I'll still be ready to help

@Jörg: Ich konnte den Fehler wegen der manuellen Eingabe der Städtedaten nicht nachvollziehen ... es GAB mal diesen Bug, hab ihn selber gefunden und ausgemerzt, aber das war vor zwei Versionen. Bist du sicher, dass du die neueste Version des EBT-Tools verwendest? Unter '?->Info' im Menü findest du heraus welche Version du gerade ausführst.

-M

[Klazu]

@Klazu: Well, I already offered my help some time ago because there are certain things about the EBT site and interface that I really don't like and which are relatively unnecessary and could easily be changed. That was BEFORE I started developing the EBT-Tool I never got an answer to my email and found out that most of these things can be solved by third party software.

I understand that the EBT codebase is sacred and that only the fewest most trustworthy people should be allowed to even peek in there However, if I ever get the call from EBT administration I'll still be ready to help

How sad story. Maybe admins were busy at that time or maybe your mail ended up as junk mail by accident. I bet everyone can hold you as true EBTer. The program you've made speaks so loudly for itself! Hope your skills will be taken in use to make EBT site even better!

There's just so great ideas in your (and some others as well) program(s), that I would definitely like to see on the official site! Currently I think your software can do everything (and lot more) as the EBT site itself. Only thing that your software lacks of is showing information about hits. I know this needs somekind of information about the databases and that's why it's pretty hard to implement..

[Nerzhul]

How sad story. Maybe admins were busy at that time or maybe your mail ended up as junk mail by accident.

Maybe. I didn't want to ask again because I don't want to annoy anyone.

Btw, I also offered my help as a translator two weeks ago and (guess what) never got an answer. Well, the latest news are still untranslated into german... [*hinthint* ]

There's just so great ideas in your (and some others as well) program(s), that I would definitely like to see on the official site! Currently I think your software can do everything (and lot more) as the EBT site itself. Only thing that your software lacks of is showing information about hits. I know this needs somekind of information about the databases and that's why it's pretty hard to implement..

Hmmm ... HEY, that's a good idea! Of course getting information about hits would be awkward and clumsy since the program cannot work with the database directly but would have to request and parse certain web pages instead ... but it is possible.

Generally everything that is possible can be done either on the EBT server/page and in third party programs, but both have their limitations. The generation of extensive statistics costs many resources and should better be done on the computers of the users instead of the EBT server for thousands of users.

On the other hand features that the EBT-Tool offers to make entering notes easier could easily be implemented on the server, and certain functionality (like the generation of the maps) is nearly impossible to implement for third party programmers.

So I think the future lies in the middle way - the EBT staff implements everything that is sensible and useful directly on the EBT server and offers/advertizes some kind of half official third party software that is allowed special direct access to the EBT database to implement certain functions more efficiently.

-M

[joergb30]

@Jörg: Ich konnte den Fehler wegen der manuellen Eingabe der Städtedaten nicht nachvollziehen ... es GAB mal diesen Bug, hab ihn selber gefunden und ausgemerzt, aber das war vor zwei Versionen. Bist du sicher, dass du die neueste Version des EBT-Tools verwendest? Unter '?->Info' im Menü findest du heraus welche Version du gerade ausführst.

-M

Sorry, das war in der Tat noch die vorletzte Version gewesen.
Danke, dass du diesen Fehler inzwischen behoben hat.

[Klazu]

Maybe. I didn't want to ask again because I don't want to annoy anyone.

Btw, I also offered my help as a translator two weeks ago and (guess what) never got an answer. Well, the latest news are still untranslated into german... [*hinthint* ]

Could it be that you have written in german and there's no admin capable of writing germany? I don't know, but I have always got a direct response from either Avij or Poutsi. I write commonly in fínnish to contact@eurobilltracker.com because I know these two guys handle those mails. Otherwise people should at least for the first time write in english.

Have tried to contact some admin via Private Messages? It's quite a good way to get one's attention! Good Luck!

[ElBarto]

Falls es noch nicht auf deiner ToDo-Liste steht: Eine Statistik über die Kommentare wäre auch ganz nett.

Und ehrlich gesagt verstehe ich die Bandwidth-Statistik nicht wirklich. Wird immer die niedrigste und höchste Zahl angezeigt? Und wenn ja, interessiert das überhaupt jemanden?

[Nerzhul]

@Klazu: Of course did I write in English since you cannot expect anyone to understand German.

@ElBarto: Klar, es gibt viele Dinge die den einen interessieren während andere es langweilig finden. Für die einen ist der höchste Shortcode interessant, für andere eben nicht, dafür vielleicht die niedrigste Seriennummer. Dem dritten geht es gleich total am A**** vorbei ob die Scheine, mit denen er bezahlt irgendwo jemals wieder auftauchen

Die Bandwidth-Statistiken sind erst der Anfang, es werden wohl noch eine ganze Reihe von Statistiken folgen die dann von vielen als langweilig und unnötig angesehen werden. Mir schwebt da z.B. noch eine Art statistische Auswertung der Seriennummern und Shortcodes vor, mal schauen wie sich das umsetzen lässt. Aber auch eine Übersicht über die verwendeten Kommentare ist sicherlich interessant und wird in Zukunft implementiert.

Vorerst steht allerdings die Technik im Vordergrund, dann wende ich mich weiteren Statistiken zu.

-M

[joergb30]

Im Posting Result stehen die 6 Scheine, die ich bei meiner letzten Sitzung heute Nachmittag schon erfolgreich eingegeben
hatte

Und noch etwas:
Nach Ausführung von "load form" werden seltsamerweise nur bei 17 von 20 Scheinen die Kommentare geladen - 1, 18, 19 fehlen.

btw.

Sehr interessante neue Statistiken hast du da eingebaut.
Zwettl und ZWETTL werden übrigens noch als 2 getrennte Orte aufgeführt.

[Nerzhul]

So, der neue Algorithmus zur Zerlegung des neuen Formats ist jetzt implementiert, DAS war eine knifflige Sache... wo vorher 90 Zeilen Code die Arbeit taten müssen jetzt über 200 Zeilen ran (da vermisst man doch sehr die Möglichkeiten zur Stringmanipulation und vollwertige Regex-Engine von Perl *seufz*) Naja...

Die neue Version ist allerdings noch nicht erschienen, weil das alte Format nicht mehr durch den neuen Algorithmus erkannt wird (ist ja dann fehlerhaft, da keine Anführungszeichen um Felder, die Semikolons enthalten).

@avij: Can you tell me the exact date when the new CSV format will be up?

Vielleicht gibts übergangsweise auch ne hybride Version, das entscheide ich morgen.

@Jörg: Die fehlerhaft geladenen Kommentare sind ein erkannter Bug, der in der nächsten Version beseitigt wird (ist).

Das fehlerhafte Verhalten des Postingresults ist mir schleierhaft ... der einzige Grund der mir einfällt ist, dass die entsprechende HTML-Seite nicht aktualisiert wurde und die alte Version geladen wurde. [Das EBT-Tool empfängt das Postingergebnis, bereitet es als stark vereinfachte HTML-Seite auf (also ohne die ganzen Grafiken, Menüs und Tabellen die auf der EBT-Page vorkommen) und speichert sie dann ab. Danach lädt die Browserkomponente diese Seite dann von der Platte]

Ja, Zwettl und ZWETTL sind zwei verschiedene Strings. Ich werde demnächst (aber wohl nach dem Urlaub) eine Heuristik schreiben, die solche einfachen Fälle erkennt und zusammenfasst; bis dahin kannst du dir behelfen, indem du 'Zwettl' als Ort definierst und z.B. 'ZWETTL' als alternativen Namen angibst.

-M

[Nerzhul]

So, wieder ist eine neue Version online. Die wichtigste Änderung ist der neue Algorithmus zum Zerlegen einer CSV-Zeile in ihre Felder, der dem neuen CSV-Format angepasst ist.

Ich hoffe doch mal, dass das neue Format nun auch online ist, ansonsten kann es vereinzelt zu Fehlern kommen (nämlich genau dann, wenn Semikolons in Kommentaren, Städten oder PLZen verwendet wurden, die gemäß dem neuen Format nicht in Anführungszeichen stehen und deswegen nicht korrekt erkannt werden). Avij meinte zwar, dass auf das neue Format ab gestern Abend umgestellt wurde, aber man weiß ja nie. Am besten also erstmal die alte Version als Kopie behalten, und mit der neuen testen, ob alles geht

Weiterhin ist der Bug behoben, der das korrekte Laden einiger Kommentare verhinderte, und das EBT-Passwort wird nun verschlüsselt gespeichert.

-M