Bug 397611 - [ERR-5]: Format de date non pris en charge importation boobank
Summary: [ERR-5]: Format de date non pris en charge importation boobank
Status: RESOLVED FIXED
Alias: None
Product: skrooge
Classification: Applications
Component: general (other bugs)
Version First Reported In: unspecified
Platform: Mint (Ubuntu based) Linux
: NOR normal
Target Milestone: 25.1.0
Assignee: Stephane MANKOWSKI
URL:
Keywords:
Depends on:
Blocks:
 
Reported: 2018-08-19 09:45 UTC by choss38
Modified: 2018-09-30 16:20 UTC (History)
1 user (show)

See Also:
Latest Commit:
Version Fixed In:
Sentry Crash Report:


Attachments
skrooge trace (111.23 KB, text/plain)
2018-09-19 18:07 UTC, choss38
Details

Note You need to log in before you can comment on or make changes to this bug.
Description choss38 2018-08-19 09:45:58 UTC
Bonjour,

depuis la mise à jour du backend bp, j'ai une [ERR-5]: Format de date non pris en charge lors de l'importation avec moteur externe boobank.
Skrooge 2.15.0 boobank 1.3

une piste,
ce que m'affiche boobank:
boobank> history xxxxxxxx@bp
 Date         Category     Label                                                  Amount 
------------+------------+---------------------------------------------------+-----------
 2018-08-13   PRELEVEMENT  PRELEVEMENT DE xxxx REF : 10/10    
-22.00
 2018-08-02   VIREMENT     VIREMENT DE M xxxxxx PRELEVEMENTS REFERENCE      60.00


et le résultat de la commande 
boobank -q -f csv history "xxxxxx@bp" -s rdate,type,raw,label,amount

rdate;type;raw;label;amount
Not available;2;PRELEVEMENT DE xxxxx REF : 10/10 xxxx 10/10 GRE IDENT : FRxxxxxxx;PRELEVEMENT DE xxxxx REF : 10/10 xxxxE 10/10 GRE IDENT : FRxxxxxxx;-22.00
Not available;1;VIREMENT DE M xxxxxx PRELEVEMENTS REFERENCE : yyyyyyyyy;VIREMENT DE M xxxxxxx PRELEVEMENTS REFERENCE : yyyyyyyyy;60.00

Apparemment il y a un problème dans cette commande !
Cela ressemble à https://forum.kde.org/viewtopic.php?f=210&t=124400hilit=%5BERR+5%5D%3A+format+date

Que puis-je faire ?
Comment 1 Stephane MANKOWSKI 2018-08-19 19:32:47 UTC
To solve this issue due to weboob you must do that from the setting panel / Backend:

weboob(,,grep -v "Not available")
Comment 2 Stephane MANKOWSKI 2018-08-23 15:05:15 UTC
I close this incident.
Reopen it if my previous answer is not acceptable.
Comment 3 choss38 2018-08-23 16:19:22 UTC
(In reply to Stephane MANKOWSKI from comment #2)
> I close this incident.
> Reopen it if my previous answer is not acceptable.

Bonjour,

je ne sais pas pourquoi, ma réponse du 20 août n'est pas passée.

Voici donc ce que je vous écrivais;


ça n'a pas fonctionné, j'ai ce message:

[ERR-5]: Aucun compte téléchargé avec la ligne de commandes suivante :

a="" && b="%4" && m=$( [[ ${a} > ${b} ]] && echo "$a" || echo "$b" ) && PYTHONIOENCODING=utf_8 boobank -q -f csv history "%1" -s rdate,type,raw,label,amount --condition "rdate>$m OR date>$m OR rdate>$m 00:00:00 OR date>$m 00:00:00" -n 99999 grep -v "Not available" 2>/dev/null

Veuillez vérifier l'installation de vos moteurs externes.
Comment 4 Stephane MANKOWSKI 2018-08-23 16:38:47 UTC
Oups.

Essayez comme ceci:

weboob(,,|grep -v "Not available")
Comment 5 choss38 2018-08-23 18:18:08 UTC
Impec ! c'était ça.

Super, merci !
Comment 6 choss38 2018-08-27 10:10:57 UTC
Bonjour,

à l'usage, je me rends compte que la commande 
weboob(,,|grep -v "Not available")
supprime des importations toutes les opérations qui remonte avec un champ "not available". 
Par conséquent je n'ai plus rien qui remonte de mes comptes de la Banque Postale.

Si je lance la commande suivante qui ne filtre aucun champ
boobank -q -f csv history "xxxxxxxxxxxx@bp"
j'obtiens la liste des champs disponible suivants
id;url;date;rdate;vdate;type;raw;category;label;amount;card;commission;original_amount;original_currency;country;investments
@bp;Not loaded;2018-08-13;Not loaded;Not loaded;2;PRELEVEMENT DE xxx REF : 10/10 COTISATION SYNDICALE 10/10 GRE IDENT : FRxxxxxxx;PRELEVEMENT DE;PRELEVEMENT DE xxxx REF : 10/10 COTISATION SYNDICALE 10/10 GRE IDENT : FRxxxxxxx;-22.00;Not loaded;Not loaded;Not loaded;Not loaded;Not loaded;[]

N'est-il pas possible de specifier le champ date à la place de rdate dans l'importation de Skrooge ?
Comment ecrire cela dans la ligne de paramètre des préférences du backend ?
Comment ne pas impacter le traitement de l'importation des autres banques ?

Au final peut-être quelque chose du genre:
weboob(xxxx@bp|yyyy@bp,2018-01-01,la commande qui permet de prendre le champ date à la place de rdate);weboob(xxxx@ing|yyyy@ing,2018-01-01,)
Comment 7 Stephane MANKOWSKI 2018-08-28 10:13:49 UTC
Bonjour,

Comme vous pouvez le voir ici:
https://cgit.kde.org/skrooge.git/tree/plugins/import/skrooge_import_backend/org.kde.skrooge-import-backend-weboob.desktop

Skrooge demande déjà uniquement le rdate car il utilise -s rdate,type,raw,label,amount dans la commande boobank.

Essayez ceci pour supprimer les opérations qui n'ont pas de rdate:
weboob(,,|grep -v "^Not available")
Comment 8 choss38 2018-08-29 07:06:24 UTC
"Essayez ceci pour supprimer les opérations qui n'ont pas de rdate:
weboob(,,|grep -v "^Not available")"

Oui, c'était bien ce j'avais fait pour supprimer les erreurs d'importation dans Skrooge et ça fonctionne.
Le problème est que je n'importe plus rien du compte, je ne sais pas pourquoi mais la Banque Postale ne fournit pas de données sur le champ rdate mais seulement sur date !

La commande suivante le montre bien:
boobank -q -f csv history "xxxxxxxxxxxx@bp"
id;url;date;rdate;vdate;type;raw;category;label;amount;card;commission;original_amount;original_currency;country;investments
@bp;Not loaded;2018-08-13;Not loaded;Not loaded;2;PRELEVEMENT DE xxx REF : 10/10 COTISATION SYNDICALE 10/10 GRE IDENT : FRxxxxxxx;PRELEVEMENT DE;PRELEVEMENT DE xxxx REF : 10/10 COTISATION SYNDICALE 10/10 GRE IDENT : FRxxxxxxx;-22.00;Not loaded;Not loaded;Not loaded;Not loaded;Not loaded;[]
Pas de rdate ! Je n'ai mis que la première ligne mais elles sont toutes comme ça. 
Par conséquent, je ne peux plus importer les nouvelles opérations dans Skrooge.
Comment 9 Stephane MANKOWSKI 2018-08-29 21:22:41 UTC
Il suffit d'éditer le fichier /usr/share/kservices5/org.kde.skrooge-import-backend-weboob.desktop en tant que root.
Et de remplacer:
-s rdate,type,raw,label,amount
par:
-s date,type,raw,label,amount

Mais cela ne me convient pas de le faire uniquement car le plugin laposte de weboob ne fonctionne pas correctement.

Je cherche toujours une solution qui n'aurait aucun impact pour les autres.
En parallèle, vous pouvez peut être ouvrir un incident sur weboob pour que le rdate soit valué.
Comment 10 choss38 2018-09-06 22:27:52 UTC
J'ai ouvert un signalement d'erreur su le git de Weboob.

https://git.weboob.org/weboob/devel/issues/162

Apparemment c'est la banque postale qui ne donne plus cette donnée rdate. 
Pour Boobank ils ne veulent pas peupler artificiellement un champ s'il n'existe pas sur le site.

Peut-être qu'il vous serait possible de paramétrer la ligne 
#This parameter is not MANDATORY but if not used then getbulk must be used
X-SKROOGE-getoperations=a="%parameter2" && b="%4" && m=$( [[ ${a} > ${b} ]] && echo "$a" || echo "$b" ) && PYTHONIOENCODING=utf_8 boobank -q -f csv history "%1" -s rdate,type,raw,label,amount --condition "rdate>$m OR date>$m OR rdate>$m 00:00:00 OR date>$m 00:00:00" -n 99999 %parameter3 2>/dev/null

dans le script org.kde.skrooge-import-backend-weboob.desktop en fonction de la présence de rdate ou non et de remplacer rdate par date ?
Comment 11 Stephane MANKOWSKI 2018-09-11 21:57:29 UTC
Git commit c67397c75822a8d09f66dba1c80491a1b51f4de1 by Stephane MANKOWSKI.
Committed on 11/09/2018 at 21:57.
Pushed by smankowski into branch 'master'.

[ERR-5]: Format de date non pris en charge importation boobank

M  +1    -0    CHANGELOG
M  +0    -1    plugins/import/skrooge_import_backend/CMakeLists.txt
M  +2    -2    plugins/import/skrooge_import_backend/org.kde.skrooge-import-backend-weboob.desktop
D  +0    -107  plugins/import/skrooge_import_backend/org.kde.skrooge-import-backend-weboob0g.desktop
M  +2    -2    plugins/import/skrooge_import_backend/org.kde.skrooge-import-backend-weboob_coming.desktop
M  +36   -6    plugins/import/skrooge_import_csv/skgimportplugincsv.cpp
M  +4    -4    tests/input/skgtestimportbackend/320716_1/boobank
M  +6    -6    tests/input/skgtestimportbackend/320716_2/boobank
D  +0    -15   tests/input/skgtestimportbackend/329876/boobank
M  +2    -2    tests/input/skgtestimportbackend/397055/boobank
C  +2    -2    tests/input/skgtestimportbackend/397611/boobank [from: tests/input/skgtestimportbackend/397055/boobank - 060% similarity]
M  +4    -4    tests/input/skgtestimportbackend/betterselection/boobank
M  +3    -3    tests/input/skgtestimportbackend/double/boobank
M  +7    -7    tests/input/skgtestimportbackend/fake1/boobank
M  +4    -4    tests/input/skgtestimportbackend/joint_accounts/boobank
M  +2    -2    tests/input/skgtestimportbackend/kevin/boobank
M  +2    -2    tests/input/skgtestimportbackend/merge/boobank
M  +13   -13   tests/input/skgtestimportbackend/stamm/boobank
D  +0    -13   tests/input/skgtestimportbackend/weboob0h/boobank
M  +24   -47   tests/skgbankmodelertest/skgtestimportweboob.cpp

https://commits.kde.org/skrooge/c67397c75822a8d09f66dba1c80491a1b51f4de1
Comment 12 choss38 2018-09-13 16:00:20 UTC
Bonjour,

je ne sais pas si c'est ce que je devais faire mais j'ai fait un test et j'ai remplacé le contenu de /usr/share/kservices5/org.kde.skrooge-import-backend-weboob.desktop avec ce que vous avez publié ici:
root/plugins/import/skrooge_import_backend/org.kde.skrooge-import-backend-weboob.desktop

Il n'y a pas d'erreur d'importation, la balance des comptes est mise à jour mais aucune nouvelle opération n'est ajoutée.
Comment 13 Stephane MANKOWSKI 2018-09-13 16:48:25 UTC
(In reply to choss38 from comment #12)
> Bonjour,
> 
> je ne sais pas si c'est ce que je devais faire mais j'ai fait un test et
> j'ai remplacé le contenu de
> /usr/share/kservices5/org.kde.skrooge-import-backend-weboob.desktop avec ce
> que vous avez publié ici:
> root/plugins/import/skrooge_import_backend/org.kde.skrooge-import-backend-
> weboob.desktop
> 
> Il n'y a pas d'erreur d'importation, la balance des comptes est mise à jour
> mais aucune nouvelle opération n'est ajoutée.

Non, ca ne suffit pas. Utilisez vous mon ppa? Si oui, je peux vous faire une version beta pour que vous puissiez l'avoir.
Comment 14 choss38 2018-09-13 20:23:56 UTC
oui j'utilise le ppa kf5 xenial.
Mais je sais pas si c'est très prudent de fonctionner avec une beta. Tout dépend quand est-ce que sera publié le correctif ?
Comment 15 Stephane MANKOWSKI 2018-09-14 21:07:27 UTC
Je viens de faire une beta:
https://launchpad.net/~s-mankowski/+archive/ubuntu/beta-kf5

Franchement, tu peux utiliser sans crainte.
La seule chose qui peut arriver, ce sont des parties non encore traduites.
Comment 16 choss38 2018-09-16 17:17:33 UTC
J'ai installé la beta. Skrooge reste bloqué à 67% de l'importation.
Il vous faut un fichier trace ? avec quel parametre SKGTRACE ?
Comment 17 Stephane MANKOWSKI 2018-09-16 17:38:47 UTC
Laissez lui du temps...
A partir de 67%, c'est l'application des règles, vous en avez beaucoup?
Comment 18 choss38 2018-09-16 18:04:02 UTC
j'en ai 28 mais c'est pas plus que d'habitude !
ça bloque quand même à 67%( importation avec Backend indiqué sous le %) quand je décoche appliquer les régles dans les préférences d'importation.
Je pense qu'il y a autre chose.
Comment 19 Stephane MANKOWSKI 2018-09-16 18:09:17 UTC
Essayez ceci depuis la console:
export SKGTRACE=10
skrooge 2>&1 > traces.txt
Faites l'import
Ctrl+C quand ça bloque.
Poster les traces.
Comment 20 choss38 2018-09-19 18:07:34 UTC
Created attachment 115100 [details]
skrooge trace
Comment 21 choss38 2018-09-19 18:08:21 UTC
C'est étonnant, ça plante vite en utilisant cette méthode et Skrooge se ferme.

En utilisation normale, il reste gelé indéfiniment sur 67%...


Je ne sais pas pourquoi, il y a un problème d'encodage sur le fichier trace.

je me permets d'ajouter cette extrait de la console, le début (où il est signalé une erreur) et la fin:
> ~ $ export SKGTRACE=10
> ~ $ skrooge 2>&1 > traces.txt
> kdeinit5: preparing to launch 'libkdeinit5_klauncher'
> kdeinit5: Launched KLauncher, pid = 3185, result = 0
> Connecting to deprecated signal QDBusConnectionInterface::serviceOwnerChanged(QString,QString,QString)
> kdeinit5: opened connection to :0
> kdeinit5: Got EXEC_NEW '/usr/lib/x86_64-linux-gnu/qt5/plugins/kf5/kio/file.so' from launcher.
> kdeinit5: preparing to launch '/usr/lib/x86_64-linux-gnu/qt5/plugins/kf5/kio/file.so'
> kdeinit5: PID 3187 terminated.
> *** Error in `skrooge': double free or corruption (fasttop): 0x00007f1234003750 ***
> ======= Backtrace: =========
> /lib/x86_64-linux-gnu/libc.so.6(+0x777e5)[0x7f12e37cc7e5]
> /lib/x86_64-linux-gnu/libc.so.6(+0x8037a)[0x7f12e37d537a]
> /lib/x86_64-linux-gnu/libc.so.6(+0x83350)[0x7f12e37d8350]
> /lib/x86_64-linux-gnu/libc.so.6(realloc+0x179)[0x7f12e37d9839]
> /usr/lib/nvidia-384/tls/libnvidia-tls.so.384.130(+0x22c6)[0x7f12d6fcb2c6]
> ======= Memory map: ========
> 00400000-0040a000 r-xp 00000000 08:01 5511312
....
>   7f12d9def000-7f12d9fef000 ---p 00036000 08:01 5505136 /usr/lib/x86_64-linux-gnu/libKF5Codecs.so.5.18.0
> 7f12d9fef000-7f12d9ff2000 r--p 00036000 08:01 5505136 /usr/lib/x86_64-linux-gnu/libKF5Codecs.so.5.18.0Abandon
Comment 22 Stephane MANKOWSKI 2018-09-19 19:30:26 UTC
Essayez ceci depuis la console:
export SKGTRACE=5        et pas 10
skrooge 2>&1 > traces.txt
Faites l'import
Ctrl+C quand ça bloque.
Poster les traces.
Comment 23 choss38 2018-09-22 21:49:43 UTC
(In reply to Stephane MANKOWSKI from comment #22)
> Essayez ceci depuis la console:
> export SKGTRACE=5        et pas 10
> skrooge 2>&1 > traces.txt
> Faites l'import
> Ctrl+C quand ça bloque.
> Poster les traces.

J'ai posté à l'adresse ...@mankoswski.fr, j'étais un peu gêné de publier toutes ces infos en ligne. (-:
Comment 24 Stephane MANKOWSKI 2018-09-24 20:47:04 UTC
J'ai fait une nouvelle beta. Pouvez vous tester?
Comment 25 choss38 2018-09-25 09:22:10 UTC
Même comportement que la précédente beta.
Comment 26 Stephane MANKOWSKI 2018-09-25 17:23:22 UTC
Serait il possible d'avoir des traces?
Essayez ceci depuis la console:
export SKGTRACE=5        et pas 10
skrooge 2>&1 > traces.txt
Faites l'import
Ctrl+C quand ça bloque.
Poster les traces.

Pouvez vous me confirmer que vous avez la version 2.15.2?
Comment 27 choss38 2018-09-25 17:40:32 UTC
bonjour,

le fichier trace demandé sur votre boite mail.

J'utilise bien la 2.15.2
Comment 28 Stephane MANKOWSKI 2018-09-26 08:34:25 UTC
Git commit ca371c51dfdc365e9dddb565ae7e5f11a565e78d by Stephane MANKOWSKI.
Committed on 26/09/2018 at 08:34.
Pushed by smankowski into branch 'master'.

M  +5    -1    plugins/import/skrooge_import_csv/skgimportplugincsv.cpp
M  +3    -2    tests/skgbankmodelertest/skgtestautoreconcile.cpp

https://commits.kde.org/skrooge/ca371c51dfdc365e9dddb565ae7e5f11a565e78d
Comment 29 Stephane MANKOWSKI 2018-09-30 16:20:30 UTC
Git commit 682d8f260e2e820b72b7a66627b8b30fe200ad3d by Stephane MANKOWSKI.
Committed on 30/09/2018 at 16:20.
Pushed by smankowski into branch 'master'.

M  +1    -1    plugins/import/skrooge_import_csv/skgimportplugincsv.cpp
M  +6    -3    tests/input/skgtestimportbackend/397611/boobank
M  +5    -1    tests/skgbankmodelertest/skgtestimportweboob.cpp

https://commits.kde.org/skrooge/682d8f260e2e820b72b7a66627b8b30fe200ad3d