EuroBillTracker

Obrigado, Castanhola. Ainda escrevi a correr, para dizer que já tinha percebido, mas já tu estavas a tratar de me fazer a papinha. Isto, mesmo assim, é uma seca. Com a API do EuroBillTracker, seria possível fazer isto sem esforço; infelizmente, não sei programar.
(Entretanto, é realmente inconveniente que o EBTST misture localidades de nome igual. Tinha uns 6 pares delas assim; duas vieram parar a esta lista.)

Lista completa das localidades onde fui pioneiro e sou (ainda) o único visitante:

Egito (3)
Bawiti (الباويطي)
Sallum (السلوم)
Siuá / Siwa (سيوة)

Espanha (1)
Mareny de Sant Llorenç

Itália (3)
Pilastro
San Martino in Beliseto
Voltino

Portugal (65)
A-dos-Negros
Alto de Famões
Ameiras de Baixo
Anços
Argozelo
Arranhó
Bairro do Isaías
Barroca d'Alva
Boisias
Brejos da Carregueira de Baixo
Cabo
Caldeira de Santo Cristo
Calheta
Campo de Baixo
Canto do Picoto
Carrascal
Casais do Baleal
Cavernães
Cedros
Cercosa
Costa de Santo André
Fação
Fazenda
Fazenda de Santa Cruz
Figueirinha
Gândara
Granja
Lagoa das Furnas
Lagoalva de Cima
Lagoiços
Macieiras
Maia
Malaqueijo
Mamodeiro
Manjoeira
Montachique
Monte da Estrada
Murganhal
Oliveira
Oliveira de Baixo
Outeiro
Outurela-Portela
Pascoal
Pedras de São Pedro
Pedrogueira
Pena
Penedo
Pinhal da Nazaré
Poço Partido
Ponte de Lousa
Póvoa da Igreja
Preguiça
Quinta da Fonte
Quinta do Brasileiro
Raposeiras
Sanguinhal
Santo Amaro
Senhora do Socorro
Sul
Telheiro
Topo
Vale Covo
Vale de Touros
Vedor
Zambujal

EDIT: correções depois de ver os dados criados pela maravilhosa macro do Nuno Carvalho.

lmviterbo wrote:Com a API do EuroBillTracker, seria possível fazer isto sem esforço; infelizmente, não sei programar.

lmviterbo wrote:(Entretanto, é realmente inconveniente que o EBTST misture localidades de nome igual. Tinha uns 6 pares delas assim; duas vieram parar a esta lista.)

Podia tentar adaptar partes da minha máquina de registar hits para fazer um pequeno programa para isto, mas só iria funcionar em Macintosh. O que para mim iria demorar mais seria pensar num algoritmo para obter a nossa lista de localidades a partir do nosso ficheiro de notas. Fazer como fiz foi realmente uma seca (a parte de verificar a lista obtida, porque obter a lista é muito rápido) mas demorou menos tempo do que implementar a coisa. Podemos pensar nisso, mas de momento não tenho muito tempo, pelo menos nas próximas duas a três semanas.

O mais fácil em termos de implementação seria perguntar ao EBT, usando o EBT API, qual a localidade de cada uma das nossas notas. Assim a lista ficaria isenta de erros, exceto no caso de haver locais com as coordenadas/regiões ainda não resolvidas. O problema é que isto iria demorar demasiado tempo. Mesmo imaginando que cada pergunta/resposta com o EBT API demorava cerca de meio segundo, para um ficheiro com apenas 10000 notas o processo iria demorar mais de 1 hora, o que é incomportável.

A solução passará então por tentar tentar obter o tal algoritmo para a lista das nossas localidades a partir do ficheiro das nossas notas, mas aí surge o problema que o EBTST encontra de como diferenciar localidades com o mesmo nome e código postal diferente, o que não é fácil. Duas localidades com o código postal 4150 e 3200 serão em princípio distintas. Mas e se for 3800 e 3780, como acontece com as minhas duas Horta? Uma fica em Aveiro e a outra em Anadia, mas os códigos postais são próximos. Será que podemos dizer que sendo os dois primeiros algarismos diferentes as localidades seriam diferentes? Não, veja-se o caso de Lisboa. A solução deste problema não é fácil razão porque existe no EBTST e provavelmente nos outros programas de estatísticas. E como será com o sistema de códigos postais de outros países? Como era o código postal nos erros detetados nas tuas notas?

Uma solução de compromisso poderia ser eliminar todas as combinações iguais de nome de localidade e código postal e usar o EBT API para tratar apenas essas. Mas no meu caso, ainda assim seriam quase 1500 se eu comparasse os CP7 ou cerca de 300 se comparasse apenas os CP4. Neste último caso o tempo já seria razoável (uns 3 minutos com o CP4, mas uns 15 minutos com o CP7), mas será que não existem localidades diferentes com o mesmo CP4? Penso que já vi um caso desses, mas não tenho a certeza, ou seria dentro do mesmo concelho?

Outra solução de compromisso seria verificar com o EBT API a lista de localidades gerada a partir do EBTST, mas ficávamos com os erros do EBTST. Ou pode ser que dê para o EBT API nos dar diretamente a lista das nossas localidades, o que seria perfeito se fosse possível, mas não verifiquei e agora tenho de ir dormir.

EDIT: Pode ser que tenhamos sorte --> http://api.eurobilltracker.com/doc/api_mycities.html

A nova ferramenta Billy (feita e mantida pelo taucher) vai buscar as localidades e códigos postais ao EBT precisamente através da API.

Os dados das minhas 23162 notas, em 439 localidades, 1845 combinações únicas (país, localidade, código postal) foram recolhidos em 3m51s (8 combinações por segundo).

Cada localidade está associada a um número, e por isso o EBTST deveria ir buscar esse número e não o nome. É assim que o citymanager (e a API, calculo eu) distingue localidades com o mesmo nome.

lmviterbo wrote:Cada localidade está associada a um número, e por isso o EBTST deveria ir buscar esse número e não o nome. É assim que o citymanager (e a API, calculo eu) distingue localidades com o mesmo nome.

Parece-me que o EBTST só utiliza os dados que estão no ficheiro csv da funcionalidade "Exportar para ficheiro CSV" do EBT. E esse número único da localidade não vem no ficheiro.

Castanhola wrote:Pode ser que tenhamos sorte --> http://api.eurobilltracker.com/doc/api_mycities.html

Infelizmente, essa API não devolve o número da localidade. Se devolvesse, seria demasiado fácil!
Não devolvendo, a melhor opção parece-me ser, tal o Castanhola disse, ler o ficheiro csv com as notas todas, eliminar as combinações repetidas (localidade + CP7 ou CP4) e utlizar as API "Get public note data (note profile)" e "Get public city data (city profile)".

Quando tiver um tempinho, vou tentar fazer qualquer coisa com esta lógica em Excel para ver quando tempo poderá demorar a execução.

Do ponto de vista de quem quer programar ferramentas, vale a pena pedinchar aos programadores do EBT para acrescentarem o número de localidade aos dados compilados no csv? (Duvido que alguém o faça — que o EBT tem andado ao deus-dará — mas, se realmente servir para alguma coisa, posso tentar pedir…)

Castanhola wrote:A solução passará então por tentar tentar obter o tal algoritmo para a lista das nossas localidades a partir do ficheiro das nossas notas, mas aí surge o problema que o EBTST encontra de como diferenciar localidades com o mesmo nome e código postal diferente, o que não é fácil.

Quase garanto que são raríssimos e facilmente identificáveis os casos de localidades em duas ZCP diferentes: Lisboa, Porto, Amadora, Coimbra e talvez Vila Nova de Gaia, não tenho a certeza. Além destes, é capaz de haver um ou outro de localidades mais pequenas.

Castanhola wrote:Como era o código postal nos erros detetados nas tuas notas?

Uns com CP7, outros só com CP4, e pelo menos um com CP7 especial. De qualquer forma, cada localidade diferente numa ZCP diferente, mesmo que próximas:

Calheta (9850-032) - https://eurobilltracker.com/profile/?city=15620
Calheta (9370-139) + (9370) - https://eurobilltracker.com/profile/?city=15621
Calheta (9400-090) - https://eurobilltracker.com/profile/?city=183106

Lagoa (9560-048) - https://eurobilltracker.com/profile/?city=51570
Lagoa (8400-431) - https://eurobilltracker.com/profile/?city=51575

Ponta Delgada (9500-770) + (9500-239) + (9500-055) + (9504-529) - https://eurobilltracker.com/profile/?city=75858
Ponta Delgada (9970-078) - https://eurobilltracker.com/profile/?city=144372

Santa Cruz (9100-105) - https://eurobilltracker.com/profile/?city=87303
Santa Cruz (2560) - https://eurobilltracker.com/profile/?city=122733

Telheiro (7200-181) - https://eurobilltracker.com/profile/?city=155797
Telheiro (2410-339) - https://eurobilltracker.com/profile/?city=201248

Torre (6260) - https://eurobilltracker.com/profile/?city=105333
Torre (2750-739) - https://eurobilltracker.com/profile/?city=128321

lmviterbo wrote:Do ponto de vista de quem quer programar ferramentas, vale a pena pedinchar aos programadores do EBT para acrescentarem o número de localidade aos dados compilados no csv? (Duvido que alguém o faça — que o EBT tem andado ao deus-dará — mas, se realmente servir para alguma coisa, posso tentar pedir…)

Para o caso concreto (descobrir as localidades onde um utilizador foi o único a registar notas), facilitaria. Em vez de eliminar as combinações repetidas pela localidade+CP7 (mas não eliminando as localidades repetidas), com o número de localidade, ficaríamos inequivocamente só com localidades únicas. A chamada à API "Get public note data (note profile)" deixaria de ser precisa, logo pouparíamos tempo de execução.

O ficheiro csv não ter o número de localidade não me choca, embora resolvesse o problema do EBTST.
O que me faz confusão é a API "Fetch citynames you entered notes from" não devolver o número de localidade.

lmviterbo wrote:Obrigado, Castanhola.

Castanhola, não me queres dar uma mãozinha por favor?

Já encontrei "à pata":


Campo de Villavidel
Valdecarpinteros

Fafião
Reguengo
Senhora do Desterro

Tens 10 notas em Bruxelles e 8 em Brussels.

Uma maneira rápida de veres as localidades em que és único é, na tua lista de "Locations" no EBTST, clicares em cada uma delas, e depois, no relatório de nota assim aberto, clicar na localidade. Se o número de notas da localidade for igual ao teu número de notas, quer dizer que és o único.

Com este método, encontrei em muito poucos minutos todas as tuas localidades espanholas que nunca te traíram com outros:

Vilamaior da Boullosa
Campo de Villavidel
Valdecarpinteros
Aguilar de Campoo
Bárcena de Cicero
Galende
Pazos
Trabazos

EDIT: tinha visto mal em duas destas localidades, em que de facto o CarlosManta não é o único.

Com certeza.
Aqui vai a tua lista de localidades, obtidas a partir do EBTST.
Agora só tens de retirar as que têm outros utilizadores, clicando em cada link e depois no link da localidade.
Teoricamente são 730 clicks. Na prática serão menos porque alguns casos serão evidentes...

Pois, acabo de ver todas as tuas outras localidades estrangeiras, CarlosManta, usando aqui numa caixa de edição dum post estes dados extraídos pelo Castanhola, e não fiquei com a certeza de compensar o clique adicional.

De qualquer forma, adianto-te já que, estrangeiras fieis, só tens as espanholas, mesmo. As outras são todas umas promíscuas.

De qualquer forma, o ficheiro do Castanhola é utilíssimo, claro, mesmo que só se vá lá buscar os dados das localidades que já foram selecionadas de outra forma!

Localidades onde só eu registei notas:

0001. Várzeas (Portugal)

0002. Cunhas (Portugal)

0003. Ferreira-a-Nova (Portugal)

0004. Vale do Poço (Portugal)

0005. Cortes (Portugal)

0006. Loureiros (Portugal)

0007. Matos do Carriço (Portugal)

0008. Ribas (Portugal)

0009. Chão do Sapo (Portugal)

0010. Carvalhal (Portugal)

0011. Celorico-Gare (Portugal)

0012. Cadavão (Portugal)

0013. Adaúfe (Portugal)

0014. Celeiro (Portugal)

0015. Mota (Portugal)

0016. São Martinho (Portugal)

0017. Areias (Portugal)

0018. Fontainhas (Portugal)

0019. Barracão (Portugal)

0020. Marinha da Guia (Portugal)

0021. Coto (Portugal)

0022. Campo de Arca (Portugal)

0023. Conlela (Portugal)

0024. Teivas (Portugal)

0025. Codiceira (Portugal)

0026. Entre Currais (Portugal)

0027. Évora de Alcobaça (Portugal)

0028. Mexilhoeira Grande (Portugal)

0029. Vale de Carro (Portugal)

0030. Pedrome (Portugal)

0031. Alcaidaria (Portugal)

0032. Alcanhões (Portugal)

0033. Pontével (Portugal)

0034. Várzeas de Quarteira (Portugal)

0035. Loureira (Portugal)

Deixo aqui o ficheiro excel que utilizei para descobrir as localidades onde só eu registei notas.

Em relação ao tempo de execução, depende da quantidade de combinações Localidade+CP7 e da quantidade de localidades únicas (do ponto de vista do EBT). No meu caso, para 437 combinações Localidade+CP7 e 321 localidades EBT, demorou cerca de 90 segundos. Para os caçadores de CP3, é capaz de demorar bem mais tempo!

EDIT: NOVO ficheiro aqui

Bom trabalho!

Em 4 minutos e 9 segundos, obtive o resultado abaixo. É de notar que as minhas 72 localidades foram todas encontradas, e ficaram corretamente numeradas na coluna C:C e enumeradas nas colunas seguintes, mas o BBCode gerado em O3 ficou truncado.

Inicialmente pensei que isto tinha acontecido porque o BBCode gerado passaria do limite de 32767 carateres). Mas fui verificar e não é verdade: tem apenas 8236 carateres, muito longe do máximo permitido. Poderá ser um problema de memória? (O meu laptop é uma bomba mas estou neste momento com mais de 100 separadores do Chrome abertos, 5 ficheiros de Excel e mais umas quantas coisas a correr…) Corri segunda vez e deu-me exatamente o mesmo resultado, mas desta vez em 3m49s.

0001. A-dos-Negros (Portugal)

0002. Barroca d'Alva (Portugal)

0003. Montachique (Portugal)

0004. Campo de Baixo (Portugal)

0005. Calheta (Portugal)

0006. Argozelo (Portugal)

0007. Vale de Touros (Portugal)

0008. Sallum (Egypt)

0009. Siwa (Egypt)

0010. Bawiti (Egypt)

0011. Zambujal (Portugal)

0012. Cedros (Portugal)

0013. Fazenda de Santa Cruz (Portugal)

0014. Fazenda (Portugal)

0015. Carrascal (Portugal)

0016. Fação (Portugal)

0017. Anços (Portugal)

0018. Ponte de Lousa (Portugal)

0019. Pinhal da Nazaré (Portugal)

0020. Senhora do Socorro (Portugal)

0021. Oliveira (Portugal)

0022. Pena (Portugal)

0023. Sul (Portugal)

0024. Murganhal (Portugal)

0025. Lagoiços (Portugal)

0026. Malaqueijo (Portugal)

0027. Lagoalva de Cima (Portugal)

0028. Vedor (Portugal)

0029. Granja (Portugal)

0030. Quinta do Brasileiro (Portugal)

0031. Pedrogueira (Portugal)

0032. Mamodeiro (Portugal)

0033. Oliveira de Baixo (Portugal)

0034. Cavernães (Portugal)

0035. Pascoal (Portugal)

0036. Costa de Santo André (Portugal)

0037. Raposeiras (Portugal)

0038. Voltino (Italy)

0039. Pilastro (Italy)

0040. San Martino in Beliseto (Italy)

0041. Penedo (Portugal)

0042. Outeiro (Portugal)

0043. Canto do Picoto (Portugal)

0044. Quinta da Fonte (Portugal)

0045. Brejos da Carregueira de Baixo (Portugal)

0046. Alto de Famões (Portugal)

0047. Ameiras de Baixo (Portugal)

0048. Boisias (Portugal)

0049. Figueirinha (Portugal)

0050. Poço Partido (Portugal)

0051. Mareny de Sant Llorenç (Spain)

0052. Macieiras (Portugal)

0053. Gândara (Portugal)

0054. Preguiça (Portugal)

0055. Sanguinhal (Portugal)

Bom trabalho. Não consigo usar porque não funciona em Macintosh. Mas sugiro um melhoramento que é colocar o número de notas registadas após o nome da localidade.

lmviterbo wrote:É de notar que as minhas 72 localidades foram todas encontradas, e ficaram corretamente numeradas na coluna C:C e enumeradas nas colunas seguintes, mas o BBCode gerado em O3 ficou truncado.

Inicialmente pensei que isto tinha acontecido porque o BBCode gerado passaria do limite de 32767 carateres). Mas fui verificar e não é verdade: tem apenas 8236 carateres, muito longe do máximo permitido. Poderá ser um problema de memória? (O meu laptop é uma bomba mas estou neste momento com mais de 100 separadores do Chrome abertos, 5 ficheiros de Excel e mais umas quantas coisas a correr…) Corri segunda vez e deu-me exatamente o mesmo resultado, mas desta vez em 3m49s.

Não deverá ser um problema de memória.
Como eu tenho poucas localidades, esqueci-me do "pormaior" do limite de carateres!
Pode não ser do limite de carateres da célula do excel, mas do limite da variável utilizada na macro VBA.

Queria pôr todo o BBCode numa única célula, mas o melhor será linha a linha.