Announcements of modifications in Observado

Gestart door hiskodevries, januari 07, 2009, 16:11:02 PM

Vorige topic - Volgende topic

gertjanvannoord

Citaat van: hiskodevries op augustus 21, 2018, 14:13:07 PM
Aanvaardt,
Heeft iemand de data al succesvol verwerkt ?

ik heb het geprobeerd, maar kreeg een lijst met op elke regel zowel de wetenschappelijke als de Engelse naam, terwijl dutchbirding blijkbaar slechts één van beiden wil hebben. Deed ik iets fout?

Overigens was het een kleine moeite om dat off-line zelf even op te lossen. Ik heb dus nu wel een wereldlijst op dutchbirding.
Gertjan van Noord

hiskodevries

jammer, jammer zoveel verwarring
nee beide namen moet kunnen
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

gertjanvannoord

Gertjan van Noord

hiskodevries

Doe mij een plezier en probeer het nog eens, ik heb de scheiding met ',' veranderd naar ';'
die komma was op advies van Toy, maar ik kreeg al de indruk dat het ';' moest zijn (ook wat bedrijfszekerder)
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

gertjanvannoord

dat werkt.

(je kunt natuurlijk ook alleen de wetenschappelijke naam genereren, dat is blijkbaar voldoende voor Dutch birding, en dan hoeft de taal dus niet anders ingesteld te worden)
Gertjan van Noord

hiskodevries

tsja, maar zo is het wat multi functioneler
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

temmie

Ik heb de latijnse / nederlandse namen achteraf in excel gesplit (tekst naar kolommen met komma als scheidingsteken).
Enkele (niet alle, ben er een paar vergeten, maar op een kleine 4000 waren er < 5 mismatches) niet-overeenkomende namen (bij latijnse import):
Spoon-billed sandpiper
Lesser Fish-eagle
Ferruginous-backed Antbird

Island Thrush is blijkbaar nog altijd uitgestorven en die pakt Dutch birding dus niet...
Groeten, L13v3n D3 T3mm3rm@n
Mijn laatste (vogel)reis

Rick van der Weijde

Weet even niet in welk topic dit thuis hoort, maar 'Snake unknown' heeft momenteel 'soort'-status ipv. 'verzamelsoort', waardoor deze mee doet in overzichten enzo. Lijkt mij niet juist.
https://australia.observation.org/soort/view/20327
Rick van der Weijde
Corotauria Nature Photography

Douwe van der Ploeg

Citaat van: Rick van der Weijde op augustus 26, 2018, 16:11:57 PM
Weet even niet in welk topic dit thuis hoort, maar 'Snake unknown' heeft momenteel 'soort'-status ipv. 'verzamelsoort', waardoor deze mee doet in overzichten enzo. Lijkt mij niet juist.
https://australia.observation.org/soort/view/20327

Euh, nee? Waar je naar linkt is een synoniem die gaat naar een verzamelsoort.. Dus als je synoniemen wel aangevinkt hebt, zal het inderdaad verschijnen. Dat gezegd, gewoonweg een dubbele entry dus ik zal Hisko vragen ze samen te voegen ;)

Voor toekomstige gevallen: dergelijke dingetjes kunnen in https://forum.waarneming.nl/smf/index.php?topic=65349.0
Douwe van der Ploeg

barthoekstra

Citaat van: hiskodevries op augustus 21, 2018, 14:13:07 PM
Aanvaardt,
Heeft iemand de data al succesvol verwerkt ?

Ik niet. Ik blijf 'ERROR Date not correct' krijgen met de Ebird import, ondanks dat ik de CSV — vanzelfsprekend — niet heb bewerkt in spreadsheetsoftware. Om te kijken wat er fout gaat de CSV maar bijgevoegd in de bijlage (als zip, anders groter dan 400KB). Daar zijn met een teksteditor wat niet matchende soorten uitgeknipt, maar dat heeft dus geen invloed op het datumformat.

hiskodevries

Bart, kun je bij het exporteren ook een keuze maken qua datum formaat ?
ik heb in principe de oplossing , blijkbaar zijn twee soorten datum formaat mogelijk:
daar heb ik een oplossing voor maar alleen is het wat problematisch om die naar productie te krijgen.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

barthoekstra

Citaat van: hiskodevries op mei 10, 2019, 14:05:07 PM
Bart, kun je bij het exporteren ook een keuze maken qua datum formaat ?
ik heb in principe de oplossing , blijkbaar zijn twee soorten datum formaat mogelijk:
daar heb ik een oplossing voor maar alleen is het wat problematisch om die naar productie te krijgen.

Ik heb de data gedownload via de stappen die jouw how-to link beschreef en heb dan geen mogelijkheid om iets aan te passen. Het is een kwestie van op de Submit knop drukken en vervolgens de zip downloaden die in de mail verschijnt.

hiskodevries

Bart, ik geef je een seintje wanneer die updates live zijn. maar dat zou zo maar maandag kunnen worden. ik heb de indruk dat ik de enige ben die aan het werk is
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Citaat van: hiskodevries op mei 10, 2019, 15:04:02 PM
Bart, ik geef je een seintje wanneer die updates live zijn. maar dat zou zo maar maandag kunnen worden. ik heb de indruk dat ik de enige ben die aan het werk is
de update is nu doorgekomen. Ga maar uploaden Bart
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

barthoekstra


hiskodevries

#225
The export function on observation.org is much better then on the old version.
You can find this option at the bottom of the screen 'my observations'
It's possible to export to csv format or to an sql lite database.

CSV file has ',' as seperator
CSV file has UTF-8 Unicode text, with CRLF line terminators

The header is now always in english, we will change this within time
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

on the old site a new import function is available under the 'Add observation' menuitem
'iNaturalist import'
With this you can import data from iNaturalist to Observation.org including 1 photo per observation
Please note, this way of importing is quite slow and try to make exports from iNaturalist with start and end dates of up to 1000 observations
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

On Gbif we have now the number 3 largest dataset after the last data update https://www.gbif.org/dataset/search?type=OCCURRENCE
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Julian

Citaat van: hiskodevries op maart 30, 2022, 09:51:44 AM
On Gbif we have now the number 3 largest dataset after the last data update https://www.gbif.org/dataset/search?type=OCCURRENCE
Awesome! Really closing in to number 2 when you consider that number 9 of the list (Waarnemingen.be) is also in 'our team'.

hiskodevries

550.000 local bird names are added to the database
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

Jelle

#230
Hisko and myself have been working on a more complete export of data found under my transects and my checklists in the menu of 'My observation.org' on https://old.observation.org/

Check the page: https://old.observation.org/user/tracks/[your user code]?lang=en&local=xx

You can either select a year or go directly to the bottom of the page. There you can find a download link named 'Export this selection to json': https://old.observation.org/user/export_transects/[your user code]?year=0

If no year is selected (all) your (meta)data of transects and point counts will be downloaded as a JSON file.

To import a nested JSON file as table in Microsoft Excel 365:

1. open excel, choose Get Data > from File > from JSON > choose the JSON file
1. you should see a "List" of "Records" appear in the Power Query Editor
2. select the list (normally the list is automatically selected)
3. click on the "To Table" icon in the Convert tab (upper left icon) and just click ok in the 'to table' dialog box.
4. on the column header, look for a splitter icon and click on the icon to expand the nested data.
5. now click on "Close & Apply" on the Home ribbon to transfer your JSON as table to an excel spreadsheet. Save as xlsx, csv, tsv or txt.

See also the more complete instructions on: https://hevodata.com/learn/power-bi-json-to-table/

hiskodevries

on the old site. The year, month, week and day list now refer to the better version on the new site.
Same for top list species.
As soon as a screen on the new site has the same or better functionality than on the old site, that function will point to the new site.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

the observed specieslists for subsites on the old site are temporarily offline.
Those queries used are running too long.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

These modifications are made
 1. Front page photo count: calculate correctly for country subsites (#6993, #7011) fixes: #6991
 2. Hide time in recent rarities when user has requested so (#6935) Fixes: #6896
 3. Admin stats: add empty label for species group filter (#6908)
 4. Turn off autocomplete for all datepicker form fields (#6925) Fixes: #6187
 5. Kiosk: prevent wrapping of title (#6950) fixes: #6941
 6. Fix country search with diacritics (#6931) Fixes: #6918
 7. BioBlitz category charts: strip common prefix/suffix (#6942) fixes: #3386
 8. XLSX export: prevent formula warnings for notes starting with '=' sign (#6978) fixes: #6915
 9. Remove quiz functionality (#6841) fixes: #6543
 10. Use str(queryset.query) rather than str(queryset) while generating cache keys (#7007) Fixes: #6900, #6947
 11. Replace choices for Determination requirements, region types, Continents with IntegerChoices classes (#6910) Also improve performance of the species relations view (on/in) refs: #3885
 12. BioBlitzTable: use number formatting (#6945)
Validation
 13. Add 'modified' column to pending validation tables (#6898) Fixes: #6619
 14. Validation pending media list: use numformat for counts (#6992) fixes: #6970
User
 15. Add sum of total to eternal month list footer (#6940) Fixes: #6920
 16. Profile: always link to Observation.org from summary, include all data in species seen on Observation.org (#6986) fixes: #6912
Ranking
 17. Observer Ranking: fix country filter on Observation.org and country_division filter on sub sites (#6988) fixes: #6948
 18. Species Ranking: correct link to species seen compare view (#6888) fixes: #6869
 19. Species Ranking: format number of species with thousand separator (#6946) fixes: #6938
Species
 20. Info in species header: use country info for rarity/status/obscurity if available (#6907) Fixes: #6727
 21. Detail stats: remove top_observers for species with OBSCURE_MAX (#6966) fixes: #6958
 22. Map: Remove color legend from heat map (#6987) fixes: #6982
Observation
 23. Improve performance of adding updating observations and adding comments (#7001) fixes: #6975
 24. Detail: small performance tweaks (#7002)
 25. List: filter for current search_context.country (#6990) This view can currently not be reached from the main navigation
 26. Delete: fix redirect after delete on country subsite (#6921) Fixes: #6670
 27. ObservationTable: use capfirst for dropdown items (#6985)
 28. Prevent adding observations in the future (#6828) fixes: #3171
 29. Update/copy: allow on Observation.org for observations in nl/be (#7012) fixes: #7009
Country subsites / Locals
 30. Replace provinces in admin stats (#6782) Partly fixes: #5948
 31. Replace province in app.exports.targets.nds (GBIF / NDS exporter) (#6562) fixes: #5805
 32. Replace provinces in app.stats.choropleth (#6713) Partly fixes: #5948
 33. Make BioBlitzList and BioBlitzCategoryDetail local independent (#6944) Fixes: #5734
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

Citaat van: hiskodevries op november 03, 2023, 09:32:22 AMthe observed specieslists for subsites on the old site are temporarily offline.
Those queries used are running too long.
we have a working solution
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

The add species function , as used in this procedure https://forum.waarneming.nl/index.php/topic,499916.0.html is improved. So that more species can be added by the users.
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

 1. Change donate page (#7029) Fixes: #6916
 2. Add donation drive call-out on homepage (#7120) Fixes: #7109
 3. Kiosk with show_local_info=True: use one year instead of one month (#7028) Fixes: #7008
 4. Projects: Small UI fixes in project pages (#7022) Fixes: #7021
 5. Bugfix: prevent transect import if no observations (#6971) Fixes: #26
 6. Add simple analytics to stranding.nl, kiosk, stagbeetle, mijn tuinlab, bijentelling (#7096) Fixes: #7095
 7. Choropleth map: change label of filter button from 'load' to 'filter' (#7115) Fixes: #7112
 8. Use "—" as default for NumberColumn (which is the default table default) (#7087) Fixes: #7079
Observation
 9. Detail view: show name of the validator to any user (#7025) Fixes: #6857
 10. Add 'observation' observation type, always save full app name and app version in observation (#7097) Fixes: #7043
 11. Prevent crash in Observation.save() if date is empty (#7082) Fixes: #7080
Species
 12. Detail view: show species info on xx subsites (#7124) Follow-up on: #6517
 13. Stats: calculate for each country, show on country subsites (#7093) Fixes: #6517
 14. Ranking: add country_division parameter to compare link if list is filtered by it (#7098) Fixes: #7047
 15. Fix bug causing country and all world species seen data not being shown in the user profile table (#7060)
 16. Prevent crash in eternal species seen list on Observation.org (#7088) Fixes: #7062
 17. Fix definition of Relation.ADULTS and NON_ADULTS (#7099) Fixes: #7086
Country subsites
 21. Remove province: ObservationValidationListView (#7038) Fixes: #6867
 22. Replace province: User model (#7041) Fixes: #5954
 23. Remove provinces: app.locations (#7044) Fixes: #6864
 24. Remove province: project filters (#7046) Fixes: #5801
 25. Replace province in focus (#7051) Fixes: #5791
 26. Custom site projectportal: replace province with country and division (#7052) Fixes: #6559
 27. Fix country overlaps during import (#7083) Refs: #6393
 28. Remove forum on country subsites (#7037) Fixes: #6913
 29. Add EEZ import (#7039) Fixes: #6393
 30. Ranking species: use correct name for country_division filter (#7053) Follow-up on: #6988
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

As of today, alerts will no longer be sent to deviating email addresses and the setting 'a validator is not allowed to adjust my observations' will be ignored
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

New release
 Observation detail: fix translation of texts containing ampersands (#7139) fixes: #7138
 Admin export: limit length of filename to fit within the database field (#7170) fixes: #7167
 Banner on Observation.org directs to itself (#7197)
 Visit detail: apply text_to_html to notes to replace newlines with
(#7203)
 Speed up species map: today as default end_date (#7216) Fixes: #7215
 Observation form: try to extract accuracy from photo EXIF, default to 999 (#7163) fixes: #7105
 Observaton form: stop clamping accuracy to in range 5..1000 and refine error message (#7220) fixes: #7169, #7105
 Kiosk: Improve speed of certain species info modals (#7193) fixes: #6145
 Kiosk: Add number formatting for statistics (#7192) fixes: #6757
 Open graph description: do not expose raw markdown (#7191) fixes: #6537
Validation

 Add validator manual to validation page (#7164) Fixes: #6618
 Fix performance regression in validation list view introduced in #7002 (#7102)
 Observation detail: rename label 'Admin' to 'Validated by' (#7222) fixes: #7187
CMS

 Add TOC directive and auto-generate anchor links (#7125) fixes: #6994
 Add file upload to markdown widget (#7137) Fixes: #6996
 Make MarkdownTextAreaWidget the default widget for MarkdownField (#7160) fixes: #7157
Country subsites

 Generic search context filtering (#7066) Fixes: #6732
 Fall back to 'does not occur' when no SpeciesCountryInfo record exists (#7116) Fixes: #6810
 Enable links to country subsites everywhere (#7150) fixes: #6581
 Use search context in exporters instead of local (#7101) Fixes: #7027
 Remove fallback to global species country info (#7141) Refs: #6810
 Footer: use custom footer on a country subsite if the record defines a footer (#7199) fixes: #7199
 Projects: show all data on Observation.org (#7179) fixes: #7148
Technical

 Improve Accept-Language based language handling (#7146) fixes: #6952
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0

hiskodevries

 1. Add 'My Observation.org' menu, replacing the 'community' option (#7238) Fixes: #7189
 2. Replace PHP wrapper with redirects to current views (#7249) Fixes: #6876
 3. Add custom donation link for Observations.be and enable fundraiser callout (#7270) Fixes: #7267
 4. Validator actions: clarify when bulk actions are available (#7333) Fixes: #7316
 5. Make is_admin check specific to site local Make is_admin check specific to site local #7433 Fixes: waarnemingen.be/challenges/ no longer accessible for country-admins #7367
BioBlitzes
 6. Fix spelling of BioBlitzes in user location table (#7337)
 7. BioBlitz list: display userlocation name, user name and area of user locations (#7370) Refs: #7366
 8. BioBlitz category charts: left align labels, hide graph in some cases (#7339) Fixes: #7334
 9. Mention the name of the species list if no species groups are used (#7371) Fixes: #7366
Observations
 11. Occurrence maps: show embargo observations for users with permission (#7217) Fixes: #7090
 12. Observation form: calculate point accuracy on dragging too (#7363) Fixes: #7356
 13. Observation export: add fields (#7244) Fixes: #6959
 14. Exports by location: do not include observations not within the geom but with matching location_id (#7351) Fixes: #7292
 15. Show Activity above Life stage on Observation detail (#7378)
Species
 16. Add link to showcase alert list from invasive species alert email (#7223) Fixes: #7176
 17. Species statistics: Fix filtering by year (#7290) Fixes: #7289
 18. Ranking species: remove superfluous button, fix label for country division filter (#7195) Fixes: #7111, #7247
 19. Species seen compare: use local geometry by explicitly passing country (#7315) Fixes: #7110, #7317
 20. Fix local taxonomy filter for eternal lists (#7329) Fixes: #7068

Country subsites
 27. User species seen: make counts dependent on active country subsite (#7212) Fixes: #7089
 28. Strip countries from location names on country subsites (#7210) Fixes: #6548
 29. Allow viewing sounds/photos on all sites (regardless of the local) (#7311) Fixes: #7266
 30. Location on country subsite: redirect to Observation.org if current subsite != location.country (#7373) Fixes: #7281
 31. Ignore SpeciesInfoText records for subsites (#7320) Fixes: #7318
Stranding.nl
 32. Auto import strandings (#7234) Fixes: #7161
 33. Use only active species in species list (#7310) Fixes: #7306
Stagbeetle
 34. Use filterset to provide default filter for country on location list (#7285) Fixes: #7272
 35. Add initial value to country filter on observation list (#7335) Extends #7260
Documentation
 36. Add basic documentation on the project portal / stagbeetle.observation.org (#7259) Fixes: #2596
 37. Oauth2 documentation/view clarifications on clients with type=confidential (#7369)
Was getekend Hisko de Vries.

Wil je een fotovraag stellen op het forum lees dan dit eerst https://forum.waarneming.nl/smf/index.php?topic=452369.0