Zoekmachine en bulk data

MARKOV Solutions is actief betrokken bij grote vernieuwingen op internet. Deze worden vaak via sponsoring gerealiseerd, bijvoorbeeld via Stichting NLnet of in samenwerking met de Open Search Foundation.

Zoekmachines

De focus licht hier bij alle onderdelen die data moeten aanleveren aan de zoekmachine indices, niet op het textueel zoeken of ranken van de gevonden data.

Als ondersteunende functionaliteit werk ik daarom aan:

• Skrodon, een vereniging waarin de hardware en software van deelnemende partijen kan draaien, onder europees recht. (2021-)
• de communicatie van zoekmachines met website beheerders in project Open Console (2021-)
• Samenwerken in de extractie van meta-data uit verzamelde website data (de uitvoer van crawlers) (2021-2022)

Bulk Data

Zoekmachine data is zeer dynamisch en grootschalig. Bijvoorbeeld, er zijn meer dan 300 miljoen aktieve websites en dagelijks terabytes aan veranderende gegevens. Daarnaast wordt de juridische omgeving steeds ingewikkelder.

Bestaande protocollen kunnen dit niet aan. Vandaar:

• Meshy Space (voorheen CPAN6, 2007-)

2023-09-07