Alle tweets doorzoekbaar | Twitter doet wat The Library Of Congress niet lukte

Twitter heeft gisteren bekend gemaakt dat het alle tweets die ooit verstuurd zijn geweest beschikbaar heeft gemaakt de zoekopdrachten. Je kon al vrij lang alle tweets vinden, zo heeft Twitter een tooltje waarmee iedereen zijn of haar eigen eerste tweet kan vinden, maar zoals het Amerikaanse Library of Congress ondervonden heeft: dat si nog niet zo simpel!

alltweets

Voordat twitter alle tweets beschikbaar stelde liet het alleen een deel doorzoekbaar maken. Bepaalde partners kregen tegen betaling toegang tot de firehose, dat is de stream van alle tweets die we doorlopend publiceren; en 1 organisatie kreeg alle tweets ooit: The Library of Congres.

Dat Amerikaanse instituut heeft van elke publicatie in de VS (en een groot deel van de rest van de wereld, minimaal 1 exemplaar. Een offline database van alles dat ook gepubliceerd is.

Daar hoorden ‘onze’ publicaties dus ook bij en daarom kreeg het LOC (afkorting van Library of Congres) van twitter alle tweets in databases. Maar hebben is niet voldoende, je moet er ook iets mee kunnen doen en daar liep het LOC tegen problemen. aan. tegenwoordig verzenden we met ons allen meer dan 500 miljoen tweet per dag! Elke twee dagen komen er dus meer dan 1 miljard tweets bij. die doorzoekbaar maken bleek een te grote kluif voor het LOC. Ze konden maar niet omgaan met die enorme berg BIG DATA!

Dus maakte Twitters engineers zelf maar een platform, de aankondiging van het nieuws kwam dan ook uit die hoek:

In het blog wordt uitgebreid uit de doeken gedaan hoe de databasestructuur die onder de zoekopdracht ligt werkt; voor de techneuten interessant leesvoer.

Voor je eerste tweet heb je het eerder genoemde tooltje en Twitter laat je daarnaast al je eigen tweets downloaden zodat je die op je eigen harde schijf kunt bewaren en doorzoeken!

Deel dit artikel met je volgers/ vrienden
  •  
  •  
  •  
  •  
  •  
  •  

1 comment on “Alle tweets doorzoekbaar | Twitter doet wat The Library Of Congress niet lukte”

  1. Pingback: First w00t! Tooltje ontdekt wie het het eerst meldde op Twitter! | /cc Couwenbergh Communiceert

Comments are closed.