One way of finding out who’s influential on Twitter is to count how often people are retweeted. I did so when analysing the Twitter discussion on the election of the new president of the Dutch trade union confederation FNV.

I counted both ‘official’ retweets – retweets acknowledged by Twitter – and ‘unofficial’ retweets. Unofficial retweets may have been generated by unofficial Twitter apps (I think) or users may have typed them manually. They may have the pattern RT@username:text (which is also the pattern of official retweets), the pattern "@username:text", or the pattern text via @username (this pattern wasn’t in my original analysis). Perhaps there are more flavours around that I don’t know of.

When looking for background information, I came across a comment by an SEO analyst explaining why they don’t count unofficial retweets:

To try to count non-official RTs is a messy business, as it would require a lot more Twitter API calls for possibly negligible benefit. Why negligible? We make an assumption that non-official RTs correlate strongly with official RTs. We can then use the latter as a proxy for the former. This assumption may not be true, of course. That is, by not using non-official RTs, we may ignore pockets of users who generate many more unofficial RTs... perhaps those who ask a question, or invite a response? (comment by Pete Bray on this article)

Below is some information on how often users in my FNV sample were retweeted within that same sample.

At least within this sample, unofficial retweets are not very common: they make up about seven percent of all retweets. And here’s some information on how official and unofficial retweets are correlated:

Users who generate more official retweets also tend to generate more unofficial retweets, but the correlation is not particularly strong. So based on this sample, it would seem conceivable that there are indeed ‘pockets of users who generate many more unofficial RTs’ – as suggested by Bray.

Method

The sample contains close to 11,000 tweets containing the string FNV, collected between 26 April and 16 May. For background see this article; the analysis of retweets in the FNV debate is here. The code I used for the analysis above is here.

If you have a sample of tweets and you want to know how often users in that sample have been retweeted, you can only find that out for retweets that are also in the same sample. In my case that wasn’t a problem, for I was interested in who was influential within a specific discussion. However, if you’d be interested in constructing a general measure of how influential twitter users are, you’d probably need a pretty large sample of tweets.

The messiest type of retweet is probably text via @username. Often these aren’t real retweets but added by services like sharethis or AddThis or by news websites that have their own share service (I only included users if they were already in the sample, i.e. had tweeted texts containing FNV; this eliminates sharethis and AddThis tweets). I looked for the pattern via @ followed by any number of non-whitespace characters at the end of the line, or followed by any number of non-whitespace characters before the first whitespace. This method may not be 100% accurate, but I think it’ll do. The regex patterns used to find the different types of retweets are in the code.

Because the retweet counts are not normally distributed (many have a value of 0) I used spearman rank correlation; pearson’s correlation would have yielded stronger - but still not particularly strong - correlations of up to 0.5.

Onlangs is Utrecht uitgeroepen tot mondiale fietsstad nummer 3. Toen ik bijna drie jaar geleden in Utrecht ging werken vond ik de stad helemaal niet fietsvriendelijk - integendeel. De omgeving van het station is een chaos als gevolg van de eindeloze herinrichting. Fietsers worden door te smalle omleidingen geleid, die ook nog eens van de ene dag op de andere van route kunnen veranderen. M’n favoriete fietsenstalling, recht onder het station, is naar het Smakkelaarsveld verbannen (1).

Ook los van de vernieuwing van het stationsgebied is er genoeg om je aan te ergeren. Zoals de lange wachttijd voor de stoplichten bij de Maliebaan en de Maliesingel (2). De rare hoek in het fietspad bij het Janskerkhof (3). Het feit dat je in de binnenstad onverwacht op straten stuit waar je niet mag fietsen. En het rare stoplicht bij Rijnsweerd (4).

Inmiddels ben ik gewend geraakt aan de stad. De chaos rond het station voelt normaal aan. Ik ontdekte al vrij snel de scenic routes waar je op uitkomt via de monumentale strook park langs de Catharijnesingel (5) – routes waar je lekker door kan fietsen. En ik heb de indruk dat de lokale Fietsersbond goed bezig is met het aanpakken van excessieve wachttijden en andere ongemakken. Ik had er nog niet zo bij stilgestaan, maar ik heb me verzoend met fietsstad Utrecht.

Aantal tweets waarin kandidaten worden genoemd

Volgens Amerikaans onderzoek kan je de uitkomst van verkiezingen voorspellen door simpelweg te tellen hoe vaak de namen van de kandidaten worden genoemd op Twitter. Zou je op deze manier ook kunnen voorspellen wie de nieuwe voorzitter wordt van de FNV?

Ik heb vanaf afgelopen vrijdag de tweets verzameld waarin de term ‘FNV’ voorkomt, tot nog toe zijn dat er ruim 2.500. In deze tweets wordt Ton Heerts 204 keer genoemd en Corrie van Brenk 146 keer (tweets waarin ze allebei worden genoemd laat ik buiten beschouwing). Kortom, als Twitter een goede graadmeter is (daarover valt natuurlijk te discussiëren) dan wordt de strijd spannender dan het aanvankelijk misschien leek.

De grafiek hierboven laat de resultaten zien voor de dagen waarvoor volledige gegevens beschikbaar zijn. Er was vanaf zaterdag aandacht voor Van Brenk (vanwege deze factcheck). Op zondag werd Heerts genoemd omdat hij te gast was in het tv-programma van Eva Jinek. Op 1 mei werden de kandidaten officieel bekendgemaakt en gingen ze met elkaar in debat.

Update - Bijgewerkt tot en met 13 mei, de laatste dag waarop gestemd kon worden. In totaal is Van Brenk 497 keer genoemd en Heerts 631. Inmiddels is bekend dat Heerts de verkiezing heeft gewonnen (uiteraard is daarmee nog niet gezegd dat de methode hout snijdt: om daar iets zinnigs over te kunnen zeggen zou je een flink aantal voorspellingen moeten kunnen beoordelen).
In de grafiek zijn onder meer de volgende invloeden zichtbaar: Factcheck bevestigt uitspraak Van Brenk (vanaf 27 april); Heerts bij Eva Jinek (28 april); officiële bekendmaking kandidaten (1 mei); debat bij Buitenhof (5 mei); belastingaffaire waarover Van Brenk’s Abvakabo FNV al aan de bel had getrokken (6 mei); interview Van Brenk op Nu.nl (9 mei); radio-optreden Van Brenk (10 mei); Heerts bij presentatie Techniekpact (13 mei); peiling EenVandaag voorspelt dat Heerts wint (13 mei).
De grafiek is mogelijk niet zichtbaar in oude versies van Internet Explorer.

Methode

Tweets heb ik verzameld via de Twitter Streaming API (de ‘brandslang’), op de manier die hier wordt beschreven. Daarbij heb ik gefilterd op de zoekterm ‘fnv’. Ik heb de gegevens met Python bewerkt en met R geanalyseerd (de code staat op Github). De grafiek is gemaakt met D3.js.
Ik heb nog gekeken naar hoe invloedrijk de twitteraars zijn (hoeveel volgers; hoe vaak opgenomen in lijsten) en naar hun achtergrond (noemen ze in hun profiel bijvoorbeeld de FNV). Het belangrijkste wat dit opleverde is dat twitteraars die Van Brenk noemen vaker ‘abva’ of ‘akf’ in hun profiel noemen - niet verassend aangezien Van Brenk momenteel voorzitter is van Abvakabo FNV.
Het Amerikaanse onderzoek naar Twitter als voorspeller van verkiezingsuitslagen is uitgevoerd door DiGrazia en anderen en is hier te vinden. Enkele opmerkingen over hun onderzoek:

• Het klopt natuurlijk dat twitteraars maar een klein deel van de bevolking vormen en dat ze niet representatief zijn voor de hele bevolking. Waarschijnlijk wordt het beeld op Twitter vooral bepaald door een kleine, actieve incrowd. Ook klopt het dat een tweet waarin een kandidaat wordt genoemd niet altijd positief is; soms wordt er juist kritiek geuit. Ondanks dit alles bleek uit het onderzoek van DiGrazia e.a. dat het aantal keer dat een kandidaat op Twitter wordt genoemd een consistente voorspeller vormt van verkiezingsuitslagen. Wellicht vormt het aantal vermeldingen op twitter een indicator voor iets anders, bijvoorbeeld media-aandacht of hoe actief er campagne wordt gevoerd voor een kandidaat.
• De methode biedt uiteraard geen zekerheid over wie er wint. Het kan voorkomen dat een kandidaat bijna 100% van de twittervermeldingen krijgt en toch verliest (althans dat suggereren de scatterplots die DiGrazia e.a. laten zien).
• Het is onduidelijk in hoeverre de conclusies van het Amerikaanse onderzoek naar andere situaties kunnen worden gegeneraliseerd. Het is daarom wel een beetje een gok om met deze methode te voorspellen wie de nieuwe voorzitter van de FNV wordt.

The new Facebook phone will make it easier to collect data:

It’s going to know where you are, who you’re talking to and when, even what apps you’re running. All of which is great for Facebook, because ultimately Facebook wants to know every little thing it can about you so it can get you to click on some ads. (Wired)

Of course, this is not radically different from the way in which smartphones are already being used to collect information about their users. If you don’t want to be tracked, don’t use a smartphone. Also, don’t pay electronically (or supermarkets will know if you’re pregnant) and stay clear from social media.

At least, that used to be sensible advice – but not anymore. Whether you have a smartphone or not: everybody will be tracked.

In a world full of surveillance cameras, cameras on smartphones (and soon on the Google Glass) and drones equiped with cameras, microphones and other sensors that can observe you even in your private home, it’s impossible to escape being observed. Voice, speech and face recognition software will recognize you (for example, in stores). And data companies like Rapleaf will happily buy, merge and analyse such data to create an ever more detailed profile of you.

Even though this only underlines the futility of clinging to privacy, it would still be nice if there were a smartphone that would give you more control over your data.

Two initiatives may offer some hope. New operating systems for smartphones are introduced, including one from Mozilla, the ‘most trusted internet company for privacy’. And a Dutch company, FairPhone, is developing a smartphone ‘designed and produced with minimal harm to people and planet’. I emailed both to ask whether they will give users more control over their data.

I got a response from FairPhone – in fact, they were quite helpful. Don’t expect radical changes: the operating system will still determine what apps run on the phone and what kind of data they will be able to collect (e.g. location, addresses, websites visited) – with or without the user’s consent. In that respect, little changes. Still, FairPhone will give you a bit more control over your phone by allowing you to install an alternative operating system (e.g., Mozilla’s Firefox or, when available, Ubuntu). Also, they consider developing an app that explains to users what happens with their data.