# A better formalism for interpreting confidence intervals

When we take a sample mean, we should think of it as a random variable, and our measured sample mean as a realisation of that random variable. The sample mean is a random variable because it is the result of random sampling. Repeated sampling involves observing repeated realisations of the random variable.

We should think of confidence intervals around this mean as realisations of a random interval, an interval whose bounds are random variables rather than real numbers. This is an attractive formalism because it resolves many confusions around the interpretation of confidence intervals.

Suppose the true population mean is the number $Y$. The mean of a random sample from this population is the random variable $\bar{y}$. Then the random interval

$[ \bar{y} - 1.96 se(\bar{y}) , \bar{y} + 1.96 se(\bar{y}) ]$

has an approximately 95% probability of containing $Y$.

Suppose in our sample $\bar{y}$ takes the realisation $1230$ and $se(\bar{y})$ takes the realisation $5.4$. So an instance of the above random interval is the confidence interval:

$[ 1230 - 1.96 * 5.4 , 1230 + 1.96 * 5.4 ]$

The confidence interval either contains or does not contain $Y$.

In full, my proposed interpretation schema is:

$[ 1230 - 1.96 * 5.4 , 1230 + 1.96 * 5.4 ]$,

is a realisation of

$[ \bar{y} - 1.96 se(\bar{y}) , \bar{y} + 1.96 se(\bar{y}) ]$,

and the probability

$P( Y \in[ \bar{y} - 1.96 se(\bar{y}) , \bar{y} + 1.96 se(\bar{y}) ]) = 0.95$.

• robustness: distinguishing random intervals from confidence intervals means it’s much harder to get confused into making an incorrect probabilistic statement about the non-probabilistic object $Y$.
• parsiomy: we express everything we want using only probabilities, random variables, and intervals, three well-understood notions.
• relevance: our interpretation only involves the objects we actually have (a random interval and a confidence interval). We need not make reference to (hypothetical) repeated sampling.

# The ugly and the bad

Unfortunately, my preferred formalism does not appear to be popular. Let me show some of the alternatives I have seen and explain their downsides and how my proposal does better.

## 1

The interval is random, not the parameter. Thus, we talk of the probability of the interval containing the parameter, not the probability of the parameter lying in the interval.

This is the worst example, and is admittedly rarely seen in print. But in speech I’ve seen it used often, even by academics who were trying to explain the correct interpretation of confidence intervals! The problem with this of course is that once you write it down in mathematical language, the probability of the interval containing the parameter is exactly the same object as the probability of the parameter lying in the interval. In our example it is simply $P(Y \in [ 1230 - 1.96 * 5.4 , 1230 + 1.96 * 5.4 ])$. It is equal to 1 or 0.

## 2

Quantitative Economics lecture notes for Oxford undergraduates:

“Were this procedure to be repeated on multiple samples, the calculated confidence interval (which would differ for each sample) would encompass the true population parameter 95% of the time.”

I don’t like this because:

• It invokes the clunky counterfactual “were this procedure to be repeated”. What if it’s impossible to take repeated samples? We still want to be able to make statements about our confidence interval.
• It doesn’t have a clear mathematical formalisation. how do I write “95% of the time” in terms of probabilities?
• The actual confidence interval we have is nowhere mentioned. For what is supposed to be an interpretation of that object, that’s a little confusing.

My formalism solves these three problems.

## 3

Wikipedia:

“There is a 90% probability that the calculated confidence interval from some future experiment encompasses the true value of the population parameter.”

Similar complaint here: why do we need to refer to future experiments? We want an interpretation of the confidence interval we actually have.

## 4

For this reason, for a 95% CI, we say that we have 95% confidence that the interval will cover the true population mean. We use the term ‘confidence’ instead of probability because although the sample mean is random, the single interval we calculate is fixed. We also cannot talk about the probability that the population mean will lie within a certain interval, since it is also fixed.

This needlessly introduces the new concept of ‘confidence’, which is bound to cause confusion. It’s much better to use probabilities, a concept we already understand and for which we have a formal notation.

June 10, 2017

# Consistent Vegetarianism and the Suffering of Wild Animals - Journal of Practical Ethics

A revised version of the essay I wrote for the Uehiro Prize has been published in the Journal of Practical Ethics.

Abstract:

Ethical consequentialist vegetarians believe that farmed animals have lives that are worse than non-existence. In this paper, I sketch out an argument that wild animals have worse lives than farmed animals, and that consistent vegetarians should therefore reduce the number of wild animals as a top priority. I consider objections to the argument, and discuss which courses of action are open to those who accept the argument.
May 25, 2017

# Qu'est-ce que l'altruisme efficace ?

Evénement de lancement de l’association Altruisme Efficace France, à Paris le 5 juillet 2016

# Qu’est-ce que l’altruisme efficace ?

Quelles sont les meilleures façons d’aider les autres ? Bien entendu, cette question fait débat. Y répondre avec sérieux requiert des prises de positions morales, et des recherches empiriques approfondies. Les désaccords sont inévitables, et ils sont légitimes. Mais ce n’est pas pour autant qu’une affaire d’opinion. L’altruisme efficace est basé sur l’idée que toutes les manières d’aider les autres ne se valent pas.

Cette volonté de dépasser le domaine de l’opinion est tout à fait compatible avec une appréciation de la difficulté de la tâche et de l’incertitude de nos hypothèses. Une analogie avec la science pourrait être utile ici. Dans les sciences naturelles, les chercheurs sont souvent en désaccord. Cependant, malgré cette diversité de points de vue, il y a aussi beaucoup de consensus : il est démontré que certaines propositions sont incorrectes. Et au fur et à mesure que la communauté scientifique continue de récolter plus de données et de les analyser de manière critique, elle rejette les mauvaises théories, affine ses hypothèses, et progresse.

C’est ainsi que nous concevons l’altruisme efficace - une tentative de répondre à une question difficile, à laquelle nous pourrons apporter des réponses de plus en plus précises à mesure que nous y investissons plus d’effort. L’altruisme efficace, c’est avant tout cette question, et un engagement à tenter d’y répondre de manière rationnelle et scientifiquement argumentée. Ainsi, l’altruisme efficace est une démarche qu’il convient de séparer des conclusions particulières auxquelles l’on peut arriver en la suivant.

Enfin, l’altruisme efficace n’est pas qu’une analyse académique. Nous souhaitons identifier la meilleure manière d’aider, puis passer à l’action en la mettant en oeuvre.

# Comment trouver une cause efficace ?

Parmi tous les moyens d’aider les autres, comment trouver celui qui permettrait d’avoir le plus grand impact ? Nous tentons de répondre à cette question en suivant certains principes fondateurs.

## Faire le meilleur usage de nos ressources

Nos ressources sont limitées. Quelle que soit notre générosité, il est impossible de résoudre immédiatement tous les problèmes constatés dans le monde. Notre situation est similaire à celle d’un médecin en zone de guerre : il y a des centaines de blessés, mais le personnel médical est limité. Il met alors en place un système de triage médical, qui assigne un degré de priorité à chaque blessé, dans le but de sauver le maximum de victimes. De même, nous avons chacun une quantité limitée de temps et d’argent, et nous ne pouvons pas aider toutes les victimes de souffrances dans le monde. La meilleure chose à faire est alors de se concentrer sur les actions qui aideront le plus possible, celles qui auront le plus grand impact par euro donné ou heure investie.

## Empathie Globale

Prendre en considération toute vie consciente, sans exclusion liée à l’appartenance à un groupe donné, qu’il soit fondé sur la nationalité, l’ethnie, la croyance ou l’espèce..

Dans un des textes majeurs de la philosophie morale contemporaine, Famine, Affluence and Morality[1], Peter Singer nous invite à étendre notre cercle d’empathie au-delà de notre propre pays et à reconnaître qu’une vie vaut la même chose, qu’elle soit vécue dans un pays développé ou un pays en développement. Nous souhaitons aider ceux auxquels il est possible d’apporter le plus grand bénéfice, et s’il s’agit d’habitants des pays en développement au lieu de nos compatriotes, c’est cela qu’il faut préférer. La plupart des personnes engagées dans l’altruisme efficace étendent ce raisonnement jusqu’à son aboutissement logique, qui est de prendre en considération les vies non-humaines ainsi que les vies futures de ceux qui ne sont pas encore nés. Certains se concentrent donc sur la souffrance des animaux d’élevage ou tentent d’améliorer la trajectoire future de l’humanité à très long terme.

## Ouverture d'esprit et "agnosticisme de cause"

Considérer toutes les causes et actions possibles, puis agir de la manière qui produit le plus grand impact positif.

Il est habituel de commencer par choisir une cause pour des raisons personnelles ou émotionnelles, puis de se demander quelle serait l’action la plus efficace au sein de cette cause. (“Je souhaite soutenir la recherche contre le cancer car mon père est mort d’une tumeur cérébrale. Quel est le meilleur organisme de recherche contre le cancer ?”) Mais dans l’altruisme efficace, le choix de la cause lui-même fait l’objet d’une recherche rationnelle, car les plus grandes différences d’efficacité se trouvent entre différentes causes et non au sein d’une cause. Il s’agit donc de partir d’une position “agnostique à la cause” afin de pouvoir choisir la plus efficace parmi toutes les causes possibles, et de pouvoir changer de cause en réaction à de nouvelles informations.

## Se concentrer sur l'action la plus efficace

Le choix optimal est probablement 10 ou 100 fois supérieur à la moyenne.

La taille chez les humains suit une distribution normale : les plus grands humains ont une taille au plus 60% supérieure à la moyenne. Par contre, le classement de popularité des sites web suit une loi de distribution très asymétrique (loi de puissance) : Google, le site le plus populaire, reçoit des milliards de visiteurs, alors que la vaste majorité des sites sont très peu visionnés. Certains éléments de preuve suggèrent que les actions altruistes suivent, comme la popularité des sites web, une distribution très asymétrique. En utilisant la base de données DCP2, le philosophe Toby Ord a montré que dans le domaine de la santé, le rapport coût-efficacité de différentes interventions suit une distribution extrême : l’intervention la plus efficace produit 15 000 fois plus de bénéfice que la moins efficace, et 60 fois plus que l’intervention médiane[2]. Au-delà de la base DCP2, les interventions de santé les plus efficaces sont particulièrement exceptionnelles : l’éradication de la variole en 1979 a prévenu plus de 100 millions de morts, pour un coût de 400 millions de dollars.

Ainsi, il apparaît probable que la meilleure action possible soit non pas 30% plus efficace ou 3 fois plus efficace, mais bien 10, 100 ou même 1000 fois plus efficace que la moyenne. Il est donc essentiel de concentrer nos ressources non pas seulement sur une action très efficace, mais sur celle qui est la plus efficace. Cela ne veut pas dire que tous ceux qui agissent selon ce principe doivent forcément travailler au service de la même cause. Il existe bien sûr des incertitudes considérables et des différences de valeurs, qui amènent différentes personnes à choisir des projets différents.

## Privilégier les causes indûment négligées par d'autres

Pour déterminer l’impact d’une action, il faut appliquer un raisonnement à la marge : quel est l’effet supplémentaire de l’effort que j’apporte ? Il ne suffit pas d’observer l’effet moyen d’une action, il faut considérer son effet marginal. Imaginez que le grenier d’un village ne prenne feu. Les villageois ont le temps de sauver des flammes quelques réserves de nourriture avant que le feu n’engloutisse tout le bâtiment. Le plus important est de sauver le blé qui permettra de survivre l’hiver. Pourtant, si tous les autres villageois se concentrent sur les sacs de blé, ils réussiront à en sortir assez. Plutôt que de prendre encore plus de blé, votre meilleure action altruiste serait de sortir le sac de sel. Dans cet exemple, le sel a plus de valeur à la marge, malgré le fait qu’en moyenne le blé soit essentiel à la survie. De même, si l’on investit dans une cause négligée, le bénéfice marginal de chaque action sera supérieur, car les meilleures opportunités d’aider les autres n’auront pas encore été exploitées. Au contraire, il sera plus difficile d’avoir un grand impact dans une cause qui reçoit déjà beaucoup de ressources. Par exemple, apporter des vaccinations de base à ceux qui en ont besoin est extrêmement efficace : de nombreux cas de maladies graves peuvent être évités à faible coût. Mais soutenir ces vaccinations n’est généralement pas conseillé pour un donateur individuel, car les besoins les plus essentiels sont déjà couverts par les gouvernements ou les grandes fondations.[3] Si par contre une cause est négligée, cela peut donc constituer un indice en sa faveur.

## Prendre en compte ce qui adviendrait si vous n'agissiez pas

Il ne suffit pas de considérer les effets directs de votre action, il faut prendre en compte son effet contra-factuel, c’est à dire la différence entre les conséquences réalisées suite à votre action et les conséquences qui seraient advenues si vous n’aviez pas agi. Imaginez que quelqu’un subisse un arrêt cardiaque devant vous. Vous venez de recevoir un entraînement de secourisme, et vous avez tant de zèle à aider que vous poussez de côté le médecin qui s’apprêtait à s’occuper de la victime. Vous parvenez à réanimer la victime, mais vous n’avez pas pour autant sauvé sa vie. Si vous n’étiez pas intervenu, le médecin l’aurait fait. Votre action était donc remplaçable, elle n’a pas eu d’impact contra-factuel. Ce raisonnement est essentiel pour évaluer rigoureusement nos actions altruistes : par exemple, devenir enseignant bénévolement dans une école d’un pays en développement pourrait avoir un impact négatif au lieu de positif, si le bénévole prenait la place d’un enseignant local expérimenté qui aurait fait un meilleur travail.

## Mettre en balance la probabilité de succès avec la taille du bénéfice

La plupart de nos actions n’apportent pas un bénéfice garanti, mais augmentent la probabilité qu’un certain bénéfice advienne. Par exemple, militer contre les conditions de l’élevage intensif n’a aucune garantie de modifier le comportement des éleveurs ou d’inciter un gouvernement à légiférer, mais rend ces éventualités plus probables. Il est tout aussi fallacieux de choisir des objectifs très importants sans penser à la probabilité de les atteindre, que de rejeter toutes les actions à faible probabilité de succès sans prendre en compte la taille de ce succès potentiel. Il s’agit plutôt d’estimer l’espérance mathématique de notre action, en multipliant la probabilité des succès par la valeur du succès. On peut donc être amené à soutenir des actions qui garantissent un succès modeste, comme un don à une ONG distribuant des moustiquaires, ou des actions qui ont une faible probabilité de produire des bénéfices exceptionnels, telles que la recherche scientifique ou l’action politique.

# Nos hypothèses : quelques exemples de causes efficaces

Appliquer ces principes de manière rigoureuse et pragmatique n’a rien d’automatique ni de simple. C’est pour cela que l’altruisme efficace est indissociable d’une réflexion critique sans cesse renouvelée. Cependant, les causes suivantes apparaissent prometteuses :

• Lutter contre les problèmes de santé de base dans les pays en développement.[4] Environ 10 millions de personnes meurent chaque année à cause de maladies dont la prévention est simple, telle que la diarrhée, le paludisme, ou la tuberculose. Ces maladies ne tuent pratiquement personne dans les pays riches. Il est clairement possible d'améliorer significativement la santé dans les pays en développement, avec des interventions à faible coût dont l'efficacité est prouvée. Par exemple, distribuer des moustiquaires imprégnées d’insecticide en Afrique Sub-Saharienne permet d'empêcher un enfant de mourir du paludisme pour un coût de moins de 3 000 \$[5]. Améliorer la santé crée aussi des opportunités économiques[6]: la maladie ralentit le développement des enfants, augmente fortement l'absentéisme scolaire, et les empêche de réaliser leur potentiel.
• Aider les animaux victimes de l'élevage.[7] Chaque année environ 100 milliards d'animaux sont élevés pour que des humains les mangent : 15 par personne en moyenne[8]. L'écrasante majorité des experts en neurologie animale estiment que les cochons, vaches et poules sont capables de ressentir la souffrance d'une manière similaire aux humains. Malheureusement, ces animaux sont en grande majorité élevés dans des conditions de forte souffrance. Dans les élevages industriels, les poules ont le bec coupé sans anesthésie et sont confinées à de minuscules cages. Les truies mettent bas dans des cages où elles ne peuvent effectuer aucun mouvement, et en France les cochons sont castrés à vif. Parmi les personnes qui travaillent sur cette cause, certains tentent de développer des alternatives aux produits animaux, de convaincre d'autres de devenir végétariens ou véganes, ou d'influencer la réglementation de l’élevage et de l’abattage.
• Contrôler les risques d'échelle mondiale.[9] De nombreux événements pourraient être catastrophiques pour la terre entière : une guerre mondiale, une nouvelle pandémie, le changement climatique, ou des nouvelles technologies à haut risque. Malheureusement, ces risques sont le problème de tous à la fois et la responsabilité de personne en particulier, et sont donc souvent négligés. Pourtant, une telle catastrophe pourrait non seulement causer beaucoup de souffrance, mais aussi réduire le potentiel de l'humanité à long terme. Par ailleurs, certains biais cognitifs nous empêchent d'estimer correctement les risques lorsqu'il s'agit d’événements très rares. Souvent, les électeurs sont très inquiets au sujet de risques peu importants, et n'accordent aucune attention à des risques que les experts considèrent comme extrêmement inquiétants.

# Agir

L’altruisme efficace est intellectuellement ambitieux, mais ne fait pas de la rigueur académique son but final. Si nous prenons ces questions au sérieux, c’est car nos actions en dépendent. Les méthodes de l’altruisme efficace peuvent paraître abstraites, mais les vies des personnes que nous aidons sont pleines de souffrances et de joies réelles. Les personnes engagées dans l’altruisme efficace mettent en pratique leurs projets avec le même enthousiasme qui les pousse à analyser leur plans avec précision. Un grand nombre d’entre eux donnent 10% de leur revenu aux causes qu’ils soutiennent. D’autres ont changé leur carrière en profondeur[10].

# Pour en savoir plus

Le livre Doing Good Better[11] de William MacAskill apporte un traitement plus approfondi des idées centrales de l’altruisme efficace.

# Notes

[4] Pour en savoir plus: GiveWell tente d’identifier les ONG qui aident les habitants des pays en développement le plus efficacement. Les rapports de GiveWell sont accessibles au public et se basent sur plusieurs décennies de recherches rigoureuses dans les domaines de l’économie et de la santé publique.

[7] Pour en savoir plus: Animal Charity Evaluators tente d’identifier les opportunités de dons les plus efficaces pour aider les animaux et étudie certaines questions empiriques et théoriques cruciales pour la cause animale. La fondation Open Philanthropy Project soutient financièrement des projets pour la réduction de souffrance des animaux d’élevage, et donne un accès public aux résultats de ses recherches.

[8] 50 milliards d’animaux terrestres (Organisation des Nations Unies pour l’alimentation et l’agriculture, archive) et environ 80 milliards d’animaux issus de l’aquaculture (A. Mood et P. Brooke, 2012, archive).

[9] Pour en savoir plus: le Future of Humanity Institute à l’Université d’Oxford étudie les questions considérées comme les plus déterminantes pour la trajectoire future de l’humanité. L’article Existential Risk Prevention as Global Priority (Nick Bostrom 2012, Global Policy, archive) est un bon point de départ.

[10] 80000hours.org - voir en bas de page la section “people we’ve helped”.

July 24, 2016