Løgn, forbanna løgn og statistikk

Weight loss was similar between groups…[1]

I forrige post viste jeg til 16 studier der lavkarbo virker bedre enn andre kostholdstyper, i hovedsak sammenlignet med fettrestriksjon. Men det er også gjort studier der det blir konkludert med at lavkarbo ikke er noe bedre enn alternativene. Hva så med disse?

En av disse studiene blir ofte nevnt av dem som er kritisk til lavkarbo [1]. For den konkluderte med at lavkarbo og lavfett gav likt vekttap etter 1år. Men så enkelt er det dessverre ikke. Denne studien hadde en gruppe som ble bedt om å redusere inntaket av karbohydrater og en som ble bedt om å spise mindre fett. Etter 1år var gjennomsnittlig vekttap 5.1kg for lavkarbo og 3.1kg for lavfett. Denne forskjellen er det man i vitenskapen kaller ikke signifikant. Det vil si at vi ikke kan si med sikkerhet at forskjellen i vekttap var på grunn av kostholdet. Men artikkelen sier også at deltakerne i studien som gikk på lavkarbo gradvis økte sitt inntak av karbohydrater og vekttapet deres stoppet gradvis opp. Det betyr i så fall at lavkarbo virket så lenge det faktisk var lavkarbo. I tillegg var det også deltakere som ikke gjennomførte kostholdet de ble bedt om å følge. Dette er vanlig i slike studier, men i denne studien var disse deltakerne likevel med i den endelige analysen. Det betyr at  gjennomsnittstallet på 5,1kg, også inneholder personer som ikke gikk på lavkarbo. 

Hvis man går nærmere inn i datasettet viser det seg at de som falt ut av lavkarbogruppen i gjennomsnitt gikk ned 0.2kg mens de som fullførte (til tross for at de økte inntaket av karbohydrater) gikk ned 7.3kg [2]. Gjennomsnittlig vekttap skulle derfor vært satt til 7,3kg, ikke 5,1kg.

The low-carbohydrate diet produced a greater weight loss (absolute difference, approximately 4 percent) than did the conventional diet for the first six months, but the differences were not significant at one year. [3] 

Også i lavfettgruppen falt deltakere ut av studien. Men det viste seg at det ikke var noen forskjell i vekttap mellom dem som falt ut av lavfettbehandlingen og dem som fullførte denne behandlingen.

Dvel gjerne litt med den siste setningen. Det var akkurat like effektivt å spise mindre fett som å ikke gjøre det. Dette betyr at forskernes konklusjon om at det ikke var forskjell mellom behandlingene etter ett år, i beste fall er misvisende. Man kunne like gjerne konkludert med at lavkarbo gjør at man går ned i vekt så lenge karbohydratrestriksjonen opprettholdes, og at det å spise mindre fett er virkningsløst. Lavkarbo var utvilsomt langt mer effektivt. Minst 2 andre større studier har brukt samme type analysemetode, noe som har ført til en mistolkning av dataene [3,4].

Successful weight loss can be achieved with either a low-fat or low-carbohydrate diet when coupled with behavioral treatment. [5]

For en liten tid tilbake siden kom det ut en ny studie [5] som sammenlignet lavkarbo med lavfett over 2 år. Nok en gang ble det konkludert med likt vekttap i de to gruppene.

Hvis vi går inn i denne artikkelen for å se akkurat hvor stor effekten av å spise mindre karbohydrater var, blir vi raskt skuffet. For det skriver de ikke noe om. De presenterer nemlig dataene som intent to treat data. Det er dette analysemetoden som ble brukt i de overnevnte artiklene kalles. Når man viser data på denne måten, legger man ganske enkelt sammen vekttapet til alle deltakerne og deler på antall deltakere – man finner med andre ord gjennomsnittet. Men i de fleste vitenskapelige studer vil det være deltakere som ikke gjør det de blir bedt om. I en studie med lavkarbokosthold vil det for eksempel nesten alltid være noen som ikke spiser så lite karbohydrater som de blir bedt om.

Når resultatene i studien kommer inn kan man stille to forskjellige spørsmål: 1) hva var effekten av å spise mindre karbohydrater? og 2) hva var effekten av å be deltakerne spise mindre karbohydrater? Svaret på det første får man ved å ta vekk resultatene fra de deltakerne som ikke fulgte rådene som ble gitt. Deretter regner man ut gjennomsnittlig vekttap hos de resterende deltakerne. Svar på spørsmål 2 får vi ved å finne gjennomsnittet til alle deltakerne, enten de gjorde som de ble bedt eller ikke. Det er denne siste metoden som er intent to treat.

Problemet med den overnevnte studien til Gary Foster, er at de bruker intent to treat i en kostholdsstudie. Denne analysemetoden er beregnet på behandlinger der man vil vite hvor lett eller vanskelig behandlingen er å gjennomføre. Hvis man vil vite effekten av å følge en behandling kan man ikke bruke intent to treat.

Så når studien til Foster, der to grupper spiste ulike kosthold over 2 år, kom ut, fikk vi ikke vite hva som virket best. Alle 307 deltakere var med i den endelige analysen. Av de 154 som startet i lavfettgruppen ble resultatet fra 49 av dem ikke registrert etter to år. I lavkarbogruppen var tilsvarende tall 64. Vi vet ikke hvor godt behandlingen virket hos disse 113, men de er inkludert i gjennomsnittet.

Når intent to treat brukes på denne måten, virker det som om forskerne har noe å skjule. Foster og kolleger forsøker å rettferdiggjøre valget av metode gjennom å vise til en slags uforståelig sensitivitetsanalyse, men hvis ikke de hadde noe å skjule kunne de bare gitt oss resultatene, både som effektmål og som intent to treat. Tittelen på tabell 2 i studien sier egentlig alt. For der står det ikke den vanlige «mean change» (gjennomsnittlig endring), men «predicted mean change.»

Det er for så vidt greit at noen av disse forskerne ikke gjør som de burde. De virkelige problemene oppstår når både fagfolk og media skal tolke resultatene i etterkant. «Mindre karbohydrater er ikke mer effektivt enn mindre fett» ville være en naturlig overskrift å se i etterkant av en slik studie. Men det ville vært feil.

Referanser

1. Stern L, Iqbal N, Seshadri P, Chicano KL, Daily DA, McGrory J, Williams M, Gracely EJ, Samaha FF: The effects of low-carbohydrate versus conventional weight loss diets in severely obese adults: one-year follow-up of a randomized trial. Ann Intern Med 2004, 140: 778-785.

2. Feinman RD: Intention-to-treat. What is the question? Nutr Metab (Lond) 2009, 6: 1.

3. Foster GD, Wyatt HR, Hill JO, McGuckin BG, Brill C, Mohammed BS, Szapary PO, Rader DJ, Edman JS, Klein S: A randomized trial of a low-carbohydrate diet for obesity. N Engl J Med 2003, 348: 2082-2090.

4. Shai I, Schwarzfuchs D, Henkin Y, Shahar DR, Witkow S, Greenberg I, Golan R, Fraser D, Bolotin A, Vardi H, Tangi-Rozental O, Zuk-Ramot R, Sarusi B, Brickner D, Schwartz Z, Sheiner E, Marko R, Katorza E, Thiery J, Fiedler GM, Bluher M, Stumvoll M, Stampfer MJ: Weight loss with a low-carbohydrate, Mediterranean, or low-fat diet. N Engl J Med 2008, 359: 229-241.

5. Foster GD, Wyatt HR, Hill JO, Makris AP, Rosenbaum DL, Brill C, Stein RI, Mohammed BS, Miller B, Rader DJ, Zemel B, Wadden TA, Tenhave T, Newcomb CW, Klein S: Weight and metabolic outcomes after 2 years on a low-carbohydrate versus low-fat diet: a randomized trial. Ann Intern Med 2010, 153: 147-157.

Intention to treat – what was the question again?

If you haven’t already heard there is a new low carb study out. It shows similar effects on weight compared to a low fat diet over 2 years, but better HDL results in the low carb arm. It’s a really interesting study, but I’ll leave it to others, like Jimmy to elaborate.

Once again this low carb study is from Gary Foster and colleagues. Foster has previously given us this one. Although containing a lot of interesting data the researchers once again insist on only presenting the data as intention to treat with missing data carried forward.

Statistics is definitely not my strong side, and if I’m way off on this one please show me why. And if there is a stat wiz out there who can tell me why this is the right way to present results, please do.

The researchers did do some sort of sensitivity analysis and tried to justify using the entire sample of 307 participants in the final analysis. But it still does not compare to actually giving us the data on the compliers vs. non compliers. A lot of people dropped out of the study. Of the 154 randomized to the low fat group, 49 was not assessed at 24 months. Of the 153 in the low carb group, 64 were not assessed at 24 months.

Now, intent to treat analysis is a perfectly fair method to use. But it means that the results cannot tell us which dietary approach is the more effective. If we want to know which diet causes the greatest weight loss we must look at the data from the participants that actually followed the diet, and only those. What the results of this recent study tells us, is the effect of being put on a diet as opposed to the effect of following one. Is it really so bloody impossible to include data on compliers vs non compliers? As interesting as it is to know the effect of being put on a diet I for one would also like to know the actual effect of following the diets.

Like many other studies using similar analyses, this one also show a regression to the mean, that is the results differ the most at 6 months and slowly merge into similarity as the low carbers eat more carbs, and the low fat group eat more total energy. Whether this is because of the type of analysis and the increasing number of participants discontinuing the treatment is beyond me.

The title of table 2 of the study says is all really, “Predicted Mean Changes…”. But what about the actual change and the actual effect of following the prescribed diet?

Richard Feinman has written this article, illustrating the trouble with using an intent to treat analysis.
Still, Foster has done a good job and provided interesting data. Looking forward to seeing how this study is going to be received.