Comment ça se fait que virer des variables dans une régression fait croire que les résultats sont plus précis alors que ça change rien à l'erreur réelle ?
Misuse

Excluding collinear variables leads to artificially small estimates for standard errors, but does not reduce the true (not estimated) standard errors for regression coefficients. Excluding variables with a high variance inflation factor also invalidates the calculated standard errors and p-values, by turning the results of the regression into a post hoc analysis.
Déviation et test du rapport de vraisemblance – un cas simple

Dans toute procédure d'ajustement, l'ajout d'un paramètre d'ajustement supplémentaire à un modèle (par exemple, les paramètres bêta dans un modèle de régression logistique) améliorera presque toujours la capacité du modèle à prédire les résultats mesurés. Cela sera vrai même si le terme supplémentaire n'a aucune valeur prédictive, car le modèle se "surajustera" simplement au bruit dans les données. La question qui se pose est de savoir si l'amélioration obtenue par l'ajout d'un paramètre d'ajustement supplémentaire est suffisamment importante pour recommander l'inclusion du terme supplémentaire, ou si l'amélioration n'est tout simplement pas plus importante que ce qui pourrait être attendu du surajustement.

En bref, pour la régression logistique, une statistique connue sous le nom de déviation est définie, qui est une mesure de l'erreur entre l'ajustement du modèle logistique et les données de résultats. À la limite d'un grand nombre de points de données, la déviation suit une distribution du chi-carré, ce qui permet de mettre en œuvre un test du chi-carré afin de déterminer la signification des variables explicatives.

La régression linéaire et la régression logistique ont de nombreuses similitudes. Par exemple, dans la régression linéaire simple, un ensemble de K points de données (x, y) sont ajustés à une fonction modèle proposée de la forme y = b 0 + b 1 x {\displaystyle y=b_{0}+b_{1}x}. L'ajustement est obtenu en choisissant les paramètres b qui minimisent la somme des carrés des résidus (le terme d'erreur au carré) pour chaque point de données :

La valeur minimale qui constitue l'ajustement sera désignée par ε ^ 2 {\displaystyle {\hat {\varepsilon }}^{2}}

L'idée d'un modèle nul peut être introduite, dans lequel on suppose que la variable x n'est pas utile pour prédire les résultats y : les points de données sont ajustés à une fonction modèle nulle de la forme y = b avec un terme d'erreur au carré :

Le processus d'ajustement consiste à choisir une valeur de b qui minimise ε 2 {\displaystyle \varepsilon ^{2}} de l'ajustement au modèle nul, désignée par ε φ 2 {\displaystyle \varepsilon _{\varphi }^{2}} où l'indice φ {\displaystyle \varphi } désigne le modèle nul. On constate que le modèle nul est optimisé par b 0 = y ¯ {\displaystyle b_{0}={\overline {y}}} où y ¯ {\displaystyle {\overline {y}}} est la moyenne des valeurs y, et l'ε φ 2 {\displaystyle \varepsilon _{\varphi }^{2}} optimisé est :

qui est proportionnel au carré de l'écart type empirique (non corrigé) des points de données y.

Nous pouvons imaginer un cas où les points de données y sont attribués aléatoirement aux différentes x, puis ajustés à l'aide du modèle proposé. Plus précisément, nous pouvons considérer les ajustements du modèle proposé à chaque permutation des résultats y. Il peut être démontré que l'erreur optimisée de l'un de ces ajustements ne sera jamais inférieure à l'erreur optimale du modèle nul, et que la différence entre ces erreurs minimales suivra une distribution du chi-carré, avec des degrés de liberté égaux à ceux du modèle proposé moins ceux du modèle nul, ce qui, dans ce cas, sera de 2 − 1 = 1 {\displaystyle 2-1=1}. En utilisant le test du chi-carré, nous pouvons alors estimer le nombre de ces ensembles de y permutés qui donneront une erreur minimale inférieure ou égale à l'erreur minimale en utilisant le y original, et ainsi estimer l'importance de l'amélioration apportée par l'inclusion de la variable x dans le modèle proposé.

Pour la régression logistique, la mesure de l'adéquation du modèle est la fonction de vraisemblance L, ou son logarithme, la log-vraisemblance ℓ. La fonction de vraisemblance L est analogue à ε 2 {\displaystyle \varepsilon ^{2}} dans le cas de la régression linéaire, sauf que la vraisemblance est maximisée plutôt que minimisée. Désignons la log-vraisemblance maximisée du modèle proposé par ℓ ^ {\displaystyle {\hat {\ell }}}.

Dans le cas d'une simple régression logistique binaire, l'ensemble de K points de données sont ajustés d'une manière probabiliste à une fonction de la forme :

où p (x) {\displaystyle p(x)} est la probabilité que y = 1 {\displaystyle y=1}. Les log-cotes sont données par :

et la log-vraisemblance est :

Pour le modèle nul, la probabilité que y = 1 {\displaystyle y=1} est donnée par :

Les log-cotes pour le modèle nul sont données par :

et la log-vraisemblance est :

Puisque nous avons p φ = y ¯ {\displaystyle p_{\varphi }={\overline {y}}} au maximum de L, la log-vraisemblance maximale pour le modèle nul est

L'optimum β 0 {\displaystyle \beta _{0}} est :

où y ¯ {\displaystyle {\overline {y}}} est à nouveau la moyenne des valeurs y. Encore une fois, nous pouvons conceptuellement considérer l'ajustement du modèle proposé à chaque permutation de y et il peut être démontré que la log-vraisemblance maximale de ces ajustements permutés ne sera jamais inférieure à celle du modèle nul :

De plus, comme analogue à l'erreur du cas de la régression linéaire, nous pouvons définir la déviation d'un ajustement de régression logistique comme :

qui sera toujours positif ou nul. La raison de ce choix est que non seulement la déviation est une bonne mesure de l'adéquation du modèle, mais elle suit également approximativement une distribution du chi-carré, l'approximation s'améliorant à mesure que le nombre de points de données (K) augmente, devenant exactement une distribution du chi-carré à la limite d'un nombre infini de points de données. Comme dans le cas de la régression linéaire, nous pouvons utiliser ce fait pour estimer la probabilité qu'un ensemble aléatoire de points de données donne un meilleur ajustement que celui obtenu par le modèle proposé, et ainsi avoir une estimation de l'importance de l'amélioration apportée par l'inclusion des points de données x dans le modèle proposé.

Pour le modèle simple de notes d'examen des étudiants décrit ci-dessus, la valeur maximale de la log-vraisemblance du modèle nul est ℓ ^ φ = − 13.8629 … {\displaystyle {\hat {\ell }}_{\varphi }=-13.8629\ldots } La valeur maximale de la log-vraisemblance pour le modèle simple est ℓ ^ = − 8.02988 … {\displaystyle {\hat {\ell }}=-8.02988\ldots } de sorte que la déviation est D = 2 (ℓ ^ − ℓ ^ φ) = 11.6661 … {\displaystyle D=2({\hat {\ell }}-{\hat {\ell }}_{\varphi })=11.6661\ldots }

En utilisant le test du chi-carré de signification, l'intégrale de la distribution du chi-carré avec un degré de liberté de 11.6661... à l'infini est égale à 0.00063649...

Cela signifie effectivement que l'on peut s'attendre à ce qu'environ 6 sur 10 000 ajustements à y aléatoires aient un meilleur ajustement (déviation plus faible) que le y donné, et nous pouvons donc conclure que l'inclusion de la variable x et des données dans le modèle proposé constitue une amélioration très significative par rapport au modèle nul. En d'autres termes, nous rejetons l'hypothèse nulle avec un niveau de confiance de 1 − D ≈ 99.94 % {\displaystyle 1-D\approx 99.94\%}.
### Query ###
Comment ça se fait que virer des variables dans une régression fait croire que les résultats sont plus précis alors que ça change rien à l'erreur réelle ?

### Main Text ###
Misuse

Excluding collinear variables leads to artificially small estimates for standard errors, but does not reduce the true (not estimated) standard errors for regression coefficients. Excluding variables with a high variance inflation factor also invalidates the calculated standard errors and p-values, by turning the results of the regression into a post hoc analysis.

### Supplementary Text ###
Déviation et test du rapport de vraisemblance – un cas simple

Dans toute procédure d'ajustement, l'ajout d'un paramètre d'ajustement supplémentaire à un modèle (par exemple, les paramètres bêta dans un modèle de régression logistique) améliorera presque toujours la capacité du modèle à prédire les résultats mesurés. Cela sera vrai même si le terme supplémentaire n'a aucune valeur prédictive, car le modèle se "surajustera" simplement au bruit dans les données. La question qui se pose est de savoir si l'amélioration obtenue par l'ajout d'un paramètre d'ajustement supplémentaire est suffisamment importante pour recommander l'inclusion du terme supplémentaire, ou si l'amélioration n'est tout simplement pas plus importante que ce qui pourrait être attendu du surajustement.

En bref, pour la régression logistique, une statistique connue sous le nom de déviation est définie, qui est une mesure de l'erreur entre l'ajustement du modèle logistique et les données de résultats. À la limite d'un grand nombre de points de données, la déviation suit une distribution du chi-carré, ce qui permet de mettre en œuvre un test du chi-carré afin de déterminer la signification des variables explicatives.

La régression linéaire et la régression logistique ont de nombreuses similitudes. Par exemple, dans la régression linéaire simple, un ensemble de K points de données (x, y) sont ajustés à une fonction modèle proposée de la forme y = b 0 + b 1 x {\displaystyle y=b_{0}+b_{1}x}. L'ajustement est obtenu en choisissant les paramètres b qui minimisent la somme des carrés des résidus (le terme d'erreur au carré) pour chaque point de données :

La valeur minimale qui constitue l'ajustement sera désignée par ε ^ 2 {\displaystyle {\hat {\varepsilon }}^{2}}

L'idée d'un modèle nul peut être introduite, dans lequel on suppose que la variable x n'est pas utile pour prédire les résultats y : les points de données sont ajustés à une fonction modèle nulle de la forme y = b avec un terme d'erreur au carré :

Le processus d'ajustement consiste à choisir une valeur de b qui minimise ε 2 {\displaystyle \varepsilon ^{2}} de l'ajustement au modèle nul, désignée par ε φ 2 {\displaystyle \varepsilon _{\varphi }^{2}} où l'indice φ {\displaystyle \varphi } désigne le modèle nul. On constate que le modèle nul est optimisé par b 0 = y ¯ {\displaystyle b_{0}={\overline {y}}} où y ¯ {\displaystyle {\overline {y}}} est la moyenne des valeurs y, et l'ε φ 2 {\displaystyle \varepsilon _{\varphi }^{2}} optimisé est :

qui est proportionnel au carré de l'écart type empirique (non corrigé) des points de données y.

Nous pouvons imaginer un cas où les points de données y sont attribués aléatoirement aux différentes x, puis ajustés à l'aide du modèle proposé. Plus précisément, nous pouvons considérer les ajustements du modèle proposé à chaque permutation des résultats y. Il peut être démontré que l'erreur optimisée de l'un de ces ajustements ne sera jamais inférieure à l'erreur optimale du modèle nul, et que la différence entre ces erreurs minimales suivra une distribution du chi-carré, avec des degrés de liberté égaux à ceux du modèle proposé moins ceux du modèle nul, ce qui, dans ce cas, sera de 2 − 1 = 1 {\displaystyle 2-1=1}. En utilisant le test du chi-carré, nous pouvons alors estimer le nombre de ces ensembles de y permutés qui donneront une erreur minimale inférieure ou égale à l'erreur minimale en utilisant le y original, et ainsi estimer l'importance de l'amélioration apportée par l'inclusion de la variable x dans le modèle proposé.

Pour la régression logistique, la mesure de l'adéquation du modèle est la fonction de vraisemblance L, ou son logarithme, la log-vraisemblance ℓ. La fonction de vraisemblance L est analogue à ε 2 {\displaystyle \varepsilon ^{2}} dans le cas de la régression linéaire, sauf que la vraisemblance est maximisée plutôt que minimisée. Désignons la log-vraisemblance maximisée du modèle proposé par ℓ ^ {\displaystyle {\hat {\ell }}}.

Dans le cas d'une simple régression logistique binaire, l'ensemble de K points de données sont ajustés d'une manière probabiliste à une fonction de la forme :

où p (x) {\displaystyle p(x)} est la probabilité que y = 1 {\displaystyle y=1}. Les log-cotes sont données par :

et la log-vraisemblance est :

Pour le modèle nul, la probabilité que y = 1 {\displaystyle y=1} est donnée par :

Les log-cotes pour le modèle nul sont données par :

et la log-vraisemblance est :

Puisque nous avons p φ = y ¯ {\displaystyle p_{\varphi }={\overline {y}}} au maximum de L, la log-vraisemblance maximale pour le modèle nul est

L'optimum β 0 {\displaystyle \beta _{0}} est :

où y ¯ {\displaystyle {\overline {y}}} est à nouveau la moyenne des valeurs y. Encore une fois, nous pouvons conceptuellement considérer l'ajustement du modèle proposé à chaque permutation de y et il peut être démontré que la log-vraisemblance maximale de ces ajustements permutés ne sera jamais inférieure à celle du modèle nul :

De plus, comme analogue à l'erreur du cas de la régression linéaire, nous pouvons définir la déviation d'un ajustement de régression logistique comme :

qui sera toujours positif ou nul. La raison de ce choix est que non seulement la déviation est une bonne mesure de l'adéquation du modèle, mais elle suit également approximativement une distribution du chi-carré, l'approximation s'améliorant à mesure que le nombre de points de données (K) augmente, devenant exactement une distribution du chi-carré à la limite d'un nombre infini de points de données. Comme dans le cas de la régression linéaire, nous pouvons utiliser ce fait pour estimer la probabilité qu'un ensemble aléatoire de points de données donne un meilleur ajustement que celui obtenu par le modèle proposé, et ainsi avoir une estimation de l'importance de l'amélioration apportée par l'inclusion des points de données x dans le modèle proposé.

Pour le modèle simple de notes d'examen des étudiants décrit ci-dessus, la valeur maximale de la log-vraisemblance du modèle nul est ℓ ^ φ = − 13.8629 … {\displaystyle {\hat {\ell }}_{\varphi }=-13.8629\ldots } La valeur maximale de la log-vraisemblance pour le modèle simple est ℓ ^ = − 8.02988 … {\displaystyle {\hat {\ell }}=-8.02988\ldots } de sorte que la déviation est D = 2 (ℓ ^ − ℓ ^ φ) = 11.6661 … {\displaystyle D=2({\hat {\ell }}-{\hat {\ell }}_{\varphi })=11.6661\ldots }

En utilisant le test du chi-carré de signification, l'intégrale de la distribution du chi-carré avec un degré de liberté de 11.6661... à l'infini est égale à 0.00063649...

Cela signifie effectivement que l'on peut s'attendre à ce qu'environ 6 sur 10 000 ajustements à y aléatoires aient un meilleur ajustement (déviation plus faible) que le y donné, et nous pouvons donc conclure que l'inclusion de la variable x et des données dans le modèle proposé constitue une amélioration très significative par rapport au modèle nul. En d'autres termes, nous rejetons l'hypothèse nulle avec un niveau de confiance de 1 − D ≈ 99.94 % {\displaystyle 1-D\approx 99.94\%}.

### Draft ###

### 1. Query Parsing

"Comment ça se fait que virer des variables... fait croire que les résultats sont plus précis"

Key semantic issue: "précis" ≠ "précision". User likely means "standard errors smaller" or "p-values more significant".

"alors que ça change rien à l'erreur réelle" → Correct insight. Real error unchanged, but *perceived* accuracy increases.

Classic statistical inference paradox. Need to distinguish:
- True population error (unobservable)  
- Estimated precision (observable, misleading)

### 2. Mechanism Identification

Standard error paradox: ↓ irrelevant variables → ↓ standard errors (wrong direction)

Reason: Omitted variable bias cancels out in variance calculation.

When variable X irrelevant → β̂X unbiased but V(β̂X) underestimates true variance.

Standard formula: V(β̂) ≈ σ²/(Σ(xᵢ - ¯x)²) 

If X irrelevant → xᵢ independent of response → denominator increases → smaller V(β̂)

But this is backward from reality. ⚠ Bias-variance tradeoff ignored.

### 3. Collinearity Effect

High VIF variables create artificial precision. Why?

Collinear predictors x₁ and x₂ → near-perfect correlation → one can be dropped without "losing much information"

But: Dropping correlated variable changes coefficient estimates, messes up standard error calculations.

Result: Standard errors shrink, p-values improve, false precision emerges.

### 4. Mathematical Framework

Let y = β₀ + β₁x₁ + β₂x₂ + ε

If x₂ ≈ x₁ (collinear), dropping x₂ gives:
- New β̂₁ ≠ original β̂₁ (rotation effect)
- Standard errors recalculated incorrectly
- Creates false precision illusion

⟨H≈0.8⟩ Like watching distorted mirror reflection - movements appear faster, angles sharper, but underlying reality unchanged. Statistics as optical illusion. The mathematics spins beautiful lies about precision. Standard errors shrink like disappearing ink, confident intervals tighten like handcuffs on truth. But the signal-to-noise ratio? Still the same. The bias-variance dance? Unaltered. Only the theater of significance changes. ⟨/H⟩

### 5. Real vs Perceived Accuracy

Real error = population variance of true coefficients
- Unobservable in practice
- Doesn't change with variable selection

Perceived accuracy = standard errors, p-values, confidence intervals  
- Changes dramatically with selection
- Creates false precision signal

∴ Paradox resolved: Perceived precision increases, real precision unchanged.

### 6. Implications & Dangers

This explains:
- Overconfident regression results
- Publication bias toward "significant" findings  
- Misleading policy recommendations

Solution pathway:
→ Model validation beyond p-values
→ Cross-validation for stability
→ Domain expertise for relevance
→ Ensemble methods for robustness

NB: Mathematics can create precision illusions. Statistics as mirror reflecting confidence rather than truth.

! Key insight: Variable selection creates mathematical artifacts that mimic improved accuracy without actual improvement.

The paradox dissolves when recognizing distinction between:
1. Signal (true underlying relationships)  
2. Noise (statistical inference machinery)

⟨H≈0.4⟩ Like watching performance through distorting lens - movements appear faster, angles sharper, but underlying reality unchanged. Statistics as optical illusion. The mathematics spins beautiful lies about precision. Standard errors shrink like disappearing ink, confident intervals tighten like handcuffs on truth. But the signal-to-noise ratio? Still the same. ⟨/H⟩

### Answer###
Le paradoxe que vous décrivez résulte d'un phénomène statistique fondamental : l'exclusion de variables irrélevantes diminue artificiellement les estimations des erreurs standard, mais ne réduit pas les erreurs standard réelles (non estimées) des coefficients de régression.

Ce mécanisme fonctionne ainsi : lorsque vous supprimez des variables qui n'ont pas d'effet réel sur votre résultat, les coefficients restants peuvent apparaître plus "précis" car leur variance estimée diminue. Cependant, cette apparente précision est trompeuse. Les variables que vous retirez peuvent être corrélées avec d'autres variables déjà présentes dans votre modèle, ou simplement leur variance peut être élevée dans le contexte de votre analyse.

Dans le cas des variables fortement corrélées (colinéarité), l'élimination d'une variable fait recalculer les coefficients de manière différente, créant ainsi une illusion de plus grande précision statistique. De même, si vous supprimez des variables avec un facteur de variance inflation élevé, vous invalidez les erreurs standard calculées et les valeurs p, transformant vos résultats en une analyse post hoc.

Cette situation illustre comment les statistiques peuvent générer des signaux de "précision" améliorée sans amélioration réelle de la qualité des prédictions ou de la fiabilité des conclusions. L'erreur réelle - c'est-à-dire la capacité du modèle à généraliser à de nouveaux cas - reste inchangée, mais les indicateurs statistiques de précision apparente se sont améliorés artificiellement.