Aynı zaman diliminde farklı tedaviler almış bulunan aşikar şekilde benzer hasta gruplarını karşılaştırmak

Aynı zaman diliminde farklı tedaviler almış bulunan aşikar şekilde benzer hasta gruplarının deneyimlerini ve sonuçlarını karşılaştırma hala tedavilerin etkinliklerini değerlendirmede bir yol olarak kullanılmaktadır. Anck bu yaklaşım da ciddi şekilde yanıltıcı olabilir. “Geçmişten kontroller” kullanarak karşılaştırma yapmakla ilgili itiraz; geçerli bir karşılaştırmanın yapılabilmesi için farklı tedavileri alan hasta gruplarının tedaviye başlamadan önce yeterince benzer olup olmadıkları – başka bir deyişle benzerlerin benzerlerle karşılaştırılıp karşılaştırılmadığıdır. Araştırmacılar “geçmişten kontroller”le ilgili benzerlerin benzerlerle karşılaştırılmasını garantiye almaya çalışmak için istatistik ayarlamalar veya analizler kullanabilirler ama karşılaştırma gruplarındaki hastaların sadece ilgili özellikleri kayıt altına alınmıştır ve dikkate alınır. Bu nedenle nadiren karşılandığı için bu analizler çok her zaman çok dikkatle göz önüne alınmalıdır. Bunlara inanmak büyük trajedilere yol açabilir.
Bir etkili örnek hormon replasman tedavisidir (HRT). Menopoz sırasında veya sonrasında HRT kullanmış kadınlar bunu kullanmamış görünüşte benzer kadınlarla karşılaştırılmıştır. Bu karşılaştırmalar HRT’nin kalp krizi ve inme riskini azalttığı fikrini vermektedir ki bu doğru ise çok iyi karşılanılacak bir haberdir. Ama ne yazık ki olmadı. Karşılaştırılan grupların tedavi başlamadan önce benzer olmasını garantileyecek şekilde tasarlanmış izleyen çalışmalar HRT’nin tam tersine bir etkisi olduğunu- kalp krizi ve inmeyi arttırdığını gösterdi.

[ Subsequent comparisons, which were designed before treatment started to ensure that the comparison groups would be alike, showed that HRT had exactly the opposite effect – it actually increased heart attacks and strokes. ]

Bu durumda, kalp krizi ve inme oranlarındaki aşikar farklar HRT kullanan kadınların genel olarak kullanmayanlara göre daha sağlıklı olmasına bağlı idi- HRT’ye bağlı değildi. Benzerlerin benzerlerle karşılaştırılmasını garantilemeyen çalışmalar onbinlerce kişiye zarar vermekle sonuçlanabilir.
HRT deneyiminin de işaret ettiği gibi benzerlerin benzerle karşılaştırıldığını garantilemenin en iyi yolu karşılaştırma gruplarını tedaviye başlamadan önce toplamaktır. Gruplar sadece yaş, hastalığın ciddiyeti gibi bilinen ve ölçülen faktörler açısından değil, diyet, meslek ve diğer sosyal faktörler veya hastalıkla ilgili endişeler veya teklif edilen tedaviler gibi iyileşmeyi etkileyen ölçülemeyen faktörler açısından da benzer hastalardan oluşmalıdır. Eğer tedavi başladıktan sonra toplanmışsa tedavi gruplarının benzer olduğundan emin olmak her zaman güçtür- aslında çoğunlukla imkansızdır.
Bundan sonraki kritik soru şudur, sonuçlardaki farklılıklar, tedavilerin etkilerindeki farklar mı yoksa karşılaştırma gruplarındaki hastaların farklılıklarını mı yansıtmaktadır.