Modelos de Resposta para Experimentos Randomizados em Redes Sociais de Larga Escala
Resumo
Testes A/B são experimentos randomizados muito utilizados por empresas que oferecem serviços na Web para avaliar o impacto de novas funcionalidades. Durante um experimento, cada usuário é redirecionado aleatoriamente para uma de duas versões do site, chamadas tratamentos. Diversos modelos de resposta foram propostos para descrever o comportamento de um usuário em sites de redes sociais, onde o tratamento atribuído aos seus vizinhos deve ser considerado. Porém, não há consenso sobre qual modelo deve ser aplicado a um conjunto de dados. Neste trabalho, propomos um novo modelo de resposta, derivamos limites teóricos para o erro de estimação de diversos modelos, e obtemos resultados empíricos para o caso de especificação incorreta do modelo.
Referências
Azevedo, F. G., Nogueira, B. D., Murai, F., and da Silva, A. P. C. (2018). Modelos de resposta para experimentos randomizados em redes sociais de larga escala. arXiv:1803.03497.
Backstrom, L. and Kleinberg, J. M. (2011). Network bucket testing. WWW, pages 615–624.
Demidenko, E. (2001). Computational aspects of probit model. Mathematical Communications, 6(2):233–247.
Erhardt, E. B. (2009 (acessado 22 de janeiro de 2017)). Logistic Regression and Newton-Raphson.
Gui, H., Xu, Y., Bhasin, A., and Han, J. (2015). Network A/B Testing: From Sampling to Estimation. WWW, pages 399–409.
Kohavi, R., Deng, A., Frasca, B., Walker, T., Xu, Y., and Pohlmann, N. (2013). Online controlled experiments at large scale. In KDD, pages 1168–1176.
Kohavi, R., Longbotham, R., Sommerfield, D., and Henne, R. M. (2009). Controlled experiments on the web: survey and practical guide. Data mining and knowledge discovery, 18(1):140–181.
Saveski, M., Pouget-Abadie, J., Saint-Jacques, G., Duan, W., Ghosh, S., Xu, Y., and Airoldi, E. M. (2017). Detecting Network Effects. In KDD, pages 1027–1035.
Ugander, J., Karrer, B., Backstrom, L., and Kleinberg, J. (2013). Graph cluster randomization: Network exposure to multiple universes. In KDD, pages 329–337.
Xu, Y., Chen, N., Fernandez, A., Sinno, O., and Bhasin, A. (2015). From infrastructure to culture: A/B testing challenges in large scale social networks. In KDD, pages 2227–2236.
Backstrom, L. and Kleinberg, J. M. (2011). Network bucket testing. WWW, pages 615–624.
Demidenko, E. (2001). Computational aspects of probit model. Mathematical Communications, 6(2):233–247.
Erhardt, E. B. (2009 (acessado 22 de janeiro de 2017)). Logistic Regression and Newton-Raphson.
Gui, H., Xu, Y., Bhasin, A., and Han, J. (2015). Network A/B Testing: From Sampling to Estimation. WWW, pages 399–409.
Kohavi, R., Deng, A., Frasca, B., Walker, T., Xu, Y., and Pohlmann, N. (2013). Online controlled experiments at large scale. In KDD, pages 1168–1176.
Kohavi, R., Longbotham, R., Sommerfield, D., and Henne, R. M. (2009). Controlled experiments on the web: survey and practical guide. Data mining and knowledge discovery, 18(1):140–181.
Saveski, M., Pouget-Abadie, J., Saint-Jacques, G., Duan, W., Ghosh, S., Xu, Y., and Airoldi, E. M. (2017). Detecting Network Effects. In KDD, pages 1027–1035.
Ugander, J., Karrer, B., Backstrom, L., and Kleinberg, J. (2013). Graph cluster randomization: Network exposure to multiple universes. In KDD, pages 329–337.
Xu, Y., Chen, N., Fernandez, A., Sinno, O., and Bhasin, A. (2015). From infrastructure to culture: A/B testing challenges in large scale social networks. In KDD, pages 2227–2236.
Publicado
22/07/2018
Como Citar
AZEVEDO, Francisco Galuppo; NOGUEIRA, Bruno Demattos; MURAI, Fabricio; DA SILVA, Ana Paula Couto.
Modelos de Resposta para Experimentos Randomizados em Redes Sociais de Larga Escala. In: WORKSHOP EM DESEMPENHO DE SISTEMAS COMPUTACIONAIS E DE COMUNICAÇÃO (WPERFORMANCE), 17. , 2018, Natal.
Anais [...].
Porto Alegre: Sociedade Brasileira de Computação,
2018
.
p. 298-303.
ISSN 2595-6167.
DOI: https://doi.org/10.5753/wperformance.2018.3343.
