語源的にもそうですし、高校生以上レベルくらいの英和辞書でも、何番目くらいだったかわかりませんが、「気晴らし・楽しみ」という意味が掲載されてたように記憶しています。
英語圏ではそちらの意味合いが日本で感じてるよりも強いのかもしれませんね。
スクラブルの対戦はおもしろそうですね。勉強にもなりそう。初級レベルでいいので見てみたいです。