大丈夫ですよ。それは多くのマジシャンが一度は悩む問題です。時間と経験を重ね、他のマジシャンの演技を見ていく中で、私は誰もがこの問題に直面すること、そしてそれを解決するためのアプローチがいくつかあることに気づきました。

まず第一に、そもそもそれを「起こさせない」ことです。そのためにできることはいくつかあります。すでに他の方も言っているように、信頼関係を築いたり、少し厄介な観客を牽制したりするために、まずはセルフワーキング・マジックから始めるのが一つの手です。他にとても効果的な方法としては、例えばデックを徹底的にシャッフルしてもらえるようなインプロンプチュ（即興）のマジックから始めることです。マジックの前や最中に「もっともっと混ぜてください（部分的にでも構いません）」としつこいくらいに促し、それを何度も強調するのも良いでしょう。「カード・シャッフル協会を立ち上げましょう！」といったジョークを挟むのも効果的です。その後、適切なタイミングでそのことに触れれば、観客は「もう十分にシャッフルした」と感じるようになります。観客がシャッフルに飽きてしまえば、後から「シャッフルさせて」と言ってくる確率は最小限に抑えられます。こちらから「混ぜますか？」と聞いても、「いや、もう十分混ざっているから大丈夫だよ」と言われるようになるはずです。
別の方法としては、トップに簡単な仕込み（スタック）を維持したままシャッフルさせるマジックから始めることです。これには非常に巧妙なテクニックがあり、観客がいくら混ぜても、結果的に同じ状態（必要なコントロールができた状態）に持っていくことができます。そうすれば、本当にコントロールが必要なマジックをやる頃には、誰も野暮なツッコミ（「混ぜさせて」と言うこと）をしなくなります。
いわゆる「事前対策」としては、一度シャッフルさせてからデックスイッチ（デックのすり替え）を行う方法もあります。あるいは、2枚のデックを使うマジックで、片方はシャッフルさせずにもう片方だけ混ぜさせることで、全体が混ざったような錯覚を与える方法もあります。観客はシャッフルすることに飽き、また空気を壊すのを遠慮して、それ以上シャッフルを要求しなくなるものです。

もう一つの優れたアプローチは、そうした状況になる隙を与えないことです。カードを選ばせて戻すという動作を、セリフ（プレゼンテーション）の流れを止めずに行うような構成にすれば、観客はトークを遮らないよう自然にその動作を受け入れ、「シャッフルさせて」と口を挟む余裕はなくなります。
万が一、そう言われてしまった場合の対策としても、非常に素晴らしい方法が2つあります。これは（ファン・）タマリッツや（フアン・）マタスのような一流マジシャンたちも実際にやっていることです。
一つは、ごく自然にデックを渡して「もちろん、どうぞ！」とシャッフルさせることです。「ちょうど今混ぜてもらおうと思ってたんですよ。どうして分かったんですか？ もしかしてあなたもマジシャンですか？」といったジョークを交えつつ、堂々とデックを渡して「選んだカードだけは絶対に忘れないでくださいね。後でとても重要になりますから」と念を押します。そして別のマジックに進み、その場を解決してしまいます。その後、タイミングを見計らって「さて、いよいよ先ほどのカードの出番です。何でしたか？」とカードを尋ね、デックから堂々とそのカードを抜き出して、サンドイッチカードやカザドーラス（探索カード）のようなマジックを行います。これで万事解決です。観客はあなたが元々そのカードで何をしようとしていたかを知りませんし、「コントロールに失敗した」などとは夢にも思いません。
また、後回しにせず、その場ですぐにこの選択肢（アウト）に移行することもできます。例えば、「重要なのは選ばれたカード自体ではありません。何のカードでもいいんです。教えてください、大丈夫、私には分かっていますから。本当に重要なのは、この絵札（キング）たちが何をするかです」といったセリフを言い、そのままカザドーラスなどの別の現象に繋げます。
こうした「急なルート変更（アウト）」は、多くのマジシャンがレパートリーに入れている強力な武器であり、この手の状況で最も効果を発揮します。下手にパームなどのテクニックに頼るよりも遥かに安全です。十分なカバー（ミスディレクション）がない状態でのパームは、命綱なしで綱渡りをするようなものです。万が一バレてしまえば（単発のテクニックとして行う場合、そのリスクは非常に高いです）、その日の演技は完全に台無しになります。観客は一気に「疑いモード」に入ってしまうからです。しかし、選ばれて戻されたカードを使ってあなたが何を企んでいたかは、あなたしか知りません。ルートを変更し、大したことではないように見せかけ、何事もなかったかのように素晴らしい魔法を続けていけば良いのです。

もしかして、まだ初心者の方でしょうか。というのも、これは私も駆け出しの頃によく抱いていた疑問だからです。実のところ、パームは決して簡単な技法ではありませんし、もし見破られてしまったら、さらに厄介な事態になりかねません。

観客の中に少し厄介な人がいるなと感じたときは、まずはセルフワーキング・マジックを数個演じるか、あるいはトリックデックを使って演技をスタートさせるのがおすすめです。そうすれば観客の警戒心もほぐれますし、あなた自身も自信を持って演技を進められるようになります。

@Anonimous_zombie さん、こんにちは！

もしご自身で「観客のカードをコントロール」できているなら、もう終わったも同然です。😊

例えば（一番シンプルな例）：

トップかボトムにコントロールし、パーム（カードを好きなところへ持っていきます）したらデックを渡し、好きなだけシャッフルしてもらい、戻ってきたらカードを再び元の位置に戻します。

これだけでOK、他には何もいりません。😉

それでは、良いマジックを！！！