画像検索タップの利用方法

今回はAutoMainPNGの機能にある画像検索タップの利用方法です。

iPhoneの場合はAutoTouchですが、この画像検索はあまり得意ではないようです。

これも過去の話なので今の最新バージョンではうまく動くかもしれません。

私が確認した時は数時間後にはAutoTouch自体がダウンして使い物にならなかった様な気がします。

基本これらの自動化は何時間も動作し続けてほしいものです。

AndoroidのAnkuLuaは、画像検索が得意と言えます。

検索能力はとても早く全画面を検索してくれますし検索範囲を指定することもできます。（検索範囲を指定する場合はLuaの知識が必要です。）

AutoMainPNGの設定では全画面から検索しますので多少時間がかかりますが、比較的早いと思っています。

今回の題材はツイッターのリツイートボタンです。

自動でスクロールを行いリツイートボタンが画面上にあればリツイートボタンをタップするのですが、そんな簡単ではありません。

なぜならAutoMainPNGのは必ず画面の認識が必要だからです。

今回は説明を動画を見て確認していただくのですが、動作の基本手順を考えながら見てください。

設定するためには次のことを考えます。

１．リツイートボタンをタップするときの基準画面

２．リツイートボタンをタップしたときに基準画面に変化があるか？

今回はこの2点を考えながら作る必要があります。

また、自動スクロールを入れると少し手順が増えて動画自体が長くなりがちなのでツイッター画面のスクロールは手動で行います。

では動画では音声はありませんので、文章で説明していきます。

ーー動画内の説明文ーー

今回はツイッターの画面にあるリツイートボタンを画像から認識してタップする動作
基本はリツイートボタンをタップするときの基本画面に認識
リツイートをタップしたときの基本画面の変化を考えます。

下へスクロールした場合基本ボタンが消えます。
上は基本ボタンが出現する。この基本ボタンを基本画面にする必要があるため
一度下へ可能な限りスクロールした後で上へスクロールしながらリツイートボタンをタップする
ボタン表示しているところでスクショとります。
これをAUTOMAINPNGに入れます。

このアイコンが表示されているときに画面にリツイートボタンがあれば
タップする動作にします。
今回リツイートボタンが無いのでこの画面は却下です（泣
リツイートの画像を取得します。白黒で保存します。
できる限り取得する画像は小さくします。グレーで保存します。
もともとグレーですが、カラーの場合もグレーで保存して大丈夫です。
モードを元に戻します。このアイコンが表示されているときにリツイートボタンがあれば
タップする仕組みにします。タップ場所を適当に決めましたが、タップを除外のため
タップキャンセルを入れます。順序は特にかまいません。
このPNGNo　00001に画像検索タップを入れます。
これで完成です。リツイートをタップすると下段のアイコンが吹き出しにより消えるため
00001は動作しなくなります。
ではスクリプトを作成します。
スクリプトとimageフォルダーは対です。移動ではなくコピーで入れます。
AnkuLUAをデーモン機能をONにします。
ではスタートします。
メールアイコンがありますが、タップはキャンセルしているため画像検索タップのみ
動作しています。しかし、リツイートアイコンが無いためこれ以上の動作はしません。

リツイートアイコンを出します。
リツイートアイコンをクリックしました。今回スクロールは手動で行いましたが、児童にすることも可能です。
リツイートボタンをタップしたことで吹き出しが出てメールアイコンの認識が切れました。
次にリポストするか引用にするか画面認識で処理します。

今回は画像検索タップのみなのでこれで終了します。

ーーーーー　完了　ーーーーー

いかがでしょう？

それほど難しくは無いかと思います。

基準画面を認識する

この基準画面の時に動作させるスクリプトを記述する

タップをキャンセルする必要はあるか？

タップをキャンセルしない場合は動作させるスクリプトはタップの前に行うか？

それともタップの後にスクリプトを行うか？

今回の動画ではタップをキャンセルしていますが、リポストに合わせてタップを登録してすることで

一連の動作を一度に登録しておくことができます。

また、リツイートをタップ後にすぐタップして動作が不安定な場合はウエイトを入れると良いこともあります。

AnkuLuaはウエイトの設定時間は1秒単位です。それよりも早い設定はできません。

AutoTouchは0.1秒から設定可能です。ここも注意点ですね！

一番はLuaスクリプトを勉強するといろいろスクリプト自体を修正できるので、基本画面の認識を無視して自動化することも可能なのですが

覚えるのはハードルが高いですよね！

それにしても、プログラム言語が多すぎです。最近はPythonですか・・・・

基本プログラムはどれも同じなのでABSICから始めることをお勧めします。