どうしても似た記事が出てきちゃって
カニバリ対策するのも大変だよね
これね
カニバリ対策は実は大してやってない
下層ワードだと量的にカニバリ上等でやらないとやってられない
結局1つ上層のキーワードに該当しているページに流してるので
対策と言えば対策になっていると言えなくもないんだけど
もしかしたらそこら辺気にしてガチガチにやってれば
変な変動はしなかったのかもしれないが後の祭り
バッテリーが切れた
今は軽く仮眠して起きたところだけど
ここからは充電しながら書き込む
アフィ引退するので遺書のつもりで俺が得た事を書き残す
長文で訳わからない書き込みかもしれないが
全部書き込んだら消えるので大目に見てくれ
Gを自動でスクレイピングするのはブログラミング界隈では御法度なんだけど
俺はやってた
ただ普通にやるとGに検知されて
普段まともにGのサービスを使えなくなるペナルティを喰らう
これが強烈でGで検索するごとにCAPTCHA認証させられたりする
かなり酷いので普通のプログラミング知識の人は絶対にやらない方がいい
それでもSERPsに知りたい事が詰まってるので
俺の手法をやるなら正直言ってプログラミングは必須になる
でもここにソースを貼る事は流石に出来ないので
プログラミングのコツだけ書いとく
俺は最後まで怖くてヘッドレスブラウザは使えなかった
もちろんPythonスクリプトだけでブラウザ使わないとかは論外
俺はFirefoxを使ってたけど正直言ってSelenium使うのも怖いので使ってない
そこら辺は後述する
・画面遷移する時は必ずリンクをクリックして遷移させる
ページ内のリンクURLを使って遷移しない
必ずブラウザ内でクリックする
・リンクをクリックする時は必ずそのリンクを画面内に出してないといけない
画面内に無い時はリンク位置までスクロールさせてからクリックさせる
・各所にスリープを入れる
毎回ランダムで動作間にスリープ入れてた
・1SERPs辺り30秒ぐらいかける
1分2SERPs
1時間120SERPs
1日2880SERPs
ここは調整の余地ありだが
こんぐらいのペースだとまずバレない
もちろん自動化してクローリング用のパソコンを用意してた
ここら辺が必須事項
最低限上記はやっといた方がいい
ブラウザを動かすのにSeleniumは使ってないんだけど
代わりにブラウザアドオンを作った
全自動モードと半自動モードがあって
半自動だとグーグル検索したら
裏側でSERPsを検知してDBにHTMLを自動保存
全自動だとグーグルで検索すると自動で動いて
関連ワードを辿って指定した階層までの全部のSERPsを収集してDBに保存
数日間動くので最初に検索するだけであとは放置
js書ける人なら解ると思うが簡単なスクリプトなのですぐ作れると思う
>>97にだけ注意すれば意外といける
DBに保存したものは後で好きなように解析すればいい
俺はSERPsに乗ってるページに全部訪問して形態素解析に掛けてた
更にword2vecにかけたりね
まあここら辺は好きに調べたらいいと思う
悩み系ワードの場合は「のんきにyoutube見てるヒマは無い、さっさと結論がほしい」と思うから
そういう人はgoogle検索で文字の情報を見るよね。
どうなんだろな
最近のyoutubeは悩み系に言及してるチャネル増えてきてる気がする
Webほど薬機法に煩くなさそうだしこれからはもっと増えるかも
半自動で自分でブラウザを操作してSERPs見てるだけで
勝手に収集出来る物が出来上がるのでとっても重宝した
次にサジェスト収集
これも自作スクリプトを回してた
こっちはペナ気にしなくても大丈夫
GのAPIにリクエスト投げるだけで取れるので簡単
やってる人も結構いてサンプルスクリプトも出回ってるのですぐ作れる
で、俺の場合はG以外に
Y（検索エンジン）
R（ショッピングサイト）
Y（ショッピングサイト）
Y（動画サイト）
のサジェストも収集してた
俺はサイト作る時に関連ワードで作る派だけど
その際にサジェストは一応目を通してる
ただ、このサジェストって容量馬鹿にならなくて
簡単だからと収集しまくるとけっこう大変なことになる
やりすぎ注意
B（検索エンジン）
もやってた
他と違ってBのサジェストはHTMLで吐き出されるので面倒くさい
でもGの次にまともなサジェスト返してくれる
ライバルの調べ方
もう雑魚アフィリエイターは退場してるのであまり意味はない
まず、ドメイン名とIPアドレスの変換できるサイトとかで
そのドメインのサイトが収容されてるレン鯖のIPを取得する
そのIPアドレスをもってB（検索エンジン）で以下の様に入力する
ip: xxx.xxx.xxx.xxx
xはIPアドレスね
そうするとそのレン鯖に収容されてるサイトが出てくる
ここから似てるサイトを探せばそいつの作ってる他のサイトも見つかる
ただ、現状雑魚アフィリエイターは退場してるし
生き残ってるのはそれなりに勝算があって続けている人なので
レン鯖には金かけてて流用してない人も多い
なのであんまりあてにはならないかも
まあ一応調べ方だけ残しておく
数年前にアフィリエイターが大量に引退したけど
そいつらの持ってたサイトって結構残ってるんだよね
まあドメインは安いから複数年契約してるパターンもあると思うんだけど
意外とまだゴミサイトってネット上に残ってるんだよね
レン鯖どうしてるんだろうか
収益出てないのに残してるんだろか
ほとんど売却されて企業が運営してんだろ
どうなんだろな
でも収益あるからレン鯖残してあるんだとしたら
ちょっと気になる
例えば「iPhone レビュー」で上げたいとしたら、他の記事の「レビュー」って文字にリンク付けるとか
それなんだけど本当は自動でやらないほうがいいと思う
というか俺はやってない
手動で送りたい記事にだけリンク貼ってる
アンカーテキストなんだけど
俺の場合はモロにGて調べた関連ワードを意識して書いてるので
記事タイトルにリンクすれば自然と狙ってるワードが含まれてる
記事中にも自然な形でリンクを登場させられるなら
そうした方がいいかもしれないけど
俺の場合は記事下の関連記事でリンク貼りたいページに堂々と貼ってるので
意識的に記事内にリンクを入れることはないかも
