2005-10-20 アーカイブ

http://hxxk.jp/2005/10/20/

はてなブックマークだってブックマーカが作る検索エンジンのようなもの

記事データ

投稿者

望月真琴

投稿日時

2005-10-20T20:05+09:00

タグ
概要

乱暴に言ってしまえばはてなブックマークだって検索エンジンのようなものですし、はてなスタッフはそう考えてはいないとしても、 robots.txt は検索エンジンだけが主な対象というわけではないので、 robots.txt による制御を受け付けないという根拠にはならないと思います。

リプライ

15 件のリプライがあります。

記事本文

無断リンク禁止という寝言はともかく、 robots.txt や <meta name="robots"> については解釈しても良いのでは

はてなブックマークの利用拡大に伴い、「はてなブックマークへの登録は無断リンクである」「robots.txtの設置により検索エンジンに表示されないようにも対策をしている」などの理由でウェブページ管理者からリンク削除のお問い合わせを頂くようになりました。 という件について、はてな側が考えているスタンスについて述べられています。

特に認証等を行わずに公開されているリソースについてリンクを行うことは、制限されるべきことではなく自由であるというのは WWW においては常識とも言えることですし、どうしてもはてなブックマークからのリンクを拒否をしたいなら 221.186.146.26 ( 現在のはてなブックマークサーバの IP アドレス ) を拒否すれば良い、というのも納得できます。 はてなブックマーク日記 - エントリーページへの概要掲載についてで紹介されている <meta name="Hatena::Bookmark" content="noindex"> という指定をした上で、ブックマークサーバからのアクセスを拒否すれば、ブックマーク行為自体を無効化することとほぼ同等の効果を得られるでしょう。

しかし、 robots.txtやmetaタグの設置は主に検索エンジンを対象としたものであり、ソーシャルブックマークシステムを対象とするものではないと考えている というのはちょっと解釈としておかしいなと思いました。 検索エンジンのロボットと、 Hatena Bookmark/0.1 という UA 名を名乗るシステムはどう違うの ? Web ページの内容を取得して、その内容をインデックス化して情報を提供するという点で変わりはないのでは ? と。

The Web Robots FAQ - What other kinds of robots are there? に、次のような記述があります。

Robots can be used for a number of purposes:

  • Indexing
  • HTML validation
  • Link validation
  • "What's New" monitoring
  • Mirroring

このように、 robots.txt にて制御されることになるであろう対象のロボットとは、検索エンジンだけでは無いということが分かります。 The W3C Markup Validation Service のような Validator もロボットですし、 WWWCはてなアンテナなどの更新情報をモニタリングするものもロボットですし、 Web ページの内容をミラーリングするものもロボットです。 そして、はてなブックマークは概要とはいえ、ブックマーク先のページの内容をミラーリングしている、という解釈になるのではないでしょうか ? また、仮に概要掲載が撤廃されたとしても、ブックマークが一覧で表示され、また検索機能が備わっている以上、やはり検索エンジンと全く異なるものであるとは考えにくいでしょう。

robots.txt によるブックマーク拒否を認めない、というのはブックマークされる側にとっての自衛手段の選択肢を減らしているとしか思えません。 ベータ版が開始された時にも触れましたが、自衛手段を考慮しないままここまで来て、問題が顕在化されたという印象です。 他の人がどのような感想をもっているか、どのような要約を行っているかを知ることが できるという名目ではてなブックマークにコメント機能が実装されましたが、そのコメント機能の使われ方が異なる方向に向いている現状で、「ブックマーク自体は構わないけれど、ブックマークコメントは嫌い」ということを言っている方を何人か見かけました。 そういった声ははてなスタッフには届いていないのでしょうか ?

meta 要素を尊重していると言うのなら

本題とは関係ありませんが、 既にmetaタグを尊重して本文のアーカイブ化は行わないなど、必要最低限の措置は行っていると考えている という表現も気になりました。 <meta name="Hatena::Bookmark" content="noindex"> を尊重していると言うのなら、 meta name="description" も尊重してブックマークページの概要に活用してください

今日は引用文と cite 要素と cite 属性がブックマークされましたが、やっぱり自動生成の概要は変です。 ちゃんと <meta name="description" content="引用元の情報を示す cite 要素および cite 属性のそれぞれの定義と、その使用方法について。" /> を尊重して欲しい !

hxxk.jp 、そして真琴自身は

とまあ一通り異議を唱えたわけですが、私自身および hxxk.jp 自体はブックマークされることは大歓迎です。 ブックマークコメントも喜んで拝見します。 ただ、皆が皆私のような考え方じゃない、ブックマークされることやブックマークコメントを好ましく思わない人もいる、というのをはてなスタッフやはてなブックマーカには考えていただきたいなと思いました。

トラックバック送信先

はてなブックマーク日記 - はてなブックマークにおけるリンクの考え方について

robots.txt が想定している対象は検索エンジンだけじゃありません。ソーシャルブックマークによる内容取得も充分に該当すると思います。

リプライ

15 件のリプライが送られています。 この記事に対するご意見やご質問、ご感想などありましたら個別記事ページの送信フォームからお送り下さい。

2005-10-20T23:25+09:00 - ymer

人間によるリンク集(+ユーザ数という形でのモデレート)をロボットと言ってしまうのは乱暴であるように思います。 「検索エンジン」ではあっても、例えばYahoo!ディレクトリはrobots.txtの想定からは外れているでしょう。 傍からは自動に見えるにせよ、収集を行なっているのは紛れもなく人間であり、個々のブックマークは個人のリンク集に過ぎません。ブックマークのトップページは、単にそれを集計したまとめに過ぎないと思うのですが。

2005-10-20T23:30+09:00 - purprin

はじめまして。もうすでにかなりの頻度で、しかも無断でdel.icio.usにブックマークさせて頂いていました。真琴さんの記事はいつも大変ためになる内容で、楽しみにしています。今後とも拝読させて頂きます。それにしてもWWWのリンクに関しては今までもこれからも議論が絶えませんね。

2005-10-21T00:00+09:00 - ちはや(智猫)

酸素不足でハイな脳味噌でコメント書いちゃいますが、うちは「はてな」のサービスのほとんどが他人の懐を掻き回すようなサービスばかりで嫌いなんですが(アンテナとか)、特に「はてなブックマーク」は嫌いですねぇ……「はてなブックマーク」ユーザーの使い方のある程度がブックマークされたURLの著者を貶める行為に使ってるようですし。 他の共有ブックマークサービスを見たことは無いですが、ここまでひどい共有ブックマークサービスは無さそうな気が…… それでもアサマシ根性(アサマシと言う単語自体理解出来なかったんですけど「浅ましい」からのようで)で、Account-Auto-Discoveryの仕様が決まって採用されてから奇特なかたがブックマーク時にポイントを送信してくれるんじゃないかと「はてな」のIDを取得してBlog日記にもAccount-Auto-Discoveryを導入しはしましたが~ ……Account-Auto-Discoveryを発案したかた自体が微妙なサイトへの批判のために「はてなブックマーク」を使ってるのを見たようなみなかったような…… 追伸: はてなブックマークからの来訪を拒否するためにHTTP_REFERERに「^http://b.hatena.ne.jp/」があるものをdenyしてたこともあります。 ブックマークを利用して来訪したユーザーがHTTP_REFERERを遮蔽/隠蔽/詐称/偽称してないと言う前提条件がありますが。

2005-10-21T02:35+09:00 - 真琴

&#62;ymer さん 概要にも私自身が書いている通り、はてなブックマーク = 検索エンジンというのはかなり乱暴なくくり方だとは思います。 Yahoo!ディレクトリを例に出されていますが、あれは作成者が申請を行って、サーファーと呼ばれる人がページを見にくるというものでした。他薦による場合もありましたが、基本的に「 Yahoo!ディレクトリに登録されたくなければ、申請をしなければ済む」ものでした。 はてなブックマークは作成者の意図に関係なく、登録が行われます。似たようなものに、人間が文法をチェックしようとして Validator を用いる場合も、作成者自身の意図は特に汲まれません。 しかし、 robots.txt はその Validator 等の UA ( ここでは「人間の代わりにアクセスし、情報のチェックや取得を行うシステム」とします ) に対する動作制御を行うことができます。それなのに、はてなブックマークの UA はそれに従わせるつもりは無い、というのはおかしな話ではありませんか ? 今後検討されるかもしれない「登録拒否のためのタグ」と、既に一般的な手段として確立している robots.txt や meta name=&#34;robots&#34; に一体何の違いがあるのですか ? と問いかける意味で今回の記事を書きました。 ( おそらく、「主に検索エンジンを対象としたもの」という表現は主観が多分に含まれているのだと思いますが。 ) &#62;purprin さん 時々リファラにてお見受けするので、ブックマークされているのは気付いていました :) 記事内で主張したことと被りますが、私はブックマークは無断でどんどんされて構いませんし、ブックマークされる方も皆それを喜べるというのが理想の在り方だと思います。しかし、ブックマークされることを全ての方が好むとは限りませんので、何らかの自衛手段が用意されていた方が良いと考えています。 &#62;ちはや(智猫)さん アンテナは単にページの内容を取得して更新情報を得るだけだから、あまり引っ掻き回されるという印象はないですねえ。 ブックマークの場合はコメント機能があり、またその使われ方が少し変わってしまっているために衝突が起きる可能性があると考えています。 ( del.icio.us にもコメント機能がありますが、はてなブックマークに比べて「どういった内容なのか」をその人なりに要約しているコメントという印象が強く、メッセージ的に使われていることは少ないです。 ) 今ふと考えたんですけど、「コメント」機能ではなくて「メモ」機能だったらもう少し本来の使われ方をしていたのかなあと思いました。 HTTP_REFERER による deny ははてなブックマーク日記で言われていることと同じような自衛手段ではありますが、ブックマークされる時点で防ぐことができればよりベターな気もしますね。

2005-10-21T04:30+09:00 - otsune

なかなか興味深い視点ですね。 ちょっと考えてみました。 del.icio.us以前に存在した類似のものとして「投稿できるリンク集CGI」というのが有った記憶があります。 URLの他にサイト名とジャンルと★評価などのメタ情報が付けられたりもしました。 このリンク集CGIはrobots.txtを読んでその制御に従うべきだと考えますか? 「リンク集がrobots.txtによって制限されるなんておかしな話ではありませんか?」と言われる可能性は大きいと思います。 この話は「Webページは自我の一部であり、そこに言及する行為は自分をあげつらう行為である」という「ホームページは私の家みたいなもんだ感覚」が確実に関わっていますよね。(実際にWebサイトを例えると、家ではなくて「広場に張り出したポスター」のほうが正確だと思いますが) また 1.はてなブックマークの概要に自分のサイトの文章が転載される 2.コメント欄で言及される 3.URLで無断リンクされる これは全て分離して語るべき話題だと思います。 はてなのアナウンスは3.に対してスタンスを説明したものだと思いますし、それは正しいと思います。 ただ1.に関してrobots.txtを読まないのは反論としてアリだと思いました。

2005-10-21T08:45+09:00 - mount-root-yy

<a href="http://i.hatena.ne.jp/idea/6702">http://i.hatena.ne.jp/idea/6702</a>  ↑関連するアイデアをあげておきました。  結局のところ、どのラインで妥協するかだと思います。

2005-10-21T22:38+09:00 - 真琴

&#62;otsune さん 投稿形式のリンク集、ありましたねえ。ちょっと具体例を思い出せないのでどういった挙動か分かりませんが、ユーザが「投稿」を行うことで CGI 等がそのリンク先にアクセスし、ページ内の情報を ( はてなブックマークのように ) 自動的に収集するなら robots.txt をできれば読んでもらいたいと私は考えます。 もし、「サイト名」「作成者名」「ジャンル」「★評価」などのメタ情報を投稿者が記入し、 CGI 等はリンク集ページ側にその記入情報を反映するだけなら、 robots.txt は読まなくても構わない……というか、その場合は CGI 等はリンク先へのアクセス自体を行わない可能性があるので、そもそも読まれないと言った方が正確かもしれません。 もし投稿型のリンク集 CGI の多くが前者だったとして、そして robots.txt を用いて検索エンジンへの登録を防ぐのと同様にそういったリンク集への登録を防ぐというのは、「リンクをされたくない」という方の主張としては筋が通るのではと思います。 ( ただし、アクセス制限等を行わずに「リンクされることを制限したい」という時点で間違っているとは思いますが。 ) 1.2.3.といった話題の分離ですが、元のはてなブックマーク日記中で混在していたため、私の主張もごちゃごちゃになっていますね。 突っ込みを入れる際にきちんと分離すべきでした。 まず 1. についてですが、 &#60;meta name=&#34;Hatena::Bookmark&#34; content=&#34;noindex&#34;&#62; という方法で既に自衛策の選択肢は用意されているので、これについては異論はありません。これに加えて robots.txt にも対応してくれたらなお良いな、というくらいで。 ( 自動生成が変だとか descriotion を見てくれというのは転載を防ぐのとは違うレイヤーだと思いますし。 ) 2. について。 otsune さんは Web サイトを「ポスター」と喩えられましたが、これは良い喩えだと思います。私もほぼ同じ考えですが、「広場でフリーマーケットを行うような、フルオープンなスペース」のような考え方を持っています。スペース内に展示されたものを、道行く人は好きなように見たり見なかったりでき、変なものが並べられていたら「その品は欠陥品じゃ ? 」「これ取っ手が壊れてるんだけど ? 」みたいなことを自由に言うことができる、そんなイメージです。 そして、はてなブックマークの場合は、そのフリーマーケットの会場外で「ここには○○が並べてあった」「あそこは綺麗に並べられていて見やすかった」といった感想を述べているといった感じ。しかし、一部の感想の中には会場外で「あれは欠陥品みたいだったけど、そこんとこどうなんだろう」「あそこの商品札、名前間違ってなかったか ? 」と、本来その場で言うべきことを言っているものがあり、それについて不快感を示す人がいると考えています。 もちろん、その本人が会場外に出ていけば、そういった声があることを知って改善できるかもしれないけど、人によっては会場の外でそんなこと言われているなんて思いもよらなかったり、また知っていてもわざわざ会場外に行ってまで聞きたくはないと思ったりする場合もあると思います。 <a href="http://mohican.g.hatena.ne.jp/otsune/20051021/p1">http://mohican.g.hatena.ne.jp/otsune/20051021/p1</a> にて言われていることと根底は同じだと思いますが、「酒場で話題に出来ないようにすれば~」というのは根本的な解決策にはならず、間違っていることはちゃんと本人に伝わるように、本人に伝わらない可能性があるブックマークコメントではない手段で伝えるようなリテラシが普及するのが解決につながると考えます。しかしそれに期待できない現状ではブックマーク自体を拒否したい、と考える人もいるのだろうと思っています。 今ふと、 Account-Auto-Discovery あたりを利用して「ブックマークされるのは構わないが、コメントを書かれるのは拒否したい」という意思表示ができないかなあと思いました。そこまで実装するとなると、システムとして複雑化しすぎるかもしれませんが。 3. についてはリンクは本来自由であるという認識を示した上で、「はてなブックマークのサーバを拒否すれば良い」というのは現実的かつ真っ当な対応だと思っています。 &#62;mount-root-yy さん アイデア拝見しました。 確かに落しどころだとは思いますが、掲載自体はされても良いんじゃないかなと思います。 otsune さんへのレスを書いていて考えたことですが、「リンクは自由に行うもの」の理念に沿って、ブックマークされること自体を防ぐ策を準備しない、というスタンスでも問題はないかな、と。 私がはてなスタッフに気にかけて欲しいのは、「ブックマークコメントをされることを好まない」人であって、「無断リンクを是としない」人ではないので……。

2005-10-22T11:30+09:00 - rna

すみません、そもそも robots.txt ってコンテンツを被リンクから守るためのものなんですか? robotstxt.org のドキュメントを見てもロボット自身によるトラフィック増からサーバ資源を守るというのが目的のようですが。。。 リンクさせないことによる人間のトラフィックの制御まで robots.txt の守備範囲にするのは無理がないでしょうか。

2005-10-22T19:37+09:00 - yum

&#62;今ふと、 Account-Auto-Discovery あたりを利用して「ブックマークされるのは構わないが、コメントを書かれるのは拒否したい」という意思表示ができないかなあと思いました。そこまで実装するとなると、システムとして複雑化しすぎるかもしれませんが。 はてなブックマークコメントも短いなりに「言論」ですし、また、ブックマークされる側が管理している場ではなく他人が管理する他人の言論の場ですよね。エントリー元に付随したものではないと考えますが、その点はいかがでしょうか。 そういう考え方で行くと、ブックマークされてもコメントは拒否しようというのは、ブックマークユーザの言論を封じることになりませんか。言論の自由・表現の自由を侵害する行為にあたり、基本的人権の重大な侵害です。当然、実装はまず無理でしょう。 自分に自由に文章を公開する権利があるように、他の人にもその文章に対して自由に言及する権利があります。それが言論の自由です。名誉毀損や個人情報の侵害等、別の問題が発生したときのみ訂正や削除を求めることができると考えます。自分は自由に書いてよい、しかし他人には物を書かせないのはおかしい。自分が公開の場で言ったことに対して、はてなブックマークも含めた「どこかの場」で誰かになにか言われたくないなら、自分も公開の場で物を言わないことしか根本的な解決はありません。 ブックマークコメントを制限しようと考えるのは人権侵害につながる考え方で問題のある、と、私は考えます。

2005-10-24T21:25+09:00 - 真琴

&#62;rna さん あくまで ( 人間の目ではない ) UA がリソース内の情報を検索したり取得したりすることを防ぐためのものだと思っています。結果的に検索エンジンへの登録およびそこからのリンクを守ることになるかもしれませんが、リンクされること自体から守るものではありません。 otsune さんへのレスを返した際に私の考えを再整理しましたが、私が考える robots.txt で制御されるべき部分は、 1. Hatena Bookmark/0.1 がブックマーク先の内容を取得して、自動で設定する <a href="http://b.hatena.ne.jp/entrylist?cname=****">http://b.hatena.ne.jp/entrylist?cname=****</a> というカテゴリ 2. Hatena Bookmark/0.1 がブックマーク先の内容を取得して、自動で設定する <a href="http://b.hatena.ne.jp/keyword/****">http://b.hatena.ne.jp/keyword/****</a> というキーワード 3. Hatena Bookmark/0.1 がブックマーク先の内容を取得して、自動で生成する「概要」と称される転載部分 あたりだと考えます。 1. および 2. については今のところ被ブックマーク側にはそれを防ぐ手段はありませんが、 3. については &#60;meta name=&#34;Hatena::Bookmark&#34; content=&#34;noindex&#34;&#62; という手法がはてな側から提示されています。 meta で対応しているということは、少なくともはてな側も、「はてなブックマークは制作者側の制御意思をある程度受け付けるべきである」と認識しているのだと考えます。 だからこそ、 meta 要素で対応しているから robots.txt への対応は要らない、というのが不自然だと思ったのが今回の記事のきっかけです。 meta 要素による制御は &#60;em&#62;robots.txt の設置ができない場合に&#60;/em&#62;行うものであり、またはてなブックマークが対象とするサイトは、その全てが robots.txt の設置ができないというわけではありませんので。 &#62;yum さん はてなブックマークのコメント機能は言論ではないと考えます。「どのような感想をもっているか、どのような要約を行っているか」を自分のために記録するためのもので、他のユーザもそれを見ることができるようになっているだけにすぎません。 ( 参考 : <a href="http://hatena.g.hatena.ne.jp/hatenabookmark/20050222/1109076964">http://hatena.g.hatena.ne.jp/hatenabookmark/20050222/1109076964</a> ) 仮にそういった「感想や要約」を言論であると仮定しても、自由であるはずのその言論が、はてな側が独自に定めた、たった 50 文字という基準に&#60;em&#62;制限&#60;/em&#62;されていることについてはどうお考えですか ? また、はてなブックマークのコメント機能はサービス開始時には存在しておらず、後から付け加えられたものです。付け加えられる前の、無言で URI を記録する状態を、または今後何らかの仕様変更があってはてなブックマーク自体から撤廃された状態を「言論が封殺されていた / 封殺されている」と表現するのでしょうか。

2005-10-27T23:54+09:00 - 制作者から閲覧者へ、機械的に意図を伝える仕組み、汲み取る仕組み < Flagyx.blog

ブックマークのコメントは鋭鋒になりがちだね。「ブックマークされたくない」という人がいたら、どんな手段がとれるんだろう。

2006-10-16T21:51+09:00 - 天井冴太 (AmaiSaeta)

どうも、天井冴太と言います。初めまして。 yumさんと議論されているはてブのコメント欄の制限についてですが、私はするべきではないと思います。……いえ、言論の自由云々ではなく。 <a href="http://hxxk.jp/2006/05/08/2241">http://hxxk.jp/2006/05/08/2241</a> で真琴さんが話題に上げておられるように"via族"と言うのも存在します。彼らのようなブクマ先への言及以外でコメント欄を使う人がいることを考えると制限はナンセンスではないでしょうか。 #はてな側が想定していなかったと思われる利用法ですが、だからと言って無視していい訳では無いでしょうし。

2006-10-21T06:53+09:00 - itochan

robots.txtから派生して、 linkpolicy.txt みたいな仕様を作ったらどうでしょうか?

2006-10-21T12:50+09:00 - 真琴

&#62; 天井冴太さん ええと、私自身はブックマークのコメント機能事態の制限は望んでいないですよ。自分でも積極的に活用していますし。 ブックマークによるコメントを好まない人もいるということを忘れずに、何らかの自衛手段があったらいいなあと思っているくらいで。 ( 特に meta 要素という次善策の方への対応を実装しているのですし。 )

2006-10-21T12:54+09:00 - 真琴

&#62;itochanさん そういうのおアイデアとしてはいいかもしれませんね。ちょっと大仰な気もしますけど…… ちなみに、これだけ論をぶっていながらも、 hxxk.jp はブックマークも ブックマークコメントも大歓迎なので robots.txt は設定していなかったり。

補足情報

著作、講演、制作実績など