↧
Pythonによるスクレイピングでニコニコ大百科掲示板を保存してみる
背景 ニコニコ大百科の掲示板は一度に３０件しか表示できず、ログをまとめて保存する機能もない（よね？） 割と頻繁に削除も入るため、過去の情報をトレースしにくい。 目的 指定した記事の掲示板をスクレイピングし、1レス目から最新レスまでをまとめて取得・保存する。 詳細 記事トップのURLを指定して叩くと全掲示板ログをtxt形式で保存する。ファイル名は「(記事タイトル).log」...
View Articleニコニコ大百科のPHP問題を解いてみる
ニコニコ大百科のPHPの項目になんか問題があったので解いてみる。 いまいち文意がはっきりしない問題が多いので、そのへんは適当にどうにかしています。 あと問題文の英数字に半角全角が混ざってるのがとてもアレ。 初級編 問１：２つの変数、$val1と$val2を、if式を使わずに比較して、大きい値を$largerを格納する式を一行で書いてみてね。 $larger = max($val1, $val2);...
View Articleニコニコ大百科解析事始め ~提供されるデータをJSONして触る~
ニコニコ大百科データセットを使うニコニコ大百科データセットは IDR で公開されているニコニコ大百科の2008~2014年の記事とその記事へのコメントを集めたデータセットです。知識抽出をはじめとする自然言語系の研究に向いていますが、Wikipedia...
View Article