【650億文字を数えた】コーパス作りの過酷さを、制作者自身が語る【コーパス2】

Рет қаралды 88,380

Күн бұрын

Пікірлер: 136

@yurugengo 9 ай бұрын

【参考文献・参照URLへのリンク】 ◯現代日本語書き言葉均衡コーパス clrd.ninjal.ac.jp/bccwj/ ◯書き言葉コーパス設計と構築（講座日本語コーパス 2） amzn.to/48CImZT ◯講義「日本語の表記―指針と実態―」（柏野和佳子）／言語学レクチャーシリーズ Vol.17 kzbin.info/www/bejne/eGLGnKyDidZ7ldU ◯『現代日本語書き言葉均衡コーパス』におけるサンプル構成比の算出法 : 現代日本語書き言葉の文字数調査 doi.org/10.15084/00002838 ◯『現代日本語書き言葉均衡コーパス』利用の手引第1.0版 doi.org/10.15084/00003227 【サポーターコミュニティへの加入はこちらから！】 yurugengo.com/support

@やみーが 9 ай бұрын

当時、何の許諾だかよくわからずOKした一人です。あれが何だったのか初めてわかりました。なんかちょっと得した気分です。思い出しついでに探してみたら、その時にいただいたKOTONOHAの図書カードが出てきました。

@gorigorigorillaletitgo 9 ай бұрын

22:14 赤毛連盟です。ちなみに辞書筆写してた理由はアリバイ作りではないのでネタバレではありません。

@sebakourashima7648 9 ай бұрын

書こうと思ったら、先人がおられましたね。書き写していたのはたしか大英百科事典でした。

@Gadona143 9 ай бұрын

46:00 に出てくるMy hair is red. が赤毛連盟の原著に出てくるかどうかが気になってますw

@MMMinMcity 9 ай бұрын

堀元さんと水野さんが感想からちょっと話が膨らんで雑談っぽくなったとき、一段落したタイミングを絶妙に読んでぱっと話を戻す丸山先生の知的反射神経すごいです。入る呼吸がよくて聞いていて気持ちがいいです。❤

@motojiro 9 ай бұрын

学部生です。 BCCWJには大変お世話になりました。本当にありがとうございました。

@mudaso-heavy-user 9 ай бұрын

今年も楽しみに待ってました

@tsicsafjapan9371 9 ай бұрын

ことしもたのまち

@ヵァヵァ 9 ай бұрын

ことしもたのくに

@tsuyuki007 9 ай бұрын

ことしもよろぼくも！

@あめみや-d4t 9 ай бұрын

米粒を数えたことがある堀元さんでも本の文字数は数えたくないのが面白かったです。

@Entre_Degartio 9 ай бұрын

うぽつです英単語帳6冊に掲載されてる英文でコーパスもどきを作ったことがあるのですが、1冊に丸一日以上かかったのでその規模でも非常に骨が折れたのを覚えています。それを遥かに上回る情報をまとめた先生には感服するばかりです

@attii2010 8 ай бұрын

私言語学を志している学生なのですがコーパスには本当にお世話になりました。あの網羅性を持ったコーパスがなければ私の研究はうまくいかなかったでしょう。このようなコーパスのお話を聞けてとても感激です。改めてありがとうございます。

@みねチャンネル-f9q 9 ай бұрын

丸山先生のお声と話し方がとても好きで聞いてて耳が心地いい

@tsu-maru-x2p 9 ай бұрын

本当に心地良くて丸山先生ずっと話してて欲しい

@裏切マコト 9 ай бұрын

6:12 「もしかして1億語集めるの大変だったんですか？」「当たり前だろ」好きw

@おれの名は 9 ай бұрын

途方もない作業量を要求するボケに追いついてくる現実こわい

@怠惰の清盛-t4m 9 ай бұрын

先生が言うBCCWJがちょっと速いの好き

@akinaka7543 9 ай бұрын

IT屋がいう「データベース」は大抵がデータベースそのものじゃなくデータベース「マネージメントシステム」のほう…なのだろうなあ。(IT以外の「データベース」というコトバが原義なのだとすれば。)

@ポロシャツ-v7u 9 ай бұрын

こういう辛いときに楽しい動画が見れてよかった

@Josh_K_Languid 9 ай бұрын

もしマンガが調査対象になっていたら、以前Twitterで「自分が作った同人誌は国立国会図書館に納本して永久に遺せる」みたいなのがバズってましたけど、実際に納本しちゃったエロ同人作家の本も国語研究者の目に晒されてたかもしれないかと思うとちょっと面白い。

@だいかく 6 ай бұрын

ゆる言語学ラジオはじめてユーチューブで拝見しました。私は国語研のコーパス中納言のおかげで卒論が書けました。BCCWJに救われた学部生は数知れずですしこの先もたくさんの人間がお世話になる素晴らしいものだと思います。

@jyozu 9 ай бұрын

サンプリングにベストセラー（閲覧率？）の重みをつけると、結果はどれくらい変わるのか気になる。

@koi506 9 ай бұрын

国会図書館は国立(国会)図書館で、国民への情報提供サービスがメインであって国会に対する提供サービスは一部ということを子どもの頃は知りませんでした。「一般人は入れるの？」ってな感じ。

@あいうえおかきくけこ-u5p 9 ай бұрын

「書かれる文章」と「読まれる文章」は別なんじゃないかと思ったんですが、そういう研究って有るんですか？例えば、前回のクイズの「卵・玉子・たまご・タマゴ」の問題で、書かれる文章としては料理本とかで「玉子」って書かれる事が多そうだと思ったんですが、実際に読む中では、料理本で読む文章はごくわずかで、小説とかで読まれる普通の文章では「卵」が多そうだと思いました。

@yn3353 9 ай бұрын

形態素分析のグループの苦悩なんかを聞きたいです。「形容動詞」って合理的じゃなくない？みたいな日本語文法の本質に迫れる知見があるのではないかと感じました。

@keisukesugi5085 9 ай бұрын

出版物とかって文字数データベースを発行の段階で作ってくれててもいいのにね

@mi-yagi731 8 ай бұрын

1人で見ていたのですが妖怪”文字数え”で声を出して笑いました。年末年始自分の時間が無くてKZbin自体見れてなかったのですが、やっぱりゆる言語学ラジオは面白いです。

@kotokoto8362 9 ай бұрын

先生の話し方が非常に明解ですごい

@nekoshiroko9202 9 ай бұрын

漫画コーパスは気になるけど擬音まで入れたら日本語コーパス作るのと同じくらいコストがかかりそう

@unknown_x6 9 ай бұрын

丸山先生の笑顔が素敵ですね

@メカニカルたぬき 9 ай бұрын

大量に本を集めるのは楽しそうだけどそれをデータにする苦労考えるとびっくりしちゃう集めた本きっかけに何かの趣味始めたとかやけに詳しくなったコンテンツとかもありそう

@akinaka7543 9 ай бұрын

「デンスケ_(録音機)」でウィキペJに立項されてました。自分もチラリと現物みたこと有った気がします。当時のイイカンジな録音機。

@piano_beginner 9 ай бұрын

もしパッパがまた手に入るならこんな人がいいお堀〇潤さん似の柔らかい表情と聴き心地のいい声エピソードトークおもろ今年初笑いでした、オネションマンありがとう。

@NBBNagoyaburgerboys 8 ай бұрын

堀元さんが言ってたコメヌカにいる虫を探すためにコイン精米機を探すというエピソードは多分　宮武貴久先生の「したがるオスと嫌がるメスの生物学」ですね。めちゃくちゃ面白い本でしたが意外にこういう生物学の本も読むんですね

@tork1a11e 8 ай бұрын

先生の発音がcorpusで、堀元さん, 水野さんがコーパスなのやっぱ研究って英語主体なんだなって思う。

@KD-busan 9 ай бұрын

「時代のスナップショットを撮る」って感覚、いいな

@donburacco 9 ай бұрын

背景　ホワイトボードのころより視聴しております。言葉の収集方法、0次資料から得られる貴重な情報たいへん興味深く拝見しました。ところで。歌の歌詞から言葉を採取するようなことはないのでしょうか？詩集や歌集も出版された印刷物ですが、歌謡曲などの歌詞まではあつめられないのでしょうか。やはり、早々に収集するのは難しいのですかね…

@あいうえおかきくけこ-u5p 9 ай бұрын

漫画も文字はあるし、もっと言えば発行されてない物でも社内文書とか契約書とか、あるいはメモや日記みたいなのも「書き言葉」じゃないかなぁと思った。ただ、言語学の対象が「ラング」なのであれば、自分自身が読むためのメモとか日記は含まないのかも知れない。あと、「文章として正しい日本語」として考えるなら、漫画とかはセリフ主体だし、どの部分をサンプリングするか微妙なコマも多そうだから落とすのも仕方ないのかなぁ…？

@----___----___----___----___-- 9 ай бұрын

前回の「卵」「玉子」「たまご」「タマゴ」が、どうカウントされたのか知りたいです。特に「卵」が(らん)として書かれていても「卵」とカウントすると調査の意味をなさないし、用例採取者がこれは（らん）だと勝手に判断するのもコーパスとしての正確性が落ちる気もします。

@cypher7707 8 ай бұрын

BCCWJで「卵」だけ調べたら9270件で、これは生物学用語が多く含まれる前回動画では「卵（たまご）」は3719件これならちゃんと考慮してんじゃないの？ BCCWJ無料版（小納言）しか使ってないから、有料版ならより高度な検索機能があって3719件を引っ張って来れるのかも知れない

@cypher7707 8 ай бұрын

@たかゆき-e1g 9 ай бұрын

本編と関係ないですが、今井むつみ先生が朝日新聞の対談で「アブダクション推論を…」「人気KZbin番組で、子供の面白い言い間違いを…」などと話されていました😊

@kap1123 9 ай бұрын

あぶねえ、ホームズのやつ書き込むところだった💦

@beerwit7977 8 ай бұрын

コーパスの狙いにもよると思いますが、サンプリングの重みづけに関しておおよその読者数を掛けるような調整があったほうが普段目にする文章の比率を反映できそうな気がするんですがそういうのは無いんでしょうか

@susnum585 9 ай бұрын

あまりよろしくないと自覚してはいるんですが、先生の声がどうしても呪術〇戦の伊○知潔高（cv.岩○光央）に重なる部分が多く、いつの間にか呪術の世界線で自分がレクチャーされてる気分になってしまった…伊地知さんにコーパス説明されるってどんな世界線？呪霊特殊すぎやろ。

@engpc9074 9 ай бұрын

新年から蟹のミソみたいなラジオ聞けて幸せです

@MainFiction 9 ай бұрын

ホームズのネタバレ注意件の作品は『赤毛連盟 (The Red‐headed League)』ですね。

@user-db8lt9rs9q 6 ай бұрын

頭が大きいと脳みそが大きく賢いというデマを植え付けられましたね

@sh8680 9 ай бұрын

中国の書籍って必ず文字数が奥付に記載してあったんですが、そういえば日本の書籍って、書いてありませんね。

@うめ子-n7i 9 ай бұрын

立川市図書館が出てきてびっくり！立川在勤なのでよく利用しています。蔵書が豊富で、新刊もすぐ入る素晴らしい図書館ですよね…！

@ぴろ-m4h 9 ай бұрын

コーパス言語学…、すごく興味あります。丸山先生の話し方や声が非常に聴きやすく、内容もとても興味深いものでした。今年も地道に聴き続けていきますので、よろしくお願いします。

@cancrow916 9 ай бұрын

堀元「ヤバない！？」水野「ヤバない悠」丸山先生「さて、魅せますか…………ﾌｧｯ」

@akinaka7543 9 ай бұрын

そういわれてみれば、納本制度はあるけど、「おのおのの本のデータ(たとえばここでは文字数)」も提出しろというルールではないんですね…

@ShotaSawayanagi 9 ай бұрын

現在院生ですが、学部生の頃からBCCWJにはお世話になっております

@takpon9261 9 ай бұрын

スキャンしてOCR通すなり、出版社や新聞社から元データの提供を受けるとかできないのか🙄

@術中hack 9 ай бұрын

これ思った。特に新聞社。

@HitYoutube 9 ай бұрын

新聞って同じ日も時刻で内容差し替えられてたりするので縮刷版と違う可能性も。

@goo4game588 7 ай бұрын

27:57 「詰んでる」のイントネーションが「積んでる」と同じなのって、最近の現象なのか昔から二派いたのか気になる

@curote2660 9 ай бұрын

日本語話し言葉コーパス(CSJ)には学部時代にお世話になりました！

@ノンフォンジョイマン 9 ай бұрын

16:25 Hunter×Hunterは文字主体なので対象に入れて下さい

@KoKKo2000 9 ай бұрын

お話を聞く過程で、何度も気が遠くなりそうになるお話でした。ほんと地味で単調で重要なお仕事お疲れ様です。

@思香-p2w 9 ай бұрын

若い二人はマイクロフィッシュ知らないんだ！、私知ってる〜と、ちょっとうれしくなった。国会図書館で、「この資料は現在マイクロフィッシュ化中のため貸し出しできません」というのがあったな。

@別府有光 9 ай бұрын

著作権は学問の敵だとショーペンハウエルがおっしゃっていた

@plasoto 9 ай бұрын

マイクロフィッシュは若者にはピンと来なかったか・・・マイクロフィルムと言えば分かるかも？

@HitYoutube 9 ай бұрын

確かフィルム状のマイクロフィルムのコマをアレイ状に沢山並べて１枚の大きな版にしたのがマイクロフィッシュだった気がします。

@akinaka7543 9 ай бұрын

49:05 うんうん。それ。試しに小さいの試作する工程、やらせてもらいたいですよねえ…(IT屋のつぶやき)

@Sayappk 9 ай бұрын

ウィーズリー家みたいな髪色の方の話ですね水野さんも丸山先生もピンときていらっしゃらない事が驚きでした

@ko-dx5md 9 ай бұрын

この研究めちゃくちゃ日本語LLMの研究に使えそう

@furumichikazuya 9 ай бұрын

薄い本をコーパスに入れるか議論はなかったようです。

@たまゆら-z1j 9 ай бұрын

丸山先生の無駄のない閑話休題スキルにほれぼれ

@マヒキング 9 ай бұрын

1：00　今回フォント　いつもと違う感じがする…

@steroidbody Күн бұрын

オネションマンの著者もびっくりしてるわ

@hebihenge 9 ай бұрын

55:18 刹那過ぎる

@黄菜 5 ай бұрын

全く素人の疑問ですが、第一回の「ら抜きがどれだけ使われているのか」みたいなことを調べるのに、元となるソースは全て平等な重みで扱っていいのでしょうか？例えば1人にしか読まれていないYahoo知恵袋の回答とベストセラーの一文は同じ1回と数えて使用頻度の実態を把握できるのでしょうか？

@愛パンダ-e1c 4 ай бұрын

非常に聞きにくい動画でした。先生の体験談がメインなはずが２人の感想や例え話し等が長くて本題の内容が忘れてしまいそうになりそれを機転の効いた先生によって軌道修正されるのを繰り返しで非常に話しの内容が聞き取り理解しにくかったです。

@AtatameTanmen 8 ай бұрын

最後のサンプリングについての話 2001年から2005年の日本の書き言葉全体の実態を波のように考えてみると、その波の特徴の一部を有するページをサンプリングすることで実態を捉えようとしているのだなと思いました。ただ、音の波形であれば時間をスパンにサンプリングすればいいですが、今回の場合は何を基準とするスパンでサンプリングすればいいのかわからないためにランダムサンプリングをするのだなと、だとすると1万3000サンプルはどういった根拠のもとなんだろうななどと考えられて興味深かったです。また、書き言葉は日常で書くメモやチラシなども含まれている中、新聞や書籍に限定すること自体も一種のサンプリングなのではないかとか、それらを分解して1万3000サンプルを集めるのもサンプリングだし、最後の堀本さんみたいに、作ったコーパス自体を一時代を切り取ったサンプルと考えることもできるなと思ってとても面白かったです

@CHIKARAMOCHI 9 ай бұрын

ことたの

@foo-3-g9i 9 ай бұрын

サムネが昔見た餃子の王将のCMみたいに！

@櫻井佳明 8 ай бұрын

サンプルに誤植とかがあった場合はどうするのでしょうか本人が勘違いした誤用なら実態として入れたほうがいいと思いますが、単純な誤字などは、そう使おうとしたわけではないので言語の実態を見るには除外したほうがいいように思います。しかし、誤字なのか誤用なのかわからないようなものもあると思うのです。この辺りどう対処したのかが気になりました。

@odashideodashi 9 ай бұрын

新年もよろしくお願いします

@tanaka0404 9 ай бұрын

6:14 大爆笑ポイント

@cochizz7643 9 ай бұрын

堀元さんと水野さんはゆるく喋ってるかんじの喋りだけど丸山先生は伝えるために喋ってるかんじするな堀元水野のターンは昼休みに飯食いながら友達が喋ってるのを聴いてる感覚に近くて丸山先生が喋ってる間は講演とかテレビ番組の解説聴いてる感覚

@shomwoys 8 ай бұрын

言語の基礎研究データですねぇこれを元に形態素解析だのLLMだのいろんな技術が進んだはずで、自動化して更新・再生産コストはだいぶ下がってるのかも検証コストの方に移行するのかな…

@pascalpaskel 9 ай бұрын

国会図書館に納本するときに、全ページをOCRしてデジタルデータとしても納本する、あるいは図書館側でデータ化するとよいのだろうけど、現実的ではないのだろうな。。

@denhide4626 9 ай бұрын

三省堂のウィズダムに代表されるcorpus-basedの英和辞典がありますが、日本語辞典の現状がどうなっているのか関心があります。

@TKomi 9 ай бұрын

バランス良くとってくるために文字数をカウントするの、株式のインデックスで時価総額平均を使っているのに似てるね

@デヒ-k6i 9 ай бұрын

そもそも存在を知らなかったけど初めて検索してみて、身近な日本語の疑問を考察するのに使えそうだなと思った素人でそう思えたということは研究者にとっては涙が出るほどありがたいんだろうな

@トルコライス-l8v 9 ай бұрын

「XページのY文字目」だと、たまたま文字数が少ないページにあたってY文字目がない場合が頻出しそうだけどどうするんだろう？

@nazo_no_message 9 ай бұрын

コーパスで年越したのか。

@HitYoutube 9 ай бұрын

「たほいや」放送は1993年だから、BCCJWコーパスに入っていそうですね！

@setsuna0217 9 ай бұрын

2020年付近の新しいコーパスは生まれているのでしょうか？

@DK-333 9 ай бұрын

黒髪だから大丈夫。

@graph23 9 ай бұрын

国語研、立川にある…あれか。極地研の一般公開展示しているところに行く途中に前を通り過ぎた気がする。

@jasminewater7809 9 ай бұрын

今回の動画を見て、私は喜んで文字の奴隷になりたいと思いました。大好きな文字のお話、大好きな図書館のお話が聞けてとても嬉しかったです。そしてなにより、なんて魅力的な作業(お仕事)…！！文字に触れ文字を集め実際の書籍に触れ、ずっと思考を文字のために費やして会議する…永遠にそんなお仕事が出来たら、タダでも喜んでやりたいくらいです。素人ではありますが、人生を文字に費やしたい、という意味で、文字の奴隷になりたいと思いました。 ※誤解を避ける為に先生やコーパスに携わる方を文字の奴隷だと言うつもりはなく、私がただ研究者でもなんでもない素人として文字の奴隷になりたいっていうドM意見晒してるだけです、すみません

@HitYoutube 9 ай бұрын

58:40 2ヶ月以上以前に録画した動画を今配信している堀元さんに鏡をそっと渡したい！