第3章メディアコンテンツ（3.1,3.2)ksasaki/lectures13/media_resume/media_Intro04.pdf3.2 デジタル映像コンテンツ 1.実写映像 2.cg映像 3.実写とcg映像の合成

2013/5/3

1

メディア学入門（4）

第3章メディアコンテンツ（3.1,3.2)視覚に関わるメディアコンテンツ

東京工科大学メディア学部

近藤邦雄

2012.5.10

1

講義資料：http://www2.teu.ac.jp/media/~ksasaki/lectures13/media_intro/

授業予定（2013年度）

• 第１回序論：メディア入門• 第２回メディア社会を築くコンテンツとサービス• 第３回メディアを支えるICT• 第４回視覚に関わるメディアコンテンツ

（主に，コンテンツ創作コース）• 第５回視覚、聴覚、触覚に関わるメディアコンテンツ• （インタラクティブメディアコース）• 第６回コンテンツ制作のためのデジタル技術• 第７回コンテンツ利用のためのデジタル技術• 第８回中間テストを含む 6月6日

2

2013/5/3

2

本講義の内容

3.1 メディアコンテンツの概要1. メディアコンテンツとコミュニケーション

2. コミュニケーションの形態

3. 人の情報処理とメディアコンテンツ

3.2 デジタル映像コンテンツ1. 実写映像

2. CG映像

3. 実写とCG映像の合成

4. イメージメディア処理

• CGプログラミング超入門

3

メディアのモデル（基本概念）

視覚に関わるメディアコンテンツ

送り手作り手発信者

受け手甘受者受信者

映像CG

テキスト音声

情報ニュース

案内作品

本、書籍ラジオテレビ

PC、スマホ

コンテンツコンテナコンベア

4

2013/5/3

3





2. CG映像




5

1. メディアコンテンツとコミュニケーション

3.1

6

2013/5/3

4

言語情報によるコミュニケーション

本日の講義の概要

通信とコミュニケーション

通信：情報の送受信

一般に電気通信という意味で通信という場合が多い

コミュニケーション (Communication) ：

複数の人間が、互いに言葉、表情、ジェスチャーなどを媒体として、感情、意思、情報などを、受け取りあうことあるいは伝えあうこと。

8

2013/5/3

5

ビジュアルコミュニケーション

「百聞は一見に如かず」

9

図的表現の有効性

– 「百聞は一見に如かず」

東京大学教養学部図形科学講義資料（鈴木賢次郎）10

2013/5/3

6

10 CMINIT20 DIM CAM(3),VEC(3),ANG(3)30 CAM(1)=420 : CAM(2)=300 : CAM(3)=‐190 : TH=1.5 40 DPCAM CAM,TH50 REM ****BOTAN MAKING****70 PCUBE "BOTAN1",16.,48.,4. 80 PRCYLN "KADO10",20,0,8.,4.,190 COPY "KADO10","KADO11"100 READ VEC : PGDIS "KADO10",,VEC,0,1 : DATA 0, 24, 0110 READ VEC : PGDIS "KADO11",,VEC,0,1 : DATA 0, ‐24, 0120 PUNI "BOTAN1","KADO10","KADO11" 130 PCUBE "BOTAN2",4.,8.,4.140 PRCYLN "KADO20",20,0,2.,4.,1150 COPY "KADO20","KADO21"160 READ VEC : PGDIS "KADO20",,VEC,0,1 : DATA 0, 4, 0170 READ VEC : PGDIS "KADO21",,VEC,0,1 : DATA 0, ‐4, 0180 PUNI "BOTAN2","KADO20","KADO21"190 PCUBE "BOTAN3",8.,8.,4. 200 PRCYLN "KADO30",20,0,4.,4.,1210 COPY "KADO30","KADO31"220 READ VEC : PGDIS "KADO30",,VEC,0,1 : DATA 0, 4, 0230 READ VEC : PGDIS "KADO31",,VEC,0,1 : DATA 0, ‐4, 0240 PUNI "BOTAN3","KADO30","KADO31" 250 PCUBE "BOTAN4",12.,12.,6. 260 PRCYLN "KADO40",20,0,6.,6.,1270 COPY "KADO40","KADO41"280 READ VEC : PGDIS "KADO40",,VEC,0,1 : DATA 0, 6, 0290 READ VEC : PGDIS "KADO41",,VEC,0,1 : DATA 0, ‐6, 0300 PUNI "BOTAN4","KADO40","KADO41" 310 PCUBE "BOTAN5",12.,20.,6. 320 PRCYLN "KADO50",20,0,6.,6.,1330 COPY "KADO50","KADO51"340 READ VEC : PGDIS "KADO50",,VEC,0,1 : DATA 0, 10, 0350 READ VEC : PGDIS "KADO51",,VEC,0,1 : DATA 0, ‐10, 0360 PUNI "BOTAN5","KADO50","KADO51"365 REM ****HONTAI MAKING****370 PCUBE "HONTAI1",52.,72.,234.380 PCUBE "HONTAI2",52.,8.,8.390 COPY "HONTAI2","HONTAI3"400 PRCYLN "HONTAI4",20,0,8.,52.,1

「百聞は一見に如かず」• 視覚的表現の活用により、情報の整理、創造、伝達、検索の効率化

続く．． 11

東京の1 年間の気温変化の可視化例

各地域の気温気象庁Webページより

気象庁Webページより

斉藤隆文（農工大）の手法

数値情報の可視化気温の表示

12

2013/5/3

7

デザイナ画像利用者

思い描くことの描画

受け取る印象一致

良い情報伝達とは

13





2. CG映像




14

2013/5/3

8

コミュニケーションの形態

会話人人

機械機械データ通信

人機械入力､出力

ユーザインタフェース

マンマシンシステム

インターネット

データ

高品質、高速

16

マンマシンシステムの例

動作入力のハードウエア

17

Wii リモコンKinect

2013/5/3

9

デジタル・モーションキャプチャー・スタジオ

DMCスタジオ（デジタル・モーションキャプチャリング・スタジオ）

Vicon8 18台の専用カメラ：360度に設置

18

コミュニケーションの形態

人人会話

機械機械

人人

人

会議

インターネット

会話メール

TV会議

19

2013/5/3

10





2. CG映像




20

情報の入力と出力

人間

入力

視覚

聴覚

嗅覚

触覚

味覚

五感

出力

動作

口

知識､経験

第六感21

2013/5/3

11

メディアシステムの構成

音声入力

手書き入力

動作入力動画像入力

出力

文字入力

ソフトウエア、データベース

コンピュータ

23

[1]視覚による理解コミュニケーションモデル

意味伝達に着目した，記号とその解釈からみたコミュニケーションモデル

記号化：

メッセージをさまざまな表現に表す (High‐level)

24

意味内容記号化記号記号解釈意味内容理解

送り手受け手

2013/5/3

12

カメラと眼球

下条視覚の冒険産業図書25

ワイン工場の石壁

山梨ワイン工場26

2013/5/3

13

ビルの壁に貼った石垣の写真

東京渋谷駅前にて 27

蝶マレーシアにて

28

2013/5/3

14

白と黒の図形：意味によるまとまり

白石錯視の造形ダビッド社

キリスト

29

多義図形

「若妻と姑」W.E. Hill, “My Wife and My Mother-in-Law”, 1915

30

2013/5/3

15

感覚と知覚

目の網膜の映像リンゴ

感覚

脳

知的イメージ

記憶内容との比較知覚

ちゃんと心で見て子どもの一言

入力処理

31

[2] 聴覚による理解

32(イラスト：Rianti Hidayat、大学院メディアサイエンス専攻修了)

聴覚：鼓膜の振動を音の信号として感じ取る感覚言葉、音の高さ、音色、音源の方向を認識

2013/5/3

16

[3] 触覚による理解

33力覚フォースフィードバック

触覚:物体に触れたときに生じる皮膚感覚





2. CG映像




34

2013/5/3

17

音楽プロデューサーメディア学部客員教授

松任谷正隆氏

メディア学部学生が参加

1. 映像コンテンツ創作

35

機器ビデオカメラ、マイクロフォン、編集装置、モニタ、配信機器

映像ライブ配信


36

2013/5/3

18

アニメの撮影風景


クレイ・アニメーション

37

映像制作技術とコンテンツ流通

• シナリオ

• キャラクター

• ミザンセーヌ

– ライティング

– カメラワーク

38

ディジタルコンテンツ創作入門（1年生後期で詳しく紹介）

コンテンツ創作コース

2013/5/3

19





2. CG映像




39

コンピュータグラフィックス

CG：画像の処理と生成

レンダリング：表現技術

応用分野 : 広範囲

2次元表現と3次元表現：表現目的は多数

40

(1)表現対象:人工物、自然物、小さく見えにくいもの見えない情報などの可視化

2013/5/3

20

(2)表現方法の分類

• モノクロ表現カラー表現

• 線画表現面画表現

• 静止画動画

• 単眼投影図立体視

41

景観評価のための表現

45

2013/5/3

21

相互反射ラディオシティ法

西田友是１９８５ 46

水中での光の表現雷の表現

47西田友是

2013/5/3

22

(3)サイエンティフィックビジュアリゼーション

48

気温を可視化した画像

計測データの評価と特徴抽出

データの視覚的評価や特徴抽出

49

2013/5/3

23

フォトリアルからノンフォトリアルへ

・ノンフォトリアル－手書き絵画のような表現技術

ペンやインクをシミュレート－セルシェーダ、スケッチシェーダ－３Ｄペインティング、レイペインティング－画像のフィルタリングなど

描かれた対象物を表現－セルアニメ風、イラスト風、版画風の表現－タッチやストロークのシミュレート

50

イラスト作画支援システムの開発旭昌広、近藤邦雄 NICOGRAPH’91 pp.22-31

PSファイルの利用曲線の太さ変化乱数による質感

2次元レンダリング手法

1991

NICOGRAPH’91

2013/5/3

24

ペン画の生成

• 対話型生成法

– 線の太さの制御

近藤邦雄,神原章,佐藤尚,島田静雄:3次元形状表現のための白黒画像の描画法,情報処理学会論文誌Vol.l34 No.8 pp.1762‐1769,1993.8

既存描画技法のシミュレーション

52

ペン＆インクによる表現

53

2013/5/3

25

ペイントシステムＣＡＲＰによる描画例

近藤邦雄,木村文彦,田嶋太郎:インタラクティブレンダリングシステムによる3次元形状の表現,情報処理学会情報処理Vol.26 No.11 pp.1401‐1408,1985.11(情報処理学会25周年記念論文賞)

54

NPR の先駆的な研究

1985年Interactive Rendering System [Kondo 85]

An Interactive Rendering Technique for 3‐D ShapesKunio KONDO, Fumihiko KIMURA,Taro TAJIMA EUROGRAPHICS’85 pp.341-352

55

2013/5/3

26

輪郭線，稜線の描画法

• 面の3次元情報から直接抽出

[望月,近藤 95]

3Dモデルの輪郭線の自動抽出手法：アニメへの応用に発展

Y. Mochizuki, K. Kondo ：Enhanced Edge Rendering for Comprehensible Image 8th International Conference on Engineering Computer Graphics and Descriptive Geometry, Vol.1, pp.194‐199, 1998 (SIG‐CG95,Vol.95,No78,1995) 56

動作の誇張表現 Example of Jump & Kick

Original MotionCapture Data

Emphasized Motion Data

Yoshiyuki Koie，Kunio Kondo，Toshihiro Komma, Motion Emphasis Filter for Making Mental Motion of 3D Characters, Siggraph2004 ，Sketches，2004.8 57

2013/5/3

27

1

2

3

4

5

6

3DCGアニメーションのパース誇張

2次元アニメーションのさまざまな誇張を分析細田浩司 2010

コンテンツプロダクションテクノロジープロジェクト近藤邦雄、三上浩司

58





2. CG映像




59

2013/5/3

28

実写とCG映像の合成技術

60

• 3次元的な形状の投影を一致させるための幾何学的な計算

• 陰影・テクスチャなどの計算

• 色や画質を一致するための計算

• アニメーション制作のためのカメラワークや動きの合成計算

ROAD SHOW松任谷由実全国ツアー2011 映像制作に参加した学生

横須賀芸術劇場での映像制作風景

佐々木和郎1.映像コンテンツ創作

コンサートのための映像制作

61

2013/5/3

29

ROAD SHOW松任谷由実全国ツアー2011

東京工科大学の学生と教員で、ステージ演出用映像の制作を担当

佐々木和郎

映像とCGの合成技術音楽と画像の融合

1.映像コンテンツ創作

62





2. CG映像




63

2013/5/3

30

120×88 60×44 30×22

9色 5色 6色鈴木，近藤, ドット絵の調査とドット絵のための輪郭線描画・縮小・着色手法,Visual Computing / グラフィクスと CAD 合同シンポジウム 2006

Pixel Art 240×136

デジタル画像からドット絵の生成鈴木、近藤 2006.2

64

領域分割後領域統合後

境界線描画出力画像

元画像

デジタル画像からイラスト風画像生成濱崎、近藤 2004

Yusuke HAMASAKI, Kunio KONDO Image Generation Method using Synthesis and Control of Rendering Region, ADADA2003 Proceedings of the 1st annual conference of Asia Digital Art and Design Association, pp.70‐71, 2003.965

2013/5/3

31

NPRのさまざまなフィルター処理http://www2.teu.ac.jp/clab/kondo/research/jimmy/

66

Kunio Kondo,Tomoyuki Nishita,Hisashi Sato,Koichi Matsuda An Educational Non-Photorealistic Rendering System Using 2D Images by Java Programming,Journal for Geometry and Graphics 11 (2007), No. 2, 237-247

３D点描画コンテンツ「3Dスーラ」

レーザミラースキャナ着色データ

３D点描画

3．ビジュアルコンピューティング

67渡邉賢悟ほか

2013/5/3

32

Seam Carvingを用いた画像合成ツールの開発高橋淳和

DTPを行う際の作業の効率化

文字の配置時に構成物が適切な位置に移動

自然な移動のためSeam Carvingを利用

情報処理学会第73回全国大会学生奨励賞

相磯賞

2011年3月卒業

68





2. CG映像




69

2013/5/3

33

CGプログラミング超入門

プログラミングのための論理的な考え方

1. a=a+1 右辺の値を左辺に代入と加減乗除

2. 「もし～～」ならば、「なになにをする」

3. これからこれまでを何回か繰り返す

70

Processingというプログラミング言語と実行環境

Processing is an open source programming language and environment for people who want to create images, animations, and interactions.（自習課題：インターネットで検索して、何ができるかを見てください）

1. 代入と加減乗除

a= 2 ＊ a ‐ b

• 右辺の計算結果を左辺に代入

• 加減乗除は、「+」「‐」「*」「/」「*」は掛け算。

• 掛け算と割り算を先に計算

例

ビジュアルコンピューティングの数理入門(柿本):1年生後期にProcessingを利用したCGプログラミング

2013/5/3

34

円を描くプログラムと実行例 circle00

CG制作の基礎:2年生前期

代入

2. 条件分岐（場合分け）

「もし～～」ならば、「なになにをする」

if ( 式 >= 0) {

代入式

} else {

代入式}

• 式の値を調べる。それが0以上だったら， if ()のあとの命令

(代入式）を実行。

• もし式の値が0以上でなかったら、else のあとの命令(代入

式）を実行。

例

2013/5/3

35

Example Program : ¥no3‐examples¥animation2¥Bounce

ボールの衝突と移動

上下の判定

左右の判定


3. 繰り返し（ループ）

for ( i = 1; i <= n; iを1づつ増分) {

命令(代入式)}

1. 変数 i を1にする

2. i が n 以下か調べる。Nを超えたら，()の処理を終了

3. for ( ) の次の命令を処理

4. 変数 i の値を1増やす

5. 上記の2へ戻る

例

2013/5/3

36

円を描くプログラムと実行例 circle00


代入

繰り返し

Example Program : ¥no2‐samples¥list2_10_c

前川：Built with Processing —デザイン/アートのためのプログラミング入門、BNN

fill:塗りつぶしrect:四角形

繰り返し

2013/5/3

37

本講義のまとめ





2. CG映像




78

宿題と予習

79

第7回の講義に、忘れずに持ってきてください。講義内で、この「手順」をもとに演習課題を出します。

宿題：思い描いた図形を作画するために、箇条書きで作図の手順を書いてください。

予習課題：教科書第3章の3.3, 3.4, 3.5を必ず読んで

来てください。

2013/5/3

38

講義内レポート課題（10分）

学籍番号：授業科目：メディア学入門

氏名：日時：5月9日３時限

Assitを利用して、本日の講義で説明された用語のうち、重要と考える用語（２つ）とその説明(100から150字程度）で書いてください。

80

Documents

第3章メディアコンテンツ（3.1,3.2)ksasaki/lectures13/media_resume/media_Intro04.pdf3.2 デジタル映像コンテンツ 1.実写映像 2.cg映像 3.実写とcg映像の合成