Data in Generative AI: Structured Data vs. Unstructured Data – Complete Class Notes

1. Introduction to Data in Artificial Intelligence

Data is one of the most important ingredients required to develop an Artificial Intelligence (AI) model. AI systems rely on data to identify patterns, learn relationships, generate predictions, and produce useful outputs.

In this lesson, we will explore two major types of data:

1. Structured Data
2. Unstructured Data

Understanding these data types is essential for learning Artificial Intelligence, Machine Learning (ML), and Generative AI.

2. What Is Data?

Data refers to raw facts, information, observations, or records collected from various sources. It can include numbers, text, images, videos, audio recordings, and many other forms of information.

Examples of data include:

• Customer names and addresses
• Sales transactions
• Product prices
• Customer reviews
• Photographs
• YouTube videos
• Audio recordings
• Text messages and emails

AI models use data to learn patterns and extract meaningful information. The type and quality of data available can influence how effectively an AI model performs its intended task.

3. Types of Data

Data can be classified into two major categories based on how it is organized.

3.1 Structured Data

Structured Data is data organized in a predefined format, usually in rows and columns.

It follows a defined structure, making it easier to store, search, filter, sort, and analyze using traditional data-processing tools.

For example, suppose a company wants to analyze the number of sales transactions completed during the current month. The company can create an Excel spreadsheet containing sales information in rows and columns.

Each row represents a sales transaction, while each column represents a specific attribute of that transaction.

Example of Structured Data

Transaction ID	Product	Quantity	Price
101	Laptop	2	₹50,000
102	Mobile	3	₹20,000
103	Keyboard	5	₹1,000
104	Monitor	2	₹12,000

This table contains structured data because each value is stored in a predefined column.

Using this data, a company can easily answer questions such as:

• How many sales transactions occurred this month?
• Which product generated the highest sales?
• How many laptops were sold?
• What was the total sales revenue?
• Which products are selling the most?

Structured data is commonly stored in Excel spreadsheets, relational databases, and tables in database management systems.

Examples of structured data:

• Sales transaction records
• Employee information
• Customer databases
• Banking transactions
• Inventory records
• Student marks and attendance
• Product catalogs with predefined fields

3.2 Unstructured Data

Unstructured Data is data that does not follow a fixed, predefined tabular structure.

Unlike structured data, unstructured data cannot naturally be represented using a simple set of predefined columns and rows without first extracting or transforming its contents.

It may contain text, visual information, sound, motion, or a combination of different information types.

Common examples include:

• Text files and documents
• Images and photographs
• Videos
• Audio recordings
• Text messages
• Emails
• Social media posts
• Customer reviews
• Recorded conversations

For example, consider a company that stores thousands of customer emails. These emails may contain complaints, questions, suggestions, product feedback, and requests for support.

Although email metadata can be organized into structured fields such as sender, recipient, and date, the actual message content is generally unstructured. The meaning of each message cannot be fully represented by those fields alone.

AI techniques can analyze the message content to identify customer concerns, understand sentiment, summarize conversations, and discover recurring issues.

This makes unstructured data extremely valuable for modern AI applications.

4. Structured Data vs. Unstructured Data

The following table highlights the major differences between structured and unstructured data.

Feature	Structured Data	Unstructured Data
Organization	Organized in a predefined format	Does not follow one fixed tabular structure
Format	Typically rows and columns	Text, images, videos, audio, and documents
Schema	Usually has a clearly defined schema	May have no fixed content schema
Storage	Relational databases and spreadsheets	File systems, object storage, document repositories, and media platforms
Traditional analysis	Generally easier with standard queries and reports	Often requires specialized processing and analysis techniques
Examples	Sales records, customer tables, inventory	Photos, videos, emails, recordings
AI applications	Forecasting, classification, numerical analysis	Image recognition, speech recognition, language understanding, content generation

Important: Unstructured does not mean that the data contains no information or has no organization whatsoever. It means that its content does not follow the same rigid, predefined structure as a typical relational table. For example, an image contains pixels, and a video contains frames and audio, but their meaning is not directly represented by ordinary table columns.

5. How Much of the World’s Data Is Unstructured?

It is commonly estimated that approximately 80% to 90% of the world’s data is unstructured.

This means that a large proportion of the information generated by individuals and organizations does not naturally fit into simple rows, columns, and predefined fields.

Consider the information created every day through digital activities:

• People upload photographs to social media.
• Businesses exchange emails and documents.
• Users watch and publish videos.
• Customers send text messages and product reviews.
• Organizations record meetings and customer-support calls.
• Smartphones and other devices generate images, audio, and video.

Much of this information is unstructured or contains substantial unstructured content.

For businesses, this represents a vast source of information that can be analyzed to understand customers, improve services, identify trends, and support better decisions.

Note: The 80%–90% figure is a widely cited estimate, not a precise measurement of every data source worldwide. The actual proportion varies depending on how data is defined and measured.

6. Why Was Structured Data Considered More Valuable in the Past?

Historically, structured data was often considered more useful for business analysis because it was easier to process using traditional computing technologies.

Organizations could store information in relational databases and run queries to retrieve specific records or calculate totals.

For example, a business could execute a database query to determine total monthly sales, identify its highest-selling product, or calculate average transaction values.

These operations were relatively straightforward because the information already followed a predefined format.

Unstructured data presented greater challenges.

A computer could store a photograph, video, or email, but understanding the meaning of that content was much more difficult.

For example, a traditional database query could count the number of stored photographs, but determining which photographs contained cars, recognizing objects in a video, or understanding the meaning of an email required more advanced techniques.

As a result, organizations often found structured data easier to analyze and use for decision-making.

7. How Has AI Changed the Value of Unstructured Data?

Advances in Artificial Intelligence have significantly improved the ability of computers to process and interpret unstructured data.

Modern AI techniques can identify patterns and extract useful information from text, images, videos, and audio recordings.

This has transformed unstructured data from information that was difficult to analyze into a valuable resource for organizations.

Examples of AI-Based Unstructured Data Analysis

1. Text Analysis

AI models can analyze emails, documents, customer feedback, and text messages to identify topics, summarize information, classify messages, and detect sentiment.

Example: A company can analyze thousands of customer reviews to discover the most common complaints about a product.

2. Image Analysis

Computer vision models can analyze photographs to identify objects, recognize visual patterns, and classify images.

Example: A retail company can analyze product photographs to identify categories and improve its product catalog.

3. Video Analysis

AI systems can process video frames and, when supported by appropriate models, audio tracks to identify activities, events, objects, or important moments.

Example: A business can analyze recorded training sessions to identify key topics and create summaries.

4. Audio Analysis

Speech recognition and audio-processing models can convert speech into text, identify spoken content, and support analysis of recorded conversations.

Example: A customer-support organization can analyze call recordings to identify frequently reported issues.

5. Email Analysis

AI can analyze large collections of emails to categorize customer requests, summarize conversations, identify recurring problems, and assist with customer support.

These capabilities enable organizations to obtain meaningful insights from data that would otherwise be expensive or time-consuming to examine manually.

8. How Companies Use Unstructured Data

Large technology companies such as Meta and Google have developed extensive AI capabilities for processing and learning from different types of data.

Digital platforms may contain enormous collections of photographs, video footage, text messages, documents, and other forms of information.

AI helps process these data sources for applications such as content understanding, search, recommendations, speech recognition, and image analysis.

Example 1: Photographs

Imagine that a platform contains billions of photographs.

Manually examining every photograph would be impractical. AI-powered image analysis can identify objects, scenes, and other visual features, depending on the system’s capabilities and permissions.

The resulting information can support image search, organization, accessibility features, and content moderation.

Example 2: Videos

Videos contain sequences of visual frames and may also include spoken language, music, and other sounds.

AI techniques can help identify topics, transcribe speech, generate captions, and locate important moments in a video.

This can improve video search, accessibility, and content discovery.

Example 3: Text Messages and Emails

Organizations may receive large volumes of text messages and emails every day.

AI can help identify customer intentions, summarize long conversations, classify requests, and discover common questions.

These capabilities may improve customer-support efficiency and help organizations understand customer needs.

The specific uses of this data depend on the platform, applicable privacy rules, user permissions, and organizational policies.

9. Business Opportunities Created by Unstructured Data

The ability to analyze unstructured data is creating significant opportunities for businesses across many industries.

9.1 Better Customer Understanding

Businesses can analyze customer reviews, feedback messages, support conversations, and survey comments to understand customer expectations and recurring problems.

9.2 Improved Decision-Making

AI can summarize large amounts of information and identify patterns that may not be obvious through manual analysis alone.

Decision-makers can use these findings alongside other business data to evaluate opportunities and risks.

9.3 Automation of Manual Tasks

AI can assist with tasks such as document classification, email categorization, transcription, information extraction, and report summarization.

This can reduce repetitive work and help employees focus on higher-value activities.

9.4 Improved Products and Services

By analyzing customer complaints and product reviews, businesses can identify recurring defects, missing features, and opportunities to improve their offerings.

9.5 Faster Information Retrieval

AI-powered search systems can help users locate relevant information in collections of documents, images, recordings, and other content.

9.6 Discovering Hidden Insights

Unstructured data may contain information about customer behavior, market trends, operational problems, and emerging needs.

AI makes it easier to examine this information at scale and discover potentially useful insights.

However, AI-generated findings still require appropriate evaluation. Data quality, bias, privacy, security, and model limitations can affect the accuracy and reliability of results.

10. Connection Between Data and Generative AI

Data is especially important in Generative AI.

Generative AI models learn patterns from training data and use what they have learned to generate new content, such as text, images, audio, video, or code, depending on the model.

Different types of data can serve different purposes during model development.

For example:

• Text can help language models learn linguistic patterns.
• Images can help image models learn visual patterns.
• Audio can help audio models learn speech and sound patterns.
• Video can provide information about visual sequences and motion.

The exact training process depends on the model architecture, training objectives, available datasets, and development techniques.

Importantly, not every AI model requires the same data, and a model’s training data is not necessarily the same as the information it accesses when answering a user at runtime.

Understanding how data is collected, organized, processed, and analyzed provides a foundation for learning more advanced AI and Generative AI concepts.

11. Key Takeaways

The following are the most important points to remember from this lesson:

1. Data is one of the main ingredients used to develop and operate AI systems.
2. The two major categories discussed in this lesson are structured data and unstructured data.
3. Structured data is commonly organized into rows and columns with predefined fields.
4. Excel spreadsheets and relational database tables are common examples of structured data.
5. Unstructured data includes photographs, videos, audio recordings, text files, emails, and text messages.
6. Approximately 80%–90% of the world’s data is often estimated to be unstructured, although the exact proportion depends on the source and definition.
7. Structured data was traditionally easier to analyze using conventional database queries and reporting tools.
8. Advances in AI have made it increasingly practical to extract useful information from unstructured data.
9. Companies such as Meta and Google use AI capabilities to process and understand different forms of digital information.
10. Analyzing unstructured data creates opportunities for better customer understanding, automation, improved decision-making, and product development.
11. Data quality, privacy, security, and responsible use remain important when applying AI to real-world information.

12. Interview Questions and Answers

Q1. What is data in Artificial Intelligence?

Answer: Data is information that AI systems use to learn patterns, make predictions, classify information, or generate outputs. It can include numbers, text, images, videos, and audio.

Q2. What are the two main types of data discussed in this lesson?

Answer: Structured data and unstructured data.

Q3. What is structured data?

Answer: Structured data follows a predefined format, commonly organized into rows and columns with clearly defined fields.

Q4. What is unstructured data?

Answer: Unstructured data does not follow one fixed, predefined tabular format. Examples include photographs, videos, audio recordings, text documents, and email content.

Q5. Give three examples of structured data.

Answer: Sales transaction tables, employee records, and inventory databases.

Q6. Give three examples of unstructured data.

Answer: Images, videos, and audio recordings.

Q7. Why was structured data traditionally easier to analyze?

Answer: Structured data has a predefined schema and can be queried, filtered, sorted, and aggregated using conventional database and reporting tools.

Q8. What percentage of the world’s data is commonly estimated to be unstructured?

Answer: A commonly cited estimate is approximately 80%–90%. This is an estimate rather than a universally established measurement.

Q9. How does AI help analyze unstructured data?

Answer: AI techniques can identify patterns and extract information from text, images, videos, and audio. They can support tasks such as summarization, object recognition, speech transcription, classification, and sentiment analysis.

Q10. Why is unstructured data valuable for businesses?

Answer: It can reveal customer needs, recurring problems, market trends, and operational insights. Businesses can use this information to improve services, automate tasks, and support decision-making.

Q11. How is unstructured data relevant to Generative AI?

Answer: Unstructured data, including text, images, and audio, can be used to train or develop Generative AI models to produce content or perform tasks related to those data types.

Q12. Does unstructured data have no organization at all?

Answer: No. Unstructured data may have metadata, internal formats, or some level of organization. The term means that its main content does not follow a rigid, predefined tabular schema.

13. Conclusion

Data is a fundamental building block of Artificial Intelligence. Although structured data has traditionally been easier to analyze, advances in AI are enabling organizations to extract useful insights from unstructured data on a much larger scale.

Photographs, videos, emails, text messages, and audio recordings can contain valuable information about people, products, customer behavior, and business operations.

By applying AI techniques to these data sources, companies can discover patterns, automate tasks, improve decision-making, and create new opportunities.

In the next lesson, we will explore how AI scientists and researchers make sense of enormous quantities of unstructured data.

MNIST Dataset అంటే ఏమిటి? Machine Learningలో Handwritten Digits Recognition ఎలా పనిచేస్తుంది? – పూర్తి Class Notes తెలుగులో

1. MNIST Dataset పరిచయం

అందరికీ స్వాగతం! ఈ రోజు మనం Machine Learningలో చాలా ముఖ్యమైన Dataset అయిన MNIST Dataset గురించి తెలుసుకుందాం.

Machine Learning నేర్చుకోవాలనుకునే Beginnersకు MNIST Dataset చాలా ఉపయోగకరంగా ఉంటుంది. దీనిని తరచుగా “Hello World of Machine Learning” అని పిలుస్తారు. ఎందుకంటే, ఈ Dataset ద్వారా Computers Data నుంచి Patternsను ఎలా నేర్చుకుంటాయి, Predictionsను ఎలా చేస్తాయి అనే విషయాలను సులభంగా అర్థం చేసుకోవచ్చు.

MNIST అంటే Modified National Institute of Standards and Technology.

ఈ Datasetలో చేతితో రాసిన 0 నుంచి 9 వరకు ఉన్న Numbersకు సంబంధించిన మొత్తం 70,000 Grayscale Images ఉంటాయి. ప్రతి Image Resolution 28 × 28 Pixelsగా ఉంటుంది.

ఈ Exercise యొక్క ముఖ్యమైన లక్ష్యం ఏమిటంటే, ఒక Imageలో ఉన్న Handwritten Numberను గుర్తించగలిగేలా Machine Learning Algorithmకు Training ఇవ్వడం.

ఉదాహరణకు, ఇద్దరు వ్యక్తులు Number 3 రాశారని అనుకుందాం.

ఒక వ్యక్తి Number 3ను Rounded Curvesతో రాయవచ్చు. మరొక వ్యక్తి కొంచెం Sharp Curvesతో లేదా వేరే Handwriting Styleలో రాయవచ్చు.

ఇద్దరూ రాసిన Number ఒకటే అయినప్పటికీ, ఆ రెండు Imagesలో Pixel Patterns ఒకే విధంగా ఉండవు.

Machine Learning Model ఈ రెండు Imagesను చూసి, వాటి Handwriting వేర్వేరుగా ఉన్నప్పటికీ, రెండూ Number 3నే సూచిస్తున్నాయని గుర్తించడం నేర్చుకోవాలి.

అదేవిధంగా, 3, 6, 9 వంటి Numbers ఆకారాలు కొంతవరకు Similarగా కనిపించినప్పటికీ, వాటి మధ్య తేడాలను గుర్తించాలి.

ఈ Example ద్వారా మనం కొన్ని ముఖ్యమైన Conceptsను నేర్చుకుంటాం:

• Data Representation
• Pixels మరియు Grayscale Images
• Binary Representation
• Machine Learning
• Pattern Recognition
• Model Training మరియు Prediction

2. MNIST Dataset అంటే ఏమిటి?

MNIST అనేది Handwritten Digitsను గుర్తించడానికి Machine Learning Modelsను Train చేయడానికి మరియు Evaluate చేయడానికి ఉపయోగించే ఒక Dataset.

ఈ Datasetలో ప్రతి Image 0 నుంచి 9 వరకు ఉన్న ఒక Digitను సూచిస్తుంది.

MNIST Datasetకు సంబంధించిన ముఖ్యమైన వివరాలు:

• Total Images: 70,000
• Image Dimensions: 28 × 28 Pixels
• Image Type: Grayscale
• Number of Classes: 10
• Classes: 0, 1, 2, 3, 4, 5, 6, 7, 8, 9
• Common Dataset Split: 60,000 Training Images మరియు 10,000 Test Images

ప్రతి Imageలో 28 Horizontal Pixels మరియు 28 Vertical Pixels ఉంటాయి.

కాబట్టి, ఒక Imageలోని మొత్తం Pixels సంఖ్య:

28 × 28 = 784 Pixels

అంటే, ప్రతి MNIST Imageలో 784 Pixel Values ఉంటాయి.

ఈ Pixel Values ఆధారంగా ఒక Machine Learning Model Imageలో ఏ Number ఉందో గుర్తించడం నేర్చుకోగలదు.

Example

ఒక MNIST Imageలో చేతితో రాసిన Number 3 ఉందని అనుకుందాం.

మనిషి ఆ Imageను చూడగానే అది Number 3 అని సులభంగా గుర్తించగలడు.

కానీ Computerకు మొదట Image అనేది Numerical Data రూపంలో అందుతుంది. మనిషిలా దాని అర్థాన్ని సహజంగా తెలుసుకోదు.

Machine Learning Model ఈ Numerical Patternsకు, వాటికి సంబంధించిన Digit Labelsకు మధ్య Relationshipను నేర్చుకోవాలి.

Training పూర్తయిన తర్వాత, కొత్త Imageలో ఏ Digit ఉందో Model Prediction చేయగలదు.

3. MNISTను Hello World of Machine Learning అని ఎందుకు పిలుస్తారు?

Programming నేర్చుకునే Beginners సాధారణంగా మొదట “Hello, World!” అనే Simple Programను రాస్తారు.

అదే విధంగా, Machine Learning నేర్చుకునేవారికి MNIST ఒక Beginner-Friendly Exampleగా ఉపయోగపడుతుంది.

ఎందుకంటే ఇందులో Problem, Input మరియు Expected Output చాలా స్పష్టంగా ఉంటాయి.

Input: Handwritten Digit Image.

Expected Output: ఆ Imageకు సంబంధించిన Digit Label. ఉదాహరణకు 3.

Input Image	Expected Output
Handwritten Zero Image	0
Handwritten Three Image	3
Handwritten Six Image	6
Handwritten Nine Image	9

Modelకు సరైన Labelsతో ఉన్న Training Examplesను అందిస్తారు. ఆ Examples ఆధారంగా Model Patternsను నేర్చుకుంటుంది.

తర్వాత Trainingలో ఉపయోగించని కొత్త Imagesకు సరైన Digitను Predict చేయడానికి ప్రయత్నిస్తుంది.

MNIST Dataset ద్వారా Machine Learning Workflowను నేర్చుకోవచ్చు:

1. Datasetను Collect చేయడం.
2. Imagesను Prepare మరియు Process చేయడం.
3. Machine Learning Modelకు Training ఇవ్వడం.
4. Trained Modelను Evaluate చేయడం.
5. కొత్త Imagesపై Predictions చేయడం.

అందువల్ల, MNIST Dataset Image Classification, Pattern Recognition మరియు Model Training వంటి ముఖ్యమైన Machine Learning Conceptsను నేర్చుకోవడానికి ఉపయోగపడుతుంది.

4. Computer Handwritten Digits మధ్య తేడాలను ఎలా గుర్తిస్తుంది?

ఇప్పుడు ఒక ప్రశ్నను పరిశీలిద్దాం.

ఇద్దరు వ్యక్తులు Number 3ను రాసినప్పుడు, ఆ రెండు Images ఎందుకు వేర్వేరుగా కనిపిస్తాయి?

దీనికి కారణం Handwriting ప్రతి వ్యక్తికి వేర్వేరుగా ఉండటమే.

ఒక వ్యక్తి మందమైన Linesతో Numberను రాయవచ్చు. మరొక వ్యక్తి పలుచని Linesతో రాయవచ్చు. కొంతమంది Rounded Curves ఉపయోగిస్తారు. మరికొంతమంది Angular Shapesతో Numbersను రాస్తారు.

అయినప్పటికీ, మనుషులు సాధారణంగా ఆ Number ఏదో సులభంగా గుర్తించగలరు.

కానీ Computer ఒక Imageను Analyze చేయడానికి దానిని తనకు అర్థమయ్యే Digital Representationలోకి మార్చాలి.

ఇక్కడ Computer Science మరియు Electrical Engineeringలోని ఒక ముఖ్యమైన Conceptను అర్థం చేసుకోవాలి.

Computers Digital Informationను Numerical Values మరియు Binary Representation ద్వారా Store మరియు Process చేస్తాయి.

ఒక Imageను Numerical Informationగా Represent చేయవచ్చు. ఈ Numerical Information ఆధారంగా Machine Learning Algorithms Patternsను నేర్చుకోగలవు.

ఇప్పుడు ఈ Processను Step-by-Stepగా తెలుసుకుందాం.

Step 1: Image అనేది Pixels సముదాయం

ఒక Digital Image అనేక చిన్న చిన్న Unitsతో రూపొందుతుంది. వీటిని Pixels అంటారు.

Pixel అనే పదానికి Picture Element అని అర్థం.

MNIST Imageలో Horizontalగా 28 Pixels, Verticalగా 28 Pixels ఉంటాయి.

అందువల్ల, ఒక Imageలో మొత్తం 784 Pixels ఉంటాయి.

ప్రతి Pixel Image యొక్క Appearanceకు సంబంధించిన సమాచారాన్ని కలిగి ఉంటుంది.

ఉదాహరణకు:

• Backgroundను సూచించే Pixels ఒకే విధమైన Intensity Values కలిగి ఉండవచ్చు.
• Handwritten Strokesను సూచించే Pixels వేర్వేరు Intensity Values కలిగి ఉండవచ్చు.
• ఈ Pixels అన్నీ ఒక ప్రత్యేకమైన Arrangementలో కలిసినప్పుడు Number ఆకారం ఏర్పడుతుంది.

ఈ విధంగా, Pixels కలయికతో Handwritten Digit Image రూపొందుతుంది.

Step 2: ప్రతి Pixelకు ఒక Numerical Value ఉంటుంది

సాధారణంగా 8-bit Grayscale Imageలో ప్రతి Pixel Value 0 నుంచి 255 వరకు ఉంటుంది.

ఈ Rangeలో మొత్తం 256 Intensity Levels ఉంటాయి.

ఒక సాధారణ 8-bit Grayscale Conventionలో:

Pixel Value	Meaning
0	Black
64	Dark Gray
128	Medium Gray
192	Light Gray
255	White

ఈ Values మధ్య ఉన్న Numbers వివిధ Shades of Grayను సూచిస్తాయి.

ముఖ్యమైన గమనిక: Pixel Valueను Black లేదా Whiteగా ఎలా అర్థం చేసుకోవాలి అనేది Image Encoding మరియు Display Conventionపై ఆధారపడి ఉంటుంది. కొన్ని Imagesలో Intensity Values Reverseగా ఉండవచ్చు.

సాధారణ MNIST Representationలో సాధారణంగా 0 అనేది Blackను, 255 అనేది Whiteను సూచిస్తుంది. మధ్యలో ఉన్న Values వివిధ Gray Shadesను సూచిస్తాయి.

అయితే, Imageను ఉపయోగించే ముందు దాని Pixel Conventionను పరిశీలించడం మంచిది.

Step 3: Image Numerical Dataగా మారుతుంది

ఒక Handwritten Digit Imageను Numbersతో కూడిన Two-Dimensional Arrayగా Represent చేయవచ్చు.

ఉదాహరణకు, ఒక Grayscale Imageలోని చిన్న భాగం క్రింది విధంగా ఉండవచ్చు.

0	0	0	0	0
0	32	120	200	255
0	80	180	240	255
0	20	100	160	255

గమనిక: పై Values వివరణ కోసం మాత్రమే ఇచ్చిన ఉదాహరణ. ఇది అసలు MNIST Digit Image కాదు.

ఇక్కడ ప్రతి Number ఒక Pixel యొక్క Grayscale Intensityను సూచిస్తుంది.

ఒక పూర్తి MNIST Imageలో ఇలాంటి 784 Numerical Values ఉంటాయి.

ఈ Imageను 784 Values కలిగిన Arrayగా Represent చేయవచ్చు. అవసరమైనప్పుడు దానిని మళ్లీ 28 × 28 రూపంలో ఉపయోగించవచ్చు.

Step 4: Computer ఈ Valuesను Binaryలో Represent చేస్తుంది

Computers Digital Informationను Store మరియు Process చేయడానికి Binary Digits, అంటే 0 మరియు 1ను ఉపయోగిస్తాయి.

ఒక Binary Digitను Bit అంటారు.

ఒక Bitకు రెండు Values మాత్రమే ఉంటాయి:

• 0
• 1

దీనినే Binary Number System అంటారు.

ఉదాహరణకు:

• Decimal Number 5 యొక్క Binary Representation: 101
• Decimal Number 10 యొక్క Binary Representation: 1010

8 Bits ఉపయోగించి 0 నుంచి 255 వరకు Valuesను Represent చేయవచ్చు.

అందువల్ల, Standard 8-bit Grayscale Imageలోని 256 Intensity Levelsను Represent చేయడానికి ఇది సరిపోతుంది.

Decimal Value	8-bit Binary Representation
0	00000000
1	00000001
5	00000101
10	00001010
255	11111111

ఈ విధంగా Pixel Valuesను Computerలో Binary Formలో Store చేయవచ్చు.

Computer Hardware Binary Statesను ఉపయోగించి Operations నిర్వహిస్తుంది. అదే సమయంలో, Software మరియు Machine Learning Libraries ఈ Informationను Numerical Arrays రూపంలో అందిస్తాయి. వీటిని ఉపయోగించి Imagesను సులభంగా Process చేయవచ్చు.

5. Similar Pixel Patterns ద్వారా ఒకే Digitను ఎలా గుర్తిస్తారు?

ఇప్పుడు మళ్లీ Handwritten Digit 3 Exampleను పరిశీలిద్దాం.

ఇద్దరు వ్యక్తులు Number 3ను వేర్వేరు విధాలుగా రాశారని అనుకుందాం.

వారి Handwritingలో Curves, Thickness, Position మరియు Shape వేర్వేరుగా ఉంటాయి. అందువల్ల Imagesలోని Pixel Values కూడా వేర్వేరుగా ఉంటాయి.

అయితే, ఆ రెండు Imagesలో కొన్ని ముఖ్యమైన Visual Characteristics Similarగా ఉండవచ్చు:

• రెండు Curved Sections ఉండవచ్చు.
• Overall Shape Similarగా ఉండవచ్చు.
• పై భాగం మరియు కింది భాగంలో కొన్ని Similarities ఉండవచ్చు.
• Foreground మరియు Background Pixels ఒక ప్రత్యేకమైన Patternలో ఉండవచ్చు.

Machine Learning Model అనేక Labelled Examplesను పరిశీలించి, Number 3కు సంబంధించిన Patternsను నేర్చుకుంటుంది.

అదేవిధంగా, 0, 1, 2, 4, 5, 6, 7, 8 మరియు 9 వంటి ఇతర Digitsకు సంబంధించిన Patternsను కూడా నేర్చుకుంటుంది.

ఏ Patterns ఒక Digitను మరో Digit నుంచి వేరు చేయగలవో Model గుర్తించడానికి ప్రయత్నిస్తుంది.

ఉదాహరణకు, 3, 6 మరియు 9లో Curved Strokes ఉండవచ్చు. అయినప్పటికీ, వాటి Overall Shapes మరియు Curves Arrangement వేర్వేరుగా ఉంటాయి.

Training Examples నుంచి నేర్చుకున్న Patternsను ఉపయోగించి Model ఈ Digits మధ్య తేడాలను గుర్తించగలదు.

ముఖ్యమైన విషయం

Number 3కు సంబంధించిన అన్ని Imagesలో Pixel Values ఒకేలా ఉండవు. వేర్వేరు Handwriting Styles కారణంగా వాటి Pixel Patternsలో గణనీయమైన తేడాలు ఉండవచ్చు.

అయితే, Machine Learning Model ఉపయోగకరమైన Visual Features మరియు Statistical Relationshipsను నేర్చుకుంటుంది.

ఈ Patterns ఆధారంగా కొత్త Handwritten Imagesను కూడా సరైన Digitగా గుర్తించడానికి ప్రయత్నిస్తుంది.

Training Examples నుంచి నేర్చుకున్న విషయాలను కొత్త Examplesపై వర్తింపజేయగల సామర్థ్యాన్ని Generalization అంటారు.

ఇది Machine Learningలో చాలా ముఖ్యమైన Concept.

6. Machine Learning ద్వారా MNIST Problemను ఎలా Solve చేస్తారు?

Machine Learning అనేది ప్రతి Situationకు ప్రత్యేకమైన Rulesను Manually రాయాల్సిన అవసరం లేకుండా, Examples నుంచి Patternsను నేర్చుకునే విధానం.

MNIST Problemను Solve చేయడానికి Labelled Imagesను ఉపయోగించి ఒక Classification Modelకు Training ఇస్తారు.

Label అంటే ఒక Imageలో ఉన్న అసలు Digitను సూచించే Correct Answer.

ఉదాహరణకు:

Training Image	Label
Handwritten 3 Image	3
Handwritten 6 Image	6
Handwritten 9 Image	9
Handwritten 1 Image	1

Training సమయంలో Model ప్రతి Image యొక్క Numerical Representationను పరిశీలించి, ఆ Imageకు సంబంధించిన Correct Labelతో ఉన్న Relationshipను నేర్చుకుంటుంది.

Training పూర్తయిన తర్వాత, కొత్త Imageను అందించినప్పుడు దానిలో ఏ Digit ఉందో Predict చేయగలదు.

Machine Learning Workflow

1. Data Collection

Handwritten Digit Images కలిగిన MNIST Datasetను Collect చేస్తారు.

2. Data Preprocessing

Imagesను Modelకు అనుకూలమైన Formatలోకి Convert చేస్తారు.

Model అవసరాలను బట్టి క్రింది పనులు చేయవచ్చు:

• Normalization
• Reshaping
• Pixel Valuesను Floating-Point Numbersగా Convert చేయడం

ఉదాహరణకు, Pixel Values 0 నుంచి 255 మధ్య ఉంటే, వాటిని 0 నుంచి 1 మధ్య ఉండే Rangeకు Scale చేయవచ్చు.

3. Model Training

Images మరియు వాటికి సంబంధించిన Correct Labelsను Machine Learning Algorithmకు అందిస్తారు.

ఈ Examples ఆధారంగా, Image Dataను Digit Labelsతో అనుసంధానించే Patternsను Model నేర్చుకుంటుంది.

4. Model Evaluation

Trainingలో ఉపయోగించని వేరే Imagesతో Modelను Test చేస్తారు.

దీని ద్వారా కొత్త Handwritten Digitsను Model ఎంతవరకు సరిగ్గా గుర్తించగలుగుతుందో తెలుసుకోవచ్చు.

5. Prediction

Training పూర్తయిన Modelకు కొత్త Handwritten Digit Imageను అందిస్తారు.

Model ఆ Imageకు ఒక Predicted Classను ఇస్తుంది. ఉదాహరణకు 3 లేదా 6.

Model వేర్వేరు Digit Classesకు Scores లేదా Probabilitiesను కూడా ఇవ్వవచ్చు.

Example: Digit Prediction

ఒక Trained Modelకు కొత్త Handwritten Digit Imageను అందించామని అనుకుందాం.

Model Imageను Analyze చేసి క్రింది విధంగా Scores ఇచ్చిందని ఊహించుకుందాం.

Digit Class	Model Score
3	0.92
6	0.04
9	0.02
Other Digits Combined	0.02

ఈ ఉదాహరణలో Digit 3కు అత్యధిక Score వచ్చింది.

అందువల్ల, Model ఆ Image Digit 3 అని Predict చేస్తుంది.

గమనిక: ఇవి వివరణ కోసం ఇచ్చిన Hypothetical Scores మాత్రమే. Model ఇచ్చే ప్రతి Score తప్పనిసరిగా Calibrated Probability అవుతుందని చెప్పలేం.

ఈ Exampleలో ముఖ్యమైన విషయం ఏమిటంటే, వేర్వేరు Digitsకు సంబంధించిన Numerical Patternsను Model నేర్చుకుని, వాటి మధ్య తేడాలను గుర్తించగలుగుతుంది.

7. మన చుట్టూ ఉన్న ప్రపంచాన్ని Dataగా ఎలా మారుస్తారు?

MNIST Dataset ద్వారా మనం నేర్చుకునే ముఖ్యమైన విషయం ఏమిటంటే, ప్రపంచంలోని వివిధ రకాల సమాచారాన్ని Computers Process చేయగల Digital Representationగా మార్చవచ్చు.

మనుషులు Images, Sounds, Written Language మరియు Movement వంటి సమాచారాన్ని సహజంగా అర్థం చేసుకోగలరు.

కానీ Computer Software ఉపయోగించి ఈ సమాచారాన్ని Process చేయాలంటే, దానిని సరైన Digital Formatలో Represent చేయాలి.

MNIST Exampleలో Handwritten Digitsను Numerical Pixel Valuesగా మార్చడం ద్వారా ఈ విషయం అర్థమవుతుంది.

ఇదే ప్రాథమిక Conceptను ఇతర Data Typesకు కూడా వర్తింపజేయవచ్చు.

7.1 Images

Digital Imageను Pixels సముదాయంగా Represent చేయవచ్చు.

Grayscale Imageలో సాధారణంగా ప్రతి Pixelకు ఒక Intensity Value ఉంటుంది.

RGB Color Imageలో ప్రతి Pixelకు సాధారణంగా మూడు Color Channel Values ఉంటాయి:

• Red
• Green
• Blue

ఉదాహరణకు, ఒక RGB Pixelను ఇలా Represent చేయవచ్చు:

• Red: 255
• Green: 0
• Blue: 0

Standard RGB Color Modelలో ఈ కలయిక Red Colorను సూచిస్తుంది.

ఈ విధంగా Digital Imagesను Computers Store మరియు Process చేయగల Numerical Arraysగా Represent చేయవచ్చు.

7.2 Videos

Digital Video అనేది కాలక్రమంలో వరుసగా చూపించే Frames సముదాయం.

ప్రతి Frame ఒక Image. ఆ Imageలో అనేక Pixels ఉంటాయి.

ఒక Videoలో వేల సంఖ్యలో Frames ఉంటే, దానిలో Resolution మరియు Durationను బట్టి లక్షల లేదా కోట్ల సంఖ్యలో Pixel Measurements ఉండవచ్చు.

ఉదాహరణకు, ఒక Video ప్రతి Secondకు 30 Frames కలిగి ఉందని అనుకుందాం.

10 Seconds Videoలో మొత్తం Frames సంఖ్య:

30 × 10 = 300 Frames

ప్రతి Frame Resolution 1920 × 1080 Pixels అయితే, ఆ Videoలో చాలా పెద్ద మొత్తంలో Visual Information ఉంటుంది.

Video Filesలో Audio, Timestamps మరియు ఇతర Metadata కూడా ఉండవచ్చు.

AI Systems Video Frames మరియు అందుబాటులో ఉన్న ఇతర Signalsను Process చేసి క్రింది పనులు చేయగలవు:

• Object Detection
• Activity Recognition
• Video Summarization
• Scene Understanding

7.3 Sound మరియు Audio

Soundను కూడా Digital Representationలోకి మార్చవచ్చు.

సాధారణంగా Digital Audio Systems, Sound Waveను నిర్దిష్ట Time Intervalsలో Sample చేసి Numerical Valuesగా మారుస్తాయి.

ఈ Samples నిర్దిష్ట సమయాల్లో Sound Signal యొక్క Amplitudeను సూచిస్తాయి.

ఈ Numerical Valuesను Sequenceగా Store చేసి Binary Formలో Process చేయవచ్చు.

AI Systems Audio Dataను ఉపయోగించి క్రింది Tasks చేయగలవు:

• Speech Recognition
• Audio Classification
• Speaker Analysis
• Sound Event Detection
• Speech-to-Text Conversion
• Audio Generation

ఖచ్చితమైన Audio Representation అనేది ఉపయోగించే Audio Format మరియు Modelపై ఆధారపడి ఉంటుంది.

7.4 Written Language మరియు Text

Written Languageను కూడా Digital Formలో Represent చేయవచ్చు.

ఉదాహరణకు, Text Charactersను Encode చేయడానికి Unicode వంటి Standards ఉపయోగిస్తారు. Unicode ప్రతి Characterకు ఒక Code Pointను కేటాయిస్తుంది.

AI Systemsలో Textను సాధారణంగా Tokensగా విభజించి, ఆ Tokensను Model Process చేయగల Numerical Representationsగా మారుస్తారు.

ఈ Representations ద్వారా Language Models Words, Sentences మరియు Text Structureలోని Patternsను నేర్చుకోగలవు.

Text ఆధారంగా క్రింది Applicationsను అభివృద్ధి చేయవచ్చు:

• Text Classification
• Translation
• Summarization
• Question Answering
• Generative AI Applications

ముఖ్యమైన విషయం: Images, Videos, Audio మరియు Textకు వేర్వేరు Digital Representations ఉంటాయి. అయితే, వీటన్నింటినీ Computer Processingకు అనుకూలమైన Numerical Informationగా మార్చవచ్చు.

8. Computers Dataను ఉపయోగించి ఎలా నేర్చుకుంటాయి?

Computerకు Data అందించినంత మాత్రాన ఆ Dataలోని ప్రతి అంశాన్ని అది స్వయంగా అర్థం చేసుకోదు.

ఒక Machine Learning System, Data నుంచి ఉపయోగకరమైన Patternsను నేర్చుకోవడానికి సరైన Algorithm మరియు Training Processను ఉపయోగించాలి.

ఈ Processలో సాధారణంగా అనేక దశలు ఉంటాయి.

8.1 Finding Patterns

Model అనేక Examplesను Analyze చేసి, ఒక Taskకు సంబంధించిన ముఖ్యమైన Features లేదా Relationshipsను గుర్తించడానికి ప్రయత్నిస్తుంది.

MNISTలో ఒక Handwritten Digitను మరొక Digit నుంచి వేరు చేయడానికి ఉపయోగపడే Patternsను Model నేర్చుకుంటుంది.

8.2 Studying Similarities

ఏ Examplesలో Similar Characteristics ఉన్నాయో, ఏ Features వేర్వేరు Classesను గుర్తించడంలో సహాయపడతాయో Model నేర్చుకుంటుంది.

రెండు Images ఒకేలా కనిపించకపోయినా అవి ఒకే Digitను సూచించవచ్చు.

అదేవిధంగా, రెండు Imagesలో కొన్ని Similar Features ఉన్నప్పటికీ, అవి వేర్వేరు Digitsను సూచించవచ్చు.

Classification కోసం Model అనేక Relevant Features కలయికను ఉపయోగించడం నేర్చుకుంటుంది.

8.3 Learning from Examples

Training సమయంలో Model Predictionsను Correct Labelsతో పోల్చుతారు.

ఈ Predictionsలో Errorsను తగ్గించడానికి Optimization Process ద్వారా Model Parametersను Adjust చేస్తారు.

ఖచ్చితమైన విధానం ఉపయోగించే Algorithmపై ఆధారపడి ఉంటుంది.

8.4 Performing Tasks

Training మరియు Evaluation పూర్తయిన తర్వాత, Model నేర్చుకున్న Patternsను ఉపయోగించి కొత్త Input Dataపై Predictions చేయగలదు.

ఈ విధంగా Machine Learning ద్వారా క్రింది Tasksను నిర్వహించవచ్చు:

• Handwritten Digit Recognition
• Image Classification
• Speech Transcription
• Text Analysis

ముఖ్యమైన సూత్రం: సరైన Data అనేది Machine Learning Model Examples నుంచి నేర్చుకోవడానికి అవసరమైన ప్రాథమిక అంశం.

9. Human Brain మరియు Artificial Intelligence

మనుషులు తమ చుట్టూ ఉన్న ప్రపంచం నుంచి ఒకేసారి విస్తృతమైన Informationను సేకరించి Process చేయగలరు.

మన Brain వివిధ Senses ద్వారా అందే సమాచారాన్ని Process చేస్తుంది.

మన ఐదు ప్రధాన Senses:

• Vision
• Hearing
• Touch
• Taste
• Smell

ఉదాహరణకు, ఒక Tableపై Cup ఉందని అనుకుందాం.

మనం ఆ Cupను చూడగానే అది ఏ వస్తువో గుర్తించగలం. దాని Position, Shape మరియు చుట్టూ ఉన్న Objectsతో దానికి ఉన్న సంబంధాన్ని కూడా అర్థం చేసుకోగలం.

ఈ పనులలో చాలా వరకు మనం ప్రతి వివరాన్ని విడివిడిగా పరిశీలించకుండానే వేగంగా చేస్తాం.

మన Brain Senses నుంచి వచ్చే Informationను కలిపి, గత అనుభవాలను ఉపయోగించి ప్రపంచాన్ని అర్థం చేసుకోవడంలో సహాయపడుతుంది.

ఇది చాలా క్లిష్టమైన ప్రక్రియ.

దీనికి భిన్నంగా, AI System ఒక నిర్దిష్ట Taskను చేయడానికి సరైన Data, Model మరియు Computational Resourcesతో Develop చేసి Train చేయాలి.

AI Researchers Perception, Language, Reasoning, Prediction మరియు Interaction వంటి Tasksను నిర్వహించగలిగే Advanced Systemsను అభివృద్ధి చేయడానికి ప్రయత్నిస్తున్నారు.

అయితే, ప్రస్తుత AI Systems మానవ Brain యొక్క అన్ని సామర్థ్యాలను పూర్తిగా పునరావృతం చేస్తాయని భావించకూడదు. వాటి Capabilities అనేవి వాటి Design, Training, Available Information మరియు Operating Environmentపై ఆధారపడి ఉంటాయి.

10. AI Systems ప్రపంచం నుంచి Dataను ఎలా Collect చేస్తాయి?

ప్రపంచంలోని Patternsను గుర్తించగలిగే AI Systemsను అభివృద్ధి చేయడానికి Researchers మరియు Organizationsకు తగిన Data అవసరం.

ఈ Dataను అనేక Sources నుంచి సేకరించవచ్చు.

10.1 Sensors

Sensors భౌతిక ప్రపంచం నుంచి Measurementsను Collect చేస్తాయి.

ఉదాహరణలు:

• Cameras
• Microphones
• Temperature Sensors
• Motion Sensors
• ఇతర Measurement Devices

ఈ Sensors నుంచి వచ్చే Dataను Robotics, Autonomous Systems, Industrial Monitoring మరియు Environmental Analysis వంటి Applicationsలో ఉపయోగించవచ్చు.

10.2 Video

Video Recordings ద్వారా కాలక్రమంలో మారే Visual Informationను పొందవచ్చు.

ఈ Dataను క్రింది Applicationsలో ఉపయోగించవచ్చు:

• Object Detection
• Surveillance Analytics
• Traffic Analysis
• Video Summarization
• Activity Recognition

ఈ Applicationsను ఉపయోగించేటప్పుడు తగిన Permissions మరియు Privacy Protectionsను పాటించాలి.

10.3 Audio

Audio Dataను Microphones, Recorded Conversations, Public Recordings మరియు ఇతర Sound Sources నుంచి పొందవచ్చు.

ఈ Dataను ఉపయోగించి Speech Recognition, Audio Classification మరియు Sound Understanding Applicationsను Develop చేయవచ్చు.

10.4 Text

Text Dataలో Documents, Articles, Reports, Books, Messages మరియు ఇతర Written Materials ఉండవచ్చు.

Data Source, Licensing మరియు Permissions ఆధారంగా ఈ Textను Model Training, Evaluation లేదా Document Summarization వంటి Applications అభివృద్ధికి ఉపయోగించవచ్చు.

10.5 Social Media

Social Media Platformsలో Text Posts, Images, Videos, Comments మరియు ఇతర User-Generated Content ఉండవచ్చు.

ఈ Content ద్వారా Language Patterns, Public Discussion Trends మరియు ఇతర Insightsను విశ్లేషించవచ్చు.

అయితే, ఈ Dataను Access చేయడం మరియు ఉపయోగించడం కోసం Platform Rules, Privacy Requirements, Applicable Laws మరియు అవసరమైన User Permissionsను పాటించాలి.

10.6 Satellite Images

Satellite Images ద్వారా భూమి ఉపరితలానికి సంబంధించిన Visual Informationను పొందవచ్చు.

AI Applications ఈ Imagesను ఉపయోగించి క్రింది పనులను చేయవచ్చు:

• Land-Use Classification
• Crop Monitoring
• Environmental Analysis
• Disaster Assessment

10.7 Internet Browsing Patterns

Internet Browsing Dataలో Page Visits, Search Activity, Clicks మరియు Digital Servicesతో User Interactions వంటి వివరాలు ఉండవచ్చు.

తగిన అనుమతులు మరియు Privacy Protectionsతో ఈ Dataను ఉపయోగించి User Behaviorను Analyze చేయవచ్చు, Recommendationsను మెరుగుపరచవచ్చు లేదా Website Analytics నిర్వహించవచ్చు.

ఇలాంటి Information Sensitiveగా ఉండవచ్చు. అందువల్ల, అవసరమైన చోట Consent, Legal Requirements మరియు Privacy Protectionsను పాటించాలి.

11. Researchers పెద్ద మొత్తంలో Dataను ఎలా Collect మరియు Process చేస్తారు?

AI Researchers మరియు Organizations తమ Systems కోసం అవసరమైన Dataను Collect చేయడానికి, Access చేయడానికి మరియు Process చేయడానికి వివిధ పద్ధతులను ఉపయోగిస్తారు.

వాటిలో ముఖ్యమైనవి:

1. Web Scraping
2. APIs
3. Big Data Analytics

11.1 Web Scraping

Web Scraping అనేది Websites నుంచి సమాచారాన్ని Automatically Extract చేసే Technique.

Website Permissions మరియు Applicable Rules ఆధారంగా Article Text, Product Details లేదా ఇతర అందుబాటులో ఉన్న Informationను Extract చేయవచ్చు.

ఉదాహరణకు, Language Patternsను Study చేయడానికి Researcher అనుమతులు ఉన్న Articles నుంచి Text Informationను Collect చేయవచ్చు.

Web Scraping చేసేటప్పుడు క్రింది అంశాలను పాటించాలి:

• Applicable Laws
• Website Terms
• Access Restrictions
• Copyright Requirements
• Privacy Obligations

ఒక Websiteలో Information Publicగా కనిపిస్తోందని మాత్రమే, దానిని ఏ Purposeకైనా స్వేచ్ఛగా ఉపయోగించవచ్చని అర్థం కాదు.

11.2 APIs

API అంటే Application Programming Interface.

API ద్వారా ఒక Software Application మరొక Software Systemతో Defined Methodలో Communicate చేయగలదు.

ఉదాహరణకు, ఒక Organization Authorized APIను ఉపయోగించి Weather Information, Product Details లేదా అనుమతి ఉన్న Recordsను External Service నుంచి Retrieve చేయవచ్చు.

APIs ద్వారా Dataను Predictable మరియు Defined Formatలో పొందవచ్చు.

అయితే, API ద్వారా ఏ Dataను Access చేయగలమో అనేది API Permissions, Documentation, Rate Limits మరియు Service Policiesపై ఆధారపడి ఉంటుంది.

11.3 Big Data Analytics

Big Data Analytics అనేది చాలా పెద్దదైన, Complexగా ఉన్న లేదా వేగంగా Generate అయ్యే Datasetsను Process చేసి Analyze చేయడానికి ఉపయోగించే Techniques మరియు Technologies సముదాయం.

ప్రతి Large-Scale Data Processing Taskను Traditional Toolsతో మాత్రమే నిర్వహించడం సాధ్యం కాకపోవచ్చు.

అవసరాన్ని బట్టి Organizations క్రింది Technologies మరియు Methodsను ఉపయోగించవచ్చు:

• Distributed Storage
• Parallel Processing
• Data Pipelines
• Specialized Analytical Tools

Big Data Analytics ద్వారా పెద్ద మొత్తంలో ఉన్న Dataలో Patterns, Trends, Correlations మరియు ఇతర ఉపయోగకరమైన Informationను గుర్తించవచ్చు.

ఈ Approaches కలిసి ఎలా పనిచేస్తాయి?

ఒక Organization Customer Feedbackను Analyze చేయడానికి AI Systemను Develop చేయాలని అనుకుందాం.

ఈ Organization తన Support Systems నుంచి అనుమతి ఉన్న Text Dataను Collect చేయవచ్చు. Relevant Recordsను Retrieve చేయడానికి Authorized APIsను ఉపయోగించవచ్చు. ఆ తర్వాత Data Pipelines ద్వారా పెద్ద మొత్తంలో Feedbackను Process చేయవచ్చు.

తదుపరి దశలో AI మరియు Analytical Techniquesను ఉపయోగించి Customers ఎక్కువగా ఎదుర్కొంటున్న Problemsను గుర్తించవచ్చు.

ఈ విధంగా Data Collection, Data Processing మరియు Data Analysis అన్నీ AI Application Developmentలో పరస్పరం అనుసంధానమై ఉంటాయి.

12. Data ద్వారా AI మరియు Machine Learning Modelsను ఎలా Improve చేస్తారు?

AI Modelను Develop చేయడంలో Data Collection ఒక దశ మాత్రమే.

సేకరించిన Dataను సరైన విధంగా Prepare చేయాలి, Errors ఉన్నాయేమో పరిశీలించాలి మరియు తగిన Training Processలో ఉపయోగించాలి.

ఒక సాధారణ AI Development Workflowలో క్రింది దశలు ఉంటాయి.

Stage 1: Data Collection

సంబంధిత Sources నుంచి అవసరమైన Dataను Collect చేయడం.

Stage 2: Data Cleaning

Dataలో ఉన్న సమస్యలను గుర్తించి అవసరమైన చర్యలు తీసుకోవడం.

ఉదాహరణలు:

• Missing Values
• Duplicate Records
• Corrupted Files
• Incorrect Labels

Stage 3: Data Preparation

ఎంచుకున్న Model Process చేయగల Formatలోకి Dataను మార్చడం.

Image Data విషయంలో Imagesను Resize చేయడం, Pixel Valuesను Normalize చేయడం మరియు Labelsను Encode చేయడం వంటివి ఉండవచ్చు.

Stage 4: Model Training

సరైన Examples మరియు Learning Objectiveను ఉపయోగించి Modelకు Training ఇవ్వడం.

Stage 5: Model Evaluation

Model Parametersను Train చేయడానికి ఉపయోగించని Dataతో Model Performanceను Evaluate చేయడం.

దీని ద్వారా కొత్త Examplesపై Model ఎంత బాగా Generalize చేయగలదో అంచనా వేయవచ్చు.

Stage 6: Model Refinement

Model Errorsను Analyze చేసి అవసరమైన Improvements చేయడం.

ఉదాహరణకు:

• Datasetను Improve చేయడం
• Training Processను మార్చడం
• Model Architectureను Adjust చేయడం
• ఇతర సంబంధిత Componentsను మెరుగుపరచడం

Stage 7: Deployment and Monitoring

Modelను Applicationలో Deploy చేసి, Real-World Performanceను Monitor చేయడం.

కాలక్రమంలో Input Data మరియు Real-World Conditions మారవచ్చు. అందువల్ల, Model Performanceను నిరంతరం పరిశీలించడం అవసరం కావచ్చు.

ఈ Workflow ద్వారా ఒక ముఖ్యమైన విషయం అర్థమవుతుంది.

మంచి AI Modelను అభివృద్ధి చేయడానికి ఎక్కువ మొత్తంలో Data Collect చేయడం మాత్రమే సరిపోదు. ఆ Data సరైనది, Reliableగా ఉన్నది మరియు ఉపయోగించే Taskకు తగినది కావాలి.

13. Garbage In, Garbage Out (GIGO)

Data Science మరియు Artificial Intelligenceలో ముఖ్యమైన సూత్రాలలో ఒకటి:

“Garbage In, Garbage Out.”

దీనిని సంక్షిప్తంగా GIGO అని పిలుస్తారు.

ఈ సూత్రం అర్థం ఏమిటంటే, Input Data Quality బాగాలేకపోతే, Model నుంచి వచ్చే Results కూడా నాణ్యతలేనివిగా ఉండవచ్చు.

Input Data Incorrectగా, Incompleteగా, Misleadingగా లేదా Taskకు అనుకూలంగా లేకపోతే, AI Model నుంచి ఎల్లప్పుడూ Reliable Predictionsను పొందడం కష్టం.

Example 1: Incorrect Labels

MNIST Training Datasetలో Number 3కు సంబంధించిన కొన్ని Imagesను తప్పుగా Number 8గా Label చేశారని అనుకుందాం.

అప్పుడు Model తప్పు Relationshipsను నేర్చుకునే అవకాశం ఉంటుంది.

దీని వల్ల Handwritten Digitsను సరిగ్గా Classify చేసే సామర్థ్యం తగ్గవచ్చు.

Example 2: Poor-Quality Images

ఒక Handwritten Digit Image చాలా Blurryగా, Distortedగా లేదా కొంత భాగం కనిపించకుండా ఉందని అనుకుందాం.

అప్పుడు Imageలోని ముఖ్యమైన Visual Information కోల్పోవచ్చు. దీని కారణంగా Model సరైన Digitను గుర్తించడంలో ఇబ్బంది పడవచ్చు.

Example 3: Unrepresentative Data

ఒక Modelకు చాలా పరిమితమైన Handwriting Stylesతో మాత్రమే Training ఇచ్చారని అనుకుందాం.

Trainingలో కనిపించని ఇతర Handwriting Stylesను Modelకు అందించినప్పుడు, దాని Predictions Accuracy తగ్గవచ్చు.

Example 4: Biased Data

ఒక Datasetలో Model ఉపయోగించబోయే అన్ని Groups లేదా Situationsకు సంబంధించిన Examples తగినంతగా లేవని అనుకుందాం.

అప్పుడు కొన్ని సందర్భాల్లో Model బాగా పనిచేసినా, ఇతర సందర్భాల్లో దాని Performance తగ్గవచ్చు.

దీంతో Unfair లేదా Unreliable Outcomes వచ్చే అవకాశం ఉంటుంది.

Data Qualityను ఎలా Improve చేయవచ్చు?

Data Qualityను మెరుగుపరచడానికి క్రింది Practicesను అనుసరించవచ్చు:

• Dataలో Errors మరియు Inconsistencies ఉన్నాయేమో Check చేయాలి.
• అవసరమైనప్పుడు Duplicate Recordsను Remove చేయాలి లేదా సరిచేయాలి.
• Labels మరియు Annotationsను Verify చేయాలి.
• Missing Valuesను జాగ్రత్తగా Handle చేయాలి.
• Real-World Use Casesకు సరిపోయే Dataను ఉపయోగించాలి.
• Dataను Unauthorized Access నుంచి Protect చేయాలి.
• Trainingలో ఉపయోగించని తగిన Dataతో Modelను Evaluate చేయాలి.
• Deployment తర్వాత Model Performanceను Monitor చేయాలి.

ముఖ్యమైన విషయం: High-Quality Data ఉన్నంత మాత్రాన Model Outputs ఎల్లప్పుడూ Excellentగా ఉంటాయని హామీ లేదు.

Model Architecture, Training Methods, Evaluation Process మరియు Applicationకు Data ఎంతవరకు సరిపోతుంది అనే అంశాలు కూడా Model Performanceపై ప్రభావం చూపుతాయి.

అందువల్ల, High-Quality Data, Appropriate Model మరియు Well-Designed Training Process కలిపి Reliable AI Systemsను అభివృద్ధి చేయడంలో సహాయపడతాయి.

14. ఈ Conceptsకు సంబంధించిన Real-World Applications

MNIST Dataset ద్వారా నేర్చుకున్న Conceptsను అనేక Real-World AI Applicationsలో ఉపయోగించవచ్చు.

14.1 Handwritten Digit Recognition

Banks మరియు Document Processing Systems Forms లేదా ఇతర Documentsలో ఉన్న Handwritten Numbersను గుర్తించడానికి Image Recognitionను ఉపయోగించవచ్చు.

14.2 Optical Character Recognition (OCR)

OCR అనేది Images లేదా Scanned Documentsలో ఉన్న Textను Machine-Readable Textగా Convert చేసే Technology.

14.3 Medical Image Analysis

AI Models Medical Imagesలోని Patternsను Analyze చేసి, తదుపరి సమీక్ష అవసరమయ్యే అంశాలను గుర్తించడంలో Qualified Medical Professionalsకు సహాయపడవచ్చు.

14.4 Speech Recognition

Speech Recognition Systems Digital Audioను Analyze చేసి, మాట్లాడిన భాషను Textగా Convert చేయగలవు.

14.5 Video Understanding

AI Systems Video Framesను Analyze చేసి Objects, Activities లేదా ముఖ్యమైన Eventsను గుర్తించగలవు.

14.6 Generative AI

Generative AI Models తగిన Training Data నుంచి Patternsను నేర్చుకొని కొత్త Contentను Generate చేస్తాయి.

Model Typeను బట్టి Text, Images, Audio లేదా Code వంటి Contentను Generate చేయవచ్చు.

MNIST Problem సాపేక్షంగా సులభమైనదే అయినప్పటికీ, Informationను Numerical Formలో Represent చేయడం మరియు Examples నుంచి Patternsను నేర్చుకోవడం వంటి ముఖ్యమైన Conceptsను అర్థం చేసుకోవడానికి ఇది మంచి Foundationను అందిస్తుంది.

15. గుర్తుంచుకోవాల్సిన ముఖ్యమైన Technical Terms

Technical Term	Explanation
MNIST	Handwritten Digits Images కలిగిన ప్రముఖ Dataset
Pixel	Digital Imageలోని Picture Element
Grayscale	వివిధ Intensity Levelsతో Imageను Represent చేసే విధానం
Binary	0 మరియు 1 ఉపయోగించే Number System
Bit	Binary Digit; దీని Value 0 లేదా 1
Data Representation	Informationను Computer Process చేయగల Formatలో Represent చేయడం
Machine Learning	Data నుంచి Patternsను నేర్చుకునే AI విభాగం
Classification	Inputను నిర్దిష్ట Categoryలోకి Assign చేయడం
Training Data	Machine Learning Modelను Train చేయడానికి ఉపయోగించే Examples
Label	Training Exampleకు సంబంధించిన Correct Class లేదా Target
Prediction	Input Data ఆధారంగా Trained Model ఇచ్చే Output
Web Scraping	Websites నుంచి Informationను Automatically Extract చేయడం
API	Software Systems మధ్య Communication కోసం ఉపయోగించే Defined Interface
Big Data Analytics	పెద్దదైన లేదా Complex Datasetను Analyze చేసే Techniques
GIGO	Garbage In, Garbage Out; Poor-Quality Input వల్ల Poor-Quality Results వచ్చే అవకాశం

16. Key Takeaways – ముఖ్యమైన విషయాలు

1. MNIST అనేది Machine Learning నేర్చుకోవడానికి ఉపయోగించే ప్రముఖ Beginner-Friendly Dataset.
2. Standard MNIST Datasetలో 70,000 Grayscale Images ఉంటాయి.
3. ప్రతి Image Resolution 28 × 28 Pixelsగా ఉంటుంది. అంటే ఒక Imageలో 784 Pixels ఉంటాయి.
4. Standard 8-bit Grayscale Imageలో ప్రతి Pixel Value సాధారణంగా 0 నుంచి 255 మధ్య ఉంటుంది.
5. Digital Computers Informationను Binary Values, అంటే Zeros మరియు Ones ద్వారా Represent చేసి Process చేస్తాయి.
6. Image Pixelsను Machine Learning Models Process చేయగల Numerical Arraysగా Represent చేయవచ్చు.
7. ప్రతి వ్యక్తి Handwriting వేర్వేరుగా ఉంటుంది. అందువల్ల, ఒకే Digitకు సంబంధించిన విభిన్న Handwriting Stylesను Model నేర్చుకోవాలి.
8. MNIST ద్వారా Image Classification, Model Training మరియు Prediction వంటి Conceptsను నేర్చుకోవచ్చు.
9. Images, Videos, Audio మరియు Textను Digital Representationsగా మార్చవచ్చు.
10. AI Systems Sensors, Text, Audio, Video, Satellite Images మరియు అనుమతులు ఉన్న Online Information వంటి అనేక Sources నుంచి Dataను ఉపయోగించవచ్చు.
11. Web Scraping, APIs మరియు Big Data Analytics అనేవి Dataను Collect చేయడం లేదా Process చేయడంలో ఉపయోగపడే వేర్వేరు Approaches.
12. High-Quality Data అనేది AI Models ఉపయోగకరమైన మరియు Reliable Patternsను నేర్చుకోవడానికి సహాయపడుతుంది.
13. GIGO Principle Data Quality ప్రాముఖ్యతను తెలియజేస్తుంది.
14. మంచి Performance కోసం Dataతో పాటు Model Design, Training, Testing మరియు Monitoring కూడా ముఖ్యమైనవి.

17. Interview Questions and Answers

Q1. MNIST Dataset అంటే ఏమిటి?

Answer: MNIST అనేది 0 నుంచి 9 వరకు ఉన్న Handwritten Digit Images కలిగిన ప్రముఖ Dataset. Image Classification కోసం Machine Learning Modelsను Train మరియు Evaluate చేయడానికి దీనిని విస్తృతంగా ఉపయోగిస్తారు.

Q2. MNISTను Hello World of Machine Learning అని ఎందుకు పిలుస్తారు?

Answer: ఇందులో Input మరియు Expected Output స్పష్టంగా ఉంటాయి. అందువల్ల Beginnersకు Data Preparation, Model Training, Evaluation మరియు Prediction వంటి Conceptsను నేర్చుకోవడానికి ఇది సహాయపడుతుంది.

Q3. Standard MNIST Datasetలో ఎన్ని Images ఉంటాయి?

Answer: ఇందులో మొత్తం 70,000 Images ఉంటాయి. సాధారణంగా 60,000 Imagesను Training కోసం, 10,000 Imagesను Testing కోసం ఉపయోగిస్తారు.

Q4. ప్రతి MNIST Image Resolution ఎంత?

Answer: ప్రతి Image Resolution 28 × 28 Pixels. అంటే ఒక్కో Imageలో మొత్తం 784 Pixels ఉంటాయి.

Q5. Pixel అంటే ఏమిటి?

Answer: Pixel అనేది ఒక Digital Imageలోని Picture Element. Grayscale Imageలో ప్రతి Pixel సాధారణంగా ఒక Intensity Valueను కలిగి ఉంటుంది.

Q6. Standard 8-bit Grayscale Imageలో Pixel Intensity Range ఎంత?

Answer: Pixel Intensity Range 0 నుంచి 255 వరకు ఉంటుంది. అంటే మొత్తం 256 Intensity Levels ఉంటాయి. అయితే, ఆ Valuesకు సంబంధించిన Visual Meaning Image Conventionపై ఆధారపడి ఉంటుంది.

Q7. Binary Representation అంటే ఏమిటి?

Answer: Binary Representation అనేది 0 మరియు 1 అనే రెండు Symbolsను ఉపయోగించి Informationను Represent చేసే విధానం. Digital Computer Hardware Informationను Store మరియు Process చేయడానికి Binary Statesను ఉపయోగిస్తుంది.

Q8. Machine Learning Model Handwritten Digitsను ఎలా గుర్తిస్తుంది?

Answer: Model Training Images యొక్క Numerical Representations మరియు వాటి Correct Labels మధ్య ఉన్న Relationshipsను నేర్చుకుంటుంది. Training సమయంలో నేర్చుకున్న Patternsను ఉపయోగించి కొత్త Imageలో ఉన్న Digitను Predict చేస్తుంది.

Q9. ఒకే Digitకు సంబంధించిన రెండు Imagesలో Pixel Values ఎందుకు వేర్వేరుగా ఉంటాయి?

Answer: ప్రతి వ్యక్తి Handwriting Style వేర్వేరుగా ఉంటుంది. Curves, Thickness, Size మరియు Positionలో మార్పుల వల్ల Pixel Patterns మారవచ్చు. అయినప్పటికీ, రెండు Images ఒకే Digitను సూచించవచ్చు.

Q10. Image Classification అంటే ఏమిటి?

Answer: ఒక Imageను నిర్దిష్ట Categoryలోకి Assign చేసే Machine Learning Taskను Image Classification అంటారు. ఉదాహరణకు, ఒక Handwritten Imageను Digit 3గా గుర్తించడం.

Q11. Training Data మరియు Test Data మధ్య తేడా ఏమిటి?

Answer: Training Dataను Model Parametersను Learn చేయడానికి ఉపయోగిస్తారు. Test Dataను Trainingలో ఉపయోగించరు. Training పూర్తయిన తర్వాత Model కొత్త Examplesపై ఎంత బాగా పనిచేస్తుందో Evaluate చేయడానికి Test Dataను ఉపయోగిస్తారు.

Q12. Artificial Intelligenceలో GIGO అంటే ఏమిటి?

Answer: GIGO అంటే Garbage In, Garbage Out. Incorrect, Poor-Quality లేదా Taskకు అనుకూలంగా లేని Input Data వల్ల Model Results కూడా నాణ్యతలేనివిగా ఉండవచ్చని ఈ Principle సూచిస్తుంది.

Q13. Videoను Digital Formలో ఎలా Represent చేస్తారు?

Answer: Digital Video అనేది వరుసగా ఉండే Frames సముదాయం. ప్రతి Frameను Pixelsతో కూడిన Imageగా Represent చేస్తారు. Videoలో Audio మరియు Metadata కూడా ఉండవచ్చు.

Q14. Audioను Digital Formలో ఎలా Represent చేస్తారు?

Answer: Digital Audioలో Soundను నిర్దిష్ట Time Intervalsలో Sample చేసి Numerical Valuesగా Represent చేస్తారు. ఈ Valuesను Binary Formలో Store చేసి Process చేయవచ్చు.

Q15. Data Collectionలో APIs పాత్ర ఏమిటి?

Answer: APIs ద్వారా Software Applications ఇతర Systemsతో Defined Interfaces ద్వారా Communicate చేయగలవు. Authorized APIsను ఉపయోగించి Predictable Formatలో Dataను Retrieve చేయవచ్చు.

Q16. Web Scraping అంటే ఏమిటి?

Answer: Web Scraping అనేది Web Pages నుంచి Informationను Automatically Extract చేసే Technique. దీనిని ఉపయోగించేటప్పుడు Applicable Laws, Access Restrictions, Website Terms మరియు Privacy Requirementsను పాటించాలి.

Q17. Big Data Analytics అంటే ఏమిటి?

Answer: చాలా పెద్దదైన, Complexగా ఉన్న లేదా వేగంగా Generate అయ్యే Datasetsను Process మరియు Analyze చేసి Patterns, Trends మరియు Useful Insightsను గుర్తించడానికి ఉపయోగించే Techniquesను Big Data Analytics అంటారు.

Q18. High-Quality Data ఉంటే AI Predictions ఎల్లప్పుడూ Accurateగా ఉంటాయా?

Answer: కాదు. High-Quality Data ముఖ్యమైనదే. అయితే, Model Architecture, Learning Algorithm, Training Process, Evaluation Methods మరియు Data Taskకు ఎంతవరకు సరిపోతుంది అనే అంశాలు కూడా Performanceపై ప్రభావం చూపుతాయి.

18. Conclusion – ముగింపు

MNIST Dataset ద్వారా Computers Digital Informationను ఎలా Process చేస్తాయి మరియు Machine Learning Models Examples నుంచి ఎలా నేర్చుకుంటాయి అనే విషయాలను సులభంగా అర్థం చేసుకోవచ్చు.

మనిషికి చాలా సులభంగా కనిపించే Handwritten Digit, Computerలో Numerical Pixel Values రూపంలో Represent చేయబడుతుంది. ఈ Valuesను Binary Representation ద్వారా Store మరియు Process చేయవచ్చు.

అనేక Labelled Examplesను పరిశీలించడం ద్వారా Machine Learning Model వేర్వేరు Handwritten Digitsకు సంబంధించిన Patternsను నేర్చుకుంటుంది. ఆ Patternsను ఉపయోగించి కొత్త Imagesలో ఏ Digit ఉందో Predict చేయగలదు.

ఇదే ప్రాథమిక Concept Images, Videos, Audio మరియు Text వంటి ఇతర Data Typesకు కూడా వర్తిస్తుంది. ఈ సమాచారాన్ని తగిన Digital Representationsగా మార్చి AI Systems ద్వారా Process చేయవచ్చు.

AI Researchers మరియు Organizations వివిధ Sources నుంచి Dataను Collect చేసి, అవసరమైన విధంగా Process చేసి, నిర్దిష్ట Tasksను నిర్వహించగలిగే Modelsకు Training ఇస్తారు.

చివరగా, Garbage In, Garbage Out (GIGO) అనే Principle మనకు ఒక ముఖ్యమైన విషయాన్ని గుర్తుచేస్తుంది. Reliable AI Systemsను అభివృద్ధి చేయడానికి సరైన Data Quality, Appropriate Model Design, Effective Training, Proper Evaluation మరియు Responsible Data Usage అవసరం.

ఈ Fundamentalsను అర్థం చేసుకోవడం ద్వారా Advanced Machine Learning, Deep Learning, Computer Vision మరియు Generative AI Conceptsను నేర్చుకోవడానికి బలమైన Foundation ఏర్పడుతుంది.

తదుపరి Lessonలో Machine Learning Algorithms Data నుంచి ఎలా నేర్చుకుంటాయి మరియు Advanced AI Systems ఈ Patternsను ఉపయోగించి Complex Problemsను ఎలా Solve చేస్తాయి అనే విషయాలను తెలుసుకోవచ్చు.

Remove repeated explanations and examplesAdd a practical Python MNIST example